Dropout là gì? Kỹ thuật bỏ ngẫu nhiên nơ-ron để mạng không học vẹt

Updated · By Viviai

Dropout (tạm dịch là "bỏ học") là một kỹ thuật chính quy hóa dùng trong học sâu, nhằm giảm hiện tượng quá khớp. Trong lúc huấn luyện, một số nơ-ron được chọn ngẫu nhiên và tạm thời bị bỏ qua ở mỗi lượt, buộc mạng không dựa dẫm vào một vài nơ-ron cụ thể. Khi đưa vào sử dụng thật, toàn bộ nơ-ron được giữ lại và phối hợp với nhau.

Dropout là gì

Khi một mạng nơ-ron có nhiều nơ-ron, các nơ-ron dễ điều chỉnh cho phụ thuộc lẫn nhau và cùng "học vẹt" dữ liệu huấn luyện. Dropout can thiệp bằng cách ngẫu nhiên tắt một phần nơ-ron trong từng lượt huấn luyện, khiến mạng phải học nhiều cách biểu diễn khác nhau.

Hãy hình dung một đội nhóm mà mỗi người phải tự làm được việc, vì không biết lần sau ai sẽ vắng mặt. Mạng cũng vậy: mỗi nơ-ron phải tự nắm thông tin hữu ích thay vì ỷ lại vào người khác.

Vì sao cần dropout

Cách hoạt động

Trong lúc huấn luyện

  1. Chọn một tỷ lệ nơ-ron cần bỏ, ví dụ một phần số nơ-ron trong lớp
  2. Mỗi lượt, ngẫu nhiên tắt các nơ-ron đó và chỉ cập nhật phần còn lại
  3. Lượt sau lại chọn ngẫu nhiên một tập khác
  4. Các nơ-ron còn lại phải bù đắp và học đặc trưng tổng quát hơn

Khi suy luận (inference)

Khi dùng mô hình với dữ liệu mới, không nơ-ron nào bị bỏ. Thông thường kết quả được điều chỉnh theo tỷ lệ đã dùng lúc huấn luyện để giữ quy mô nhất quán. Điều quan trọng là dropout chỉ tác động trong giai đoạn huấn luyện, không làm ngẫu nhiên kết quả khi sử dụng thật.

Bảng so sánh hai giai đoạn

Giai đoạn Nơ-ron Mục đích
Huấn luyện Bỏ ngẫu nhiên một phần Chống quá khớp
Suy luận Giữ toàn bộ Cho kết quả ổn định

Dùng ở đâu

Dropout thường xuất hiện trong mạng xử lý hình ảnh và cả các mô hình ngôn ngữ, nhưng tỷ lệ bỏ nơ-ron cần chọn phù hợp với kích thước mạng.

Mối liên hệ với các khái niệm khác

Hạn chế

FAQ

Dropout dùng để làm gì?

Để giảm quá khớp bằng cách bỏ ngẫu nhiên nơ-ron khi huấn luyện, giúp mạng học đặc trưng tổng quát thay vì nhớ dữ liệu.

Dropout có áp dụng khi sử dụng thật không?

Không. Lúc suy luận, toàn bộ nơ-ron được giữ lại; dropout chỉ hoạt động trong giai đoạn huấn luyện.

Tỷ lệ dropout là gì?

Là phần nơ-ron bị tắt ở mỗi lượt. Chọn tỷ lệ quá cao có thể làm mạng học kém, còn quá thấp thì ít tác dụng.

Dropout thuộc loại kỹ thuật nào?

Là một kỹ thuật chính quy hóa, cùng nhóm với các phương pháp nhằm kiểm soát độ phức tạp và chống quá khớp.

Vì sao dropout giúp kết quả ổn định hơn?

Vì mạng không thể dựa vào một vài nơ-ron cố định, nó phải học nhiều cách biểu diễn và giảm rủi ro từ một cấu hình duy nhất.

Tóm tắt

Sources

  1. https://vi.wikipedia.org/wiki/Dropout_(m%E1%BA%A1ng_n%C6%A1-ron)
  2. https://en.wikipedia.org/wiki/Dropout_(neural_networks)

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free