Dropout là gì? Kỹ thuật bỏ ngẫu nhiên nơ-ron để mạng không học vẹt
Dropout (tạm dịch là "bỏ học") là một kỹ thuật chính quy hóa dùng trong học sâu, nhằm giảm hiện tượng quá khớp. Trong lúc huấn luyện, một số nơ-ron được chọn ngẫu nhiên và tạm thời bị bỏ qua ở mỗi lượt, buộc mạng không dựa dẫm vào một vài nơ-ron cụ thể. Khi đưa vào sử dụng thật, toàn bộ nơ-ron được giữ lại và phối hợp với nhau.
Dropout là gì
Khi một mạng nơ-ron có nhiều nơ-ron, các nơ-ron dễ điều chỉnh cho phụ thuộc lẫn nhau và cùng "học vẹt" dữ liệu huấn luyện. Dropout can thiệp bằng cách ngẫu nhiên tắt một phần nơ-ron trong từng lượt huấn luyện, khiến mạng phải học nhiều cách biểu diễn khác nhau.
Hãy hình dung một đội nhóm mà mỗi người phải tự làm được việc, vì không biết lần sau ai sẽ vắng mặt. Mạng cũng vậy: mỗi nơ-ron phải tự nắm thông tin hữu ích thay vì ỷ lại vào người khác.
Vì sao cần dropout
- Giảm sự phụ thuộc giữa các nơ-ron
- Làm mô hình bớt phức tạp và đỡ nhớ dữ liệu huấn luyện
- Tạo hiệu ứng như trung bình nhiều mạng nhỏ, giúp kết quả ổn định hơn
Cách hoạt động
Trong lúc huấn luyện
- Chọn một tỷ lệ nơ-ron cần bỏ, ví dụ một phần số nơ-ron trong lớp
- Mỗi lượt, ngẫu nhiên tắt các nơ-ron đó và chỉ cập nhật phần còn lại
- Lượt sau lại chọn ngẫu nhiên một tập khác
- Các nơ-ron còn lại phải bù đắp và học đặc trưng tổng quát hơn
Khi suy luận (inference)
Khi dùng mô hình với dữ liệu mới, không nơ-ron nào bị bỏ. Thông thường kết quả được điều chỉnh theo tỷ lệ đã dùng lúc huấn luyện để giữ quy mô nhất quán. Điều quan trọng là dropout chỉ tác động trong giai đoạn huấn luyện, không làm ngẫu nhiên kết quả khi sử dụng thật.
Bảng so sánh hai giai đoạn
| Giai đoạn | Nơ-ron | Mục đích |
|---|---|---|
| Huấn luyện | Bỏ ngẫu nhiên một phần | Chống quá khớp |
| Suy luận | Giữ toàn bộ | Cho kết quả ổn định |
Dùng ở đâu
- Các lớp ẩn trong mạng học sâu có nhiều tham số
- Mạng dễ quá khớp khi dữ liệu huấn luyện không nhiều
- Thường kết hợp với các biện pháp chính quy hóa khác và việc điều chỉnh tốc độ học
Dropout thường xuất hiện trong mạng xử lý hình ảnh và cả các mô hình ngôn ngữ, nhưng tỷ lệ bỏ nơ-ron cần chọn phù hợp với kích thước mạng.
Mối liên hệ với các khái niệm khác
- Hàm mất mát: dropout không thay đổi mục tiêu giảm hàm mất mát, chỉ thay đổi cách mạng học
- Truyền ngược: các nơ-ron còn lại vẫn được cập nhật bằng truyền ngược
- Softmax và Attention: dropout có thể được dùng ở nhiều lớp, kể cả trước lớp đầu ra
Hạn chế
- Tỷ lệ bỏ quá cao có thể làm mạng mất khả năng học và underfit
- Làm quá trình huấn luyện cần nhiều lượt hơn để hội tụ
- Không phải luôn cần thiết với mọi kiến trúc; một số mô hình hiện đại dùng các cách chính quy hóa khác
- Hiệu quả còn tùy thuộc vào kích thước dữ liệu và cách chọn siêu tham số
FAQ
Dropout dùng để làm gì?
Để giảm quá khớp bằng cách bỏ ngẫu nhiên nơ-ron khi huấn luyện, giúp mạng học đặc trưng tổng quát thay vì nhớ dữ liệu.
Dropout có áp dụng khi sử dụng thật không?
Không. Lúc suy luận, toàn bộ nơ-ron được giữ lại; dropout chỉ hoạt động trong giai đoạn huấn luyện.
Tỷ lệ dropout là gì?
Là phần nơ-ron bị tắt ở mỗi lượt. Chọn tỷ lệ quá cao có thể làm mạng học kém, còn quá thấp thì ít tác dụng.
Dropout thuộc loại kỹ thuật nào?
Là một kỹ thuật chính quy hóa, cùng nhóm với các phương pháp nhằm kiểm soát độ phức tạp và chống quá khớp.
Vì sao dropout giúp kết quả ổn định hơn?
Vì mạng không thể dựa vào một vài nơ-ron cố định, nó phải học nhiều cách biểu diễn và giảm rủi ro từ một cấu hình duy nhất.
Tóm tắt
- Dropout bỏ ngẫu nhiên một phần nơ-ron trong lúc huấn luyện
- Là kỹ thuật chính quy hóa nhằm giảm hiện tượng quá khớp
- Buộc các nơ-ron độc lập và học đặc trưng tổng quát
- Khi suy luận, toàn bộ nơ-ron được giữ lại
- Thường kết hợp với các biện pháp chính quy hóa khác
- Cần chọn tỷ lệ phù hợp để tránh underfit
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free