Backpropagation Là Gì? Cách Mạng Neuron Học Từ Sai Số
Backpropagation (tiếng Việt gọi là truyền ngược hay lan truyền ngược) là phương pháp huấn luyện mạng neuron nhân tạo bằng cách tính độ dốc của hàm mất mát theo từng trọng số, rồi truyền sai số từ lớp cuối ngược về lớp đầu để điều chỉnh trọng số. Phương pháp này thường dùng chung với suy giảm độ dốc và là kỹ thuật nền tảng của học sâu.
Vấn đề mà backpropagation giải quyết
Một mạng neuron nhiều lớp có hàng nghìn, thậm chí hàng triệu trọng số. Khi dự đoán sai, không thể biết nên đổ lỗi cho trọng số nào nếu chỉ nhìn kết quả cuối cùng. Backpropagation trả lời câu hỏi đó: nó đo mức đóng góp của từng trọng số vào sai số, để mỗi trọng số được chỉnh theo hướng làm giảm sai số.
Tên đầy đủ trong tiếng Anh là "backward propagation of errors", nghĩa là truyền ngược sai số. Đầu vào vẫn đi thẳng qua mạng theo chiều thuận, còn thông tin về sai số thì đi ngược trở lại.
Hai giai đoạn của một vòng huấn luyện
Mỗi vòng lặp chia thành hai giai đoạn rõ ràng.
| Giai đoạn | Chiều đi | Việc chính |
|---|---|---|
| Lan truyền thuận (forward pass) | Từ lớp đầu vào đến lớp ra | Tính kết quả dự đoán từ dữ liệu hiện tại |
| Truyền ngược (backward pass) | Từ lớp ra về lớp đầu vào | Tính độ dốc sai số cho từng trọng số |
Sau khi có độ dốc, một thuật toán tối ưu sẽ cập nhật trọng số. Backpropagation lo phần tính độ dốc; việc cập nhật do bộ tối ưu đảm nhận.
Giai đoạn 1: Lan truyền thuận
Dữ liệu đi qua các lớp, mỗi neuron áp dụng hàm kích hoạt cho tổng có trọng số. Mạng cho ra dự đoán, sau đó hàm mất mát so sánh dự đoán với kết quả mong muốn để ra một con số sai số. Giai đoạn này chưa thay đổi trọng số nào.
Giai đoạn 2: Truyền ngược và cập nhật
Sai số ở lớp ra được truyền ngược về từng lớp ẩn. Dùng quy tắc dây chuyền của giải tích, mạng tính độ dốc của hàm mất mát theo mỗi trọng số. Dấu của độ dốc cho biết sai số tăng theo hướng nào, nên trọng số được cập nhật theo chiều ngược lại:
[ w_{\text{mới}} = w - \eta \frac{\partial L}{\partial w} ]
Trong đó (\eta) là tốc độ học, quyết định mỗi bước chỉnh lớn hay nhỏ.
Ví dụ đơn giản
Hãy tưởng tượng một dây chuyền nhiều người chuyền tay nhau sản phẩm, người cuối kiểm tra chất lượng. Khi phát hiện lỗi, người kiểm tra không chỉ báo "sai", mà lần ngược từng công đoạn, cho biết mỗi người cần đổi gì. Lần làm sau, mỗi công đoạn điều chỉnh một chút. Cứ thế lặp lại, sai số giảm dần. Backpropagation làm việc tương tự, nhưng thay con người bằng các trọng số và thay lời nhắc bằng độ dốc.
Điều kiện để backpropagation chạy được
- Các hàm kích hoạt phải khả vi, nghĩa là tính được đạo hàm. Nếu hàm không có đạo hàm, không thể xác định hướng chỉnh.
- Cần có kết quả mong muốn cho mỗi mẫu để tính sai số, vì vậy đây thường được xem là phương pháp của học có giám sát.
- Dữ liệu và trọng số được sắp xếp theo dạng tensor để phép tính đạo hàm chạy hiệu quả trên phần cứng song song.
Backpropagation cũng dùng được trong các mạng không giám sát như autoencoder, khi mục tiêu là tái tạo lại chính đầu vào.
Trực giác về quy tắc dây chuyền
Mỗi neuron là một mắt xích trong chuỗi tính toán. Sai số cuối phụ thuộc vào lớp ra, lớp ra phụ thuộc lớp ẩn trước đó, và cứ thế ngược về lớp đầu vào. Quy tắc dây chuyền nhân các đạo hàm của từng mắt xích để biết thay đổi nhỏ ở một trọng số đầu mạng sẽ lan truyền ra sao đến sai số cuối. Đây là lý do độ dốc có thể tính một lần cho toàn mạng thay vì thử từng trọng số.
Những khó khăn thường gặp
- Gradient biến mất: khi các đạo hàm nhân với nhau qua nhiều lớp, độ dốc có thể tiến về không, khiến lớp đầu gần như không học.
- Gradient bùng nổ: ngược lại, độ dốc có thể phình lớn làm cập nhật mất ổn định.
- Phụ thuộc tốc độ học: tốc độ quá lớn khiến dao động, quá nhỏ khiến học chậm.
- Dễ học vẹt nếu không kiểm soát: chính quy hóa và overfitting cần được theo dõi trong suốt quá trình.
Các kiến trúc hiện đại dùng hàm kích hoạt phù hợp, chuẩn hóa lớp và kết nối tắt để giảm các vấn đề gradient.
Backpropagation và các thuật toán liên quan
| Khái niệm | Vai trò |
|---|---|
| Backpropagation | Tính độ dốc của hàm mất mát theo trọng số |
| Suy giảm độ dốc | Dùng độ dốc để cập nhật trọng số |
| Tốc độ học | Kiểm soát độ lớn bước cập nhật |
| Hàm mất mát | Định lượng sai số giữa dự đoán và thực tế |
| Bộ tối ưu | Quy tắc cập nhật, ví dụ SGD hay Adam |
Backpropagation là cách tính gradient; nó không tự quyết cách cập nhật. Có thể ghép với nhiều bộ tối ưu dựa trên gradient khác nhau, không chỉ riêng suy giảm độ dốc ngẫu nhiên.
Câu hỏi thường gặp
Backpropagation có giống suy giảm độ dốc không?
Không. Backpropagation tính độ dốc cho toàn mạng, còn suy giảm độ dốc là thuật toán dùng độ dốc đó để cập nhật trọng số. Chúng thường đi cùng nhau nhưng đảm nhận hai việc khác nhau.
Vì sao phải truyền sai số theo chiều ngược?
Vì mỗi trọng số chỉ ảnh hưởng trực tiếp đến lớp ngay sau nó. Truyền ngược bằng quy tắc dây chuyền giúp phân bổ sai số từ lớp ra về đúng từng trọng số gây ra nó.
Backpropagation có dùng cho học không giám sát không?
Có. Chẳng hạn autoencoder dùng backpropagation để giảm sai số tái tạo, dù không có nhãn bên ngoài.
Điều gì xảy ra nếu hàm kích hoạt không khả vi?
Khi đó không tính được đạo hàm tại một số điểm, backpropagation không thể xác định hướng chỉnh. Nhiều hàm thực tế có đạo hàm gần đúng hoặc khả vi gần như toàn bộ phạm vi.
Gradient biến mất là gì?
Là hiện tượng độ dốc co về rất nhỏ khi đi qua nhiều lớp, khiến các lớp đầu học gần như đứng yên. Đây là một trong những lý do thúc đẩy các kiến trúc và hàm kích hoạt mới.
Tóm tắt
- Backpropagation truyền sai số từ lớp ra ngược về lớp đầu để tính độ dốc cho từng trọng số.
- Một vòng gồm lan truyền thuận để dự đoán, rồi truyền ngược để tính gradient.
- Phương pháp dựa trên quy tắc dây chuyền và yêu cầu hàm kích hoạt khả vi.
- Nó thường ghép với suy giảm độ dốc, nhưng hai thuật toán đảm nhận vai trò khác nhau.
- Gradient biến mất và bùng nổ là những khó khăn cần lưu ý khi xây mạng sâu.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free