Backpropagation Là Gì? Cách Mạng Neuron Học Từ Sai Số

Updated · By Viviai

Backpropagation (tiếng Việt gọi là truyền ngược hay lan truyền ngược) là phương pháp huấn luyện mạng neuron nhân tạo bằng cách tính độ dốc của hàm mất mát theo từng trọng số, rồi truyền sai số từ lớp cuối ngược về lớp đầu để điều chỉnh trọng số. Phương pháp này thường dùng chung với suy giảm độ dốc và là kỹ thuật nền tảng của học sâu.

Vấn đề mà backpropagation giải quyết

Một mạng neuron nhiều lớp có hàng nghìn, thậm chí hàng triệu trọng số. Khi dự đoán sai, không thể biết nên đổ lỗi cho trọng số nào nếu chỉ nhìn kết quả cuối cùng. Backpropagation trả lời câu hỏi đó: nó đo mức đóng góp của từng trọng số vào sai số, để mỗi trọng số được chỉnh theo hướng làm giảm sai số.

Tên đầy đủ trong tiếng Anh là "backward propagation of errors", nghĩa là truyền ngược sai số. Đầu vào vẫn đi thẳng qua mạng theo chiều thuận, còn thông tin về sai số thì đi ngược trở lại.

Hai giai đoạn của một vòng huấn luyện

Mỗi vòng lặp chia thành hai giai đoạn rõ ràng.

Giai đoạn Chiều đi Việc chính
Lan truyền thuận (forward pass) Từ lớp đầu vào đến lớp ra Tính kết quả dự đoán từ dữ liệu hiện tại
Truyền ngược (backward pass) Từ lớp ra về lớp đầu vào Tính độ dốc sai số cho từng trọng số

Sau khi có độ dốc, một thuật toán tối ưu sẽ cập nhật trọng số. Backpropagation lo phần tính độ dốc; việc cập nhật do bộ tối ưu đảm nhận.

Giai đoạn 1: Lan truyền thuận

Dữ liệu đi qua các lớp, mỗi neuron áp dụng hàm kích hoạt cho tổng có trọng số. Mạng cho ra dự đoán, sau đó hàm mất mát so sánh dự đoán với kết quả mong muốn để ra một con số sai số. Giai đoạn này chưa thay đổi trọng số nào.

Giai đoạn 2: Truyền ngược và cập nhật

Sai số ở lớp ra được truyền ngược về từng lớp ẩn. Dùng quy tắc dây chuyền của giải tích, mạng tính độ dốc của hàm mất mát theo mỗi trọng số. Dấu của độ dốc cho biết sai số tăng theo hướng nào, nên trọng số được cập nhật theo chiều ngược lại:

[ w_{\text{mới}} = w - \eta \frac{\partial L}{\partial w} ]

Trong đó (\eta) là tốc độ học, quyết định mỗi bước chỉnh lớn hay nhỏ.

Ví dụ đơn giản

Hãy tưởng tượng một dây chuyền nhiều người chuyền tay nhau sản phẩm, người cuối kiểm tra chất lượng. Khi phát hiện lỗi, người kiểm tra không chỉ báo "sai", mà lần ngược từng công đoạn, cho biết mỗi người cần đổi gì. Lần làm sau, mỗi công đoạn điều chỉnh một chút. Cứ thế lặp lại, sai số giảm dần. Backpropagation làm việc tương tự, nhưng thay con người bằng các trọng số và thay lời nhắc bằng độ dốc.

Điều kiện để backpropagation chạy được

Backpropagation cũng dùng được trong các mạng không giám sát như autoencoder, khi mục tiêu là tái tạo lại chính đầu vào.

Trực giác về quy tắc dây chuyền

Mỗi neuron là một mắt xích trong chuỗi tính toán. Sai số cuối phụ thuộc vào lớp ra, lớp ra phụ thuộc lớp ẩn trước đó, và cứ thế ngược về lớp đầu vào. Quy tắc dây chuyền nhân các đạo hàm của từng mắt xích để biết thay đổi nhỏ ở một trọng số đầu mạng sẽ lan truyền ra sao đến sai số cuối. Đây là lý do độ dốc có thể tính một lần cho toàn mạng thay vì thử từng trọng số.

Những khó khăn thường gặp

Các kiến trúc hiện đại dùng hàm kích hoạt phù hợp, chuẩn hóa lớp và kết nối tắt để giảm các vấn đề gradient.

Backpropagation và các thuật toán liên quan

Khái niệm Vai trò
Backpropagation Tính độ dốc của hàm mất mát theo trọng số
Suy giảm độ dốc Dùng độ dốc để cập nhật trọng số
Tốc độ học Kiểm soát độ lớn bước cập nhật
Hàm mất mát Định lượng sai số giữa dự đoán và thực tế
Bộ tối ưu Quy tắc cập nhật, ví dụ SGD hay Adam

Backpropagation là cách tính gradient; nó không tự quyết cách cập nhật. Có thể ghép với nhiều bộ tối ưu dựa trên gradient khác nhau, không chỉ riêng suy giảm độ dốc ngẫu nhiên.

Câu hỏi thường gặp

Backpropagation có giống suy giảm độ dốc không?

Không. Backpropagation tính độ dốc cho toàn mạng, còn suy giảm độ dốc là thuật toán dùng độ dốc đó để cập nhật trọng số. Chúng thường đi cùng nhau nhưng đảm nhận hai việc khác nhau.

Vì sao phải truyền sai số theo chiều ngược?

Vì mỗi trọng số chỉ ảnh hưởng trực tiếp đến lớp ngay sau nó. Truyền ngược bằng quy tắc dây chuyền giúp phân bổ sai số từ lớp ra về đúng từng trọng số gây ra nó.

Backpropagation có dùng cho học không giám sát không?

Có. Chẳng hạn autoencoder dùng backpropagation để giảm sai số tái tạo, dù không có nhãn bên ngoài.

Điều gì xảy ra nếu hàm kích hoạt không khả vi?

Khi đó không tính được đạo hàm tại một số điểm, backpropagation không thể xác định hướng chỉnh. Nhiều hàm thực tế có đạo hàm gần đúng hoặc khả vi gần như toàn bộ phạm vi.

Gradient biến mất là gì?

Là hiện tượng độ dốc co về rất nhỏ khi đi qua nhiều lớp, khiến các lớp đầu học gần như đứng yên. Đây là một trong những lý do thúc đẩy các kiến trúc và hàm kích hoạt mới.

Tóm tắt

Sources

  1. https://vi.wikipedia.org/wiki/Truyền_ngược
  2. https://en.wikipedia.org/wiki/Backpropagation

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free