Hàm Mất Mát Là Gì? Cách Mô Hình Đo Lường Sai Số
Hàm mất mát (còn gọi hàm tổn thất hay hàm chi phí) là một hàm số đo mức khác biệt giữa kết quả mô hình dự đoán và kết quả thực tế, rồi quy thành một con số; giá trị càng nhỏ thường có nghĩa dự đoán càng sát. Quá trình huấn luyện tìm cách giảm thiểu con số này bằng suy giảm độ dốc, và backpropagation giúp tính độ dốc của nó cho từng trọng số.
Tại sao cần hàm mất mát
Một mô hình không thể tự cải thiện nếu không biết mình đang sai đến mức nào. Nhận xét kiểu "hơi lệch" quá mơ hồ cho máy tính. Hàm mất mát biến mọi sai lệch thành một thước đo rõ ràng, để mỗi vòng huấn luyện có thể so sánh và xác định xem thay đổi vừa rồi có giúp mô hình tiến bộ hơn không.
Hàm mất mát gắn với từng dự đoán hoặc từng mẫu. Khi lấy trung bình trên toàn bộ tập dữ liệu, con số tổng hợp thường được gọi là hàm chi phí. Hai thuật ngữ đôi khi dùng thay thế cho nhau, nhưng điểm chung là đều định lượng sai số.
Cách một vòng huấn luyện dùng hàm mất mát
- Mô hình đưa ra dự đoán.
- Hàm mất mát so sánh dự đoán với giá trị thực tế, ra một con số sai số.
- Backpropagation tính độ dốc của con số này theo từng trọng số.
- Bộ tối ưu cập nhật trọng số để vòng sau sai số thấp hơn.
Hàm mất mát cung cấp mục tiêu, còn các thuật toán khác lo phần tìm đường đến mục tiêu.
Các hàm mất mát thường gặp
| Hàm | Dùng cho | Ý tưởng |
|---|---|---|
| Sai số bình phương (MSE) | Hồi quy | Phạt nặng sai số lớn vì bình phương khoảng cách |
| Sai số tuyệt đối (MAE) | Hồi quy | Đo khoảng cách trung bình, ít nhạy với giá trị ngoại lai |
| Entropy chéo | Phân loại | Phạt khi dự đoán tự tin nhưng sai lớp |
| Hinge loss | Phân loại biên | Gắn với các bộ phân loại như máy vector hỗ trợ |
Việc chọn hàm mất mát phụ thuộc loại bài toán và đặc điểm dữ liệu, không có một lựa chọn duy nhất cho mọi tình huống.
Sai số bình phương trung bình
Với bài toán hồi quy, chẳng hạn dự đoán một con số, MSE lấy chênh lệch giữa dự đoán và thực tế rồi bình phương:
[ \text{MSE} = \frac{1}{N}\sum_{i=1}^{N}(y_i - \hat{y}_i)^2 ]
Bình phương khiến các sai số lớn bị phạt nặng hơn. Nếu dữ liệu có nhiều giá trị ngoại lai, MAE có thể cho bức tranh ổn định hơn vì không khuếch đại sai số.
Entropy chéo cho phân loại
Khi mô hình xuất ra xác suất của từng lớp, entropy chéo đo mức phân kỳ giữa phân phối xác suất dự đoán và nhãn thực tế. Một dự đoán sai nhưng rất tự tin sẽ bị phạt nặng. Đây là hàm mất mát phổ biến cho các bài phân loại và mạng neuron.
Hàm mất mát, hàm mục tiêu và phần thưởng
Không phải mọi bài toán đều đi tìm giá trị nhỏ nhất. Trong học tăng cường, người ta thường tối đa hóa một hàm phần thưởng; khi viết dưới dạng cần giảm thiểu, nó trở thành dạng hàm mất mát. Vì vậy, hàm mục tiêu là tên gọi chung: có thể là hàm mất mát cần giảm, hoặc giá trị thưởng cần tăng.
Ảnh hưởng đến cách huấn luyện
- Hình dạng hàm: một hàm trơn, khả vi giúp độ dốc được tính ổn định.
- Thang đo: nếu hàm mất mát cho giá trị quá lớn, việc chuẩn hóa dữ liệu và chính quy hóa giúp quá trình huấn luyện dễ kiểm soát.
- Overfitting: sai số trên tập huấn luyện có thể về rất nhỏ trong khi mô hình hoạt động kém với dữ liệu mới, nên hàm mất mát cần được theo dõi trên cả tập kiểm tra.
- Tốc độ học: tốc độ học quyết định bước cập nhật dựa trên độ dốc của hàm mất mát.
Một vài lưu ý khi chọn hàm
- Bài toán hồi quy và phân loại cần nhóm hàm khác nhau.
- Giá trị ngoại lai và phân phối nhãn ảnh hưởng đến lựa chọn MSE hay MAE.
- Khi chi phí của từng loại sai lệch không giống nhau, có thể dùng hàm mất mát có trọng số.
- Nên kiểm tra hàm mất mát có khả vi tại vùng dữ liệu đang làm việc hay không, vì backpropagation cần đạo hàm.
Câu hỏi thường gặp
Hàm mất mát và hàm chi phí khác nhau ra sao?
Hàm mất mát thường nói về sai số của một mẫu, còn hàm chi phí là giá trị tổng hợp, thường là trung bình trên toàn bộ tập dữ liệu. Trong thực tế hai thuật ngữ thường được dùng gần giống nhau.
Hàm mất mát nhỏ có nghĩa mô hình tốt không?
Không hẳn. Nếu chỉ nhỏ trên tập huấn luyện nhưng cao trên dữ liệu mới, mô hình có thể đang overfitting. Cần đánh giá trên tập kiểm tra độc lập.
Vì sao entropy chéo dùng cho phân loại?
Vì nó làm việc với xác suất và phạt nặng những dự đoán sai nhưng tự tin, giúp mô hình dần gán xác suất cao cho lớp đúng.
Hàm mục tiêu là gì?
Là tên gọi chung cho giá trị mà thuật toán tối ưu hướng tới. Với hàm mất mát, mục tiêu là giảm thiểu; với hàm phần thưởng, mục tiêu là tối đa hóa.
Có cần tự viết hàm mất mát không?
Các thư viện học máy cung cấp sẵn nhiều hàm mất mát phổ biến. Việc tự định nghĩa thường chỉ cần khi bài toán có dạng chi phí đặc thù.
Tóm tắt
- Hàm mất mát quy sai lệch giữa dự đoán và thực tế thành một con số để mô hình tối ưu.
- MSE và MAE thường dùng cho hồi quy, entropy chéo cho phân loại.
- Backpropagation tính độ dốc của hàm mất mát, còn suy giảm độ dốc dùng độ dốc để cập nhật trọng số.
- Hàm mục tiêu là tên chung, có thể cần giảm thiểu hoặc tối đa hóa tùy bài toán.
- Giá trị hàm mất mát cần xem cùng kết quả trên tập kiểm tra để không bỏ qua overfitting.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free