Hàm Mất Mát Là Gì? Cách Mô Hình Đo Lường Sai Số

Updated · By Viviai

Hàm mất mát (còn gọi hàm tổn thất hay hàm chi phí) là một hàm số đo mức khác biệt giữa kết quả mô hình dự đoán và kết quả thực tế, rồi quy thành một con số; giá trị càng nhỏ thường có nghĩa dự đoán càng sát. Quá trình huấn luyện tìm cách giảm thiểu con số này bằng suy giảm độ dốc, và backpropagation giúp tính độ dốc của nó cho từng trọng số.

Tại sao cần hàm mất mát

Một mô hình không thể tự cải thiện nếu không biết mình đang sai đến mức nào. Nhận xét kiểu "hơi lệch" quá mơ hồ cho máy tính. Hàm mất mát biến mọi sai lệch thành một thước đo rõ ràng, để mỗi vòng huấn luyện có thể so sánh và xác định xem thay đổi vừa rồi có giúp mô hình tiến bộ hơn không.

Hàm mất mát gắn với từng dự đoán hoặc từng mẫu. Khi lấy trung bình trên toàn bộ tập dữ liệu, con số tổng hợp thường được gọi là hàm chi phí. Hai thuật ngữ đôi khi dùng thay thế cho nhau, nhưng điểm chung là đều định lượng sai số.

Cách một vòng huấn luyện dùng hàm mất mát

  1. Mô hình đưa ra dự đoán.
  2. Hàm mất mát so sánh dự đoán với giá trị thực tế, ra một con số sai số.
  3. Backpropagation tính độ dốc của con số này theo từng trọng số.
  4. Bộ tối ưu cập nhật trọng số để vòng sau sai số thấp hơn.

Hàm mất mát cung cấp mục tiêu, còn các thuật toán khác lo phần tìm đường đến mục tiêu.

Các hàm mất mát thường gặp

Hàm Dùng cho Ý tưởng
Sai số bình phương (MSE) Hồi quy Phạt nặng sai số lớn vì bình phương khoảng cách
Sai số tuyệt đối (MAE) Hồi quy Đo khoảng cách trung bình, ít nhạy với giá trị ngoại lai
Entropy chéo Phân loại Phạt khi dự đoán tự tin nhưng sai lớp
Hinge loss Phân loại biên Gắn với các bộ phân loại như máy vector hỗ trợ

Việc chọn hàm mất mát phụ thuộc loại bài toán và đặc điểm dữ liệu, không có một lựa chọn duy nhất cho mọi tình huống.

Sai số bình phương trung bình

Với bài toán hồi quy, chẳng hạn dự đoán một con số, MSE lấy chênh lệch giữa dự đoán và thực tế rồi bình phương:

[ \text{MSE} = \frac{1}{N}\sum_{i=1}^{N}(y_i - \hat{y}_i)^2 ]

Bình phương khiến các sai số lớn bị phạt nặng hơn. Nếu dữ liệu có nhiều giá trị ngoại lai, MAE có thể cho bức tranh ổn định hơn vì không khuếch đại sai số.

Entropy chéo cho phân loại

Khi mô hình xuất ra xác suất của từng lớp, entropy chéo đo mức phân kỳ giữa phân phối xác suất dự đoán và nhãn thực tế. Một dự đoán sai nhưng rất tự tin sẽ bị phạt nặng. Đây là hàm mất mát phổ biến cho các bài phân loại và mạng neuron.

Hàm mất mát, hàm mục tiêu và phần thưởng

Không phải mọi bài toán đều đi tìm giá trị nhỏ nhất. Trong học tăng cường, người ta thường tối đa hóa một hàm phần thưởng; khi viết dưới dạng cần giảm thiểu, nó trở thành dạng hàm mất mát. Vì vậy, hàm mục tiêu là tên gọi chung: có thể là hàm mất mát cần giảm, hoặc giá trị thưởng cần tăng.

Ảnh hưởng đến cách huấn luyện

Một vài lưu ý khi chọn hàm

Câu hỏi thường gặp

Hàm mất mát và hàm chi phí khác nhau ra sao?

Hàm mất mát thường nói về sai số của một mẫu, còn hàm chi phí là giá trị tổng hợp, thường là trung bình trên toàn bộ tập dữ liệu. Trong thực tế hai thuật ngữ thường được dùng gần giống nhau.

Hàm mất mát nhỏ có nghĩa mô hình tốt không?

Không hẳn. Nếu chỉ nhỏ trên tập huấn luyện nhưng cao trên dữ liệu mới, mô hình có thể đang overfitting. Cần đánh giá trên tập kiểm tra độc lập.

Vì sao entropy chéo dùng cho phân loại?

Vì nó làm việc với xác suất và phạt nặng những dự đoán sai nhưng tự tin, giúp mô hình dần gán xác suất cao cho lớp đúng.

Hàm mục tiêu là gì?

Là tên gọi chung cho giá trị mà thuật toán tối ưu hướng tới. Với hàm mất mát, mục tiêu là giảm thiểu; với hàm phần thưởng, mục tiêu là tối đa hóa.

Có cần tự viết hàm mất mát không?

Các thư viện học máy cung cấp sẵn nhiều hàm mất mát phổ biến. Việc tự định nghĩa thường chỉ cần khi bài toán có dạng chi phí đặc thù.

Tóm tắt

Sources

  1. https://vi.wikipedia.org/wiki/Hàm_mất_mát
  2. https://en.wikipedia.org/wiki/Loss_function

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free