Anomaly Detection là gì? Tìm điểm khác biệt so với mẫu thông thường

Updated · By Viviai

Anomaly Detection (phát hiện bất thường, còn gọi là phát hiện giá trị ngoại lai) là quá trình xác định các điểm hoặc sự kiện khác biệt rõ rệt so với phần lớn dữ liệu. Những điểm bất thường này thường gợi ý vấn đề như gian lận, hỏng hóc thiết bị hoặc lỗi hệ thống. Phương pháp thường dựa vào học không giám sát để học thế nào là mẫu thông thường.

Phát hiện bất thường là gì

Phần lớn dữ liệu tập trung quanh một mẫu có thể dự đoán, nhưng một số điểm nằm tách biệt hẳn. Anomaly detection nhằm tìm ra những điểm đó. Hãy hình dung giám sát thẻ tín dụng: một giao dịch nước ngoài vào ban đêm với số tiền bất thường có thể bị đánh dấu là gian lận.

Có mấy loại bất thường

Các phương pháp phổ biến

Phương pháp thống kê

Đặt giả định về phân phối của dữ liệu rồi tìm điểm nằm ngoài khoảng dự kiến, ví dụ điểm cách trung bình nhiều lần độ lệch chuẩn.

Phương pháp dựa khoảng cách

Đo khoảng cách giữa các điểm. Nếu một điểm nằm tách xa các điểm lân cận, nó có thể là giá trị ngoại lai.

Phương pháp học máy

Bảng tổng hợp

Hướng tiếp cận Nguyên lý Ví dụ
Thống kê So với phân phối bình thường Độ lệch chuẩn
Khoảng cách Xem điểm lân cận Khoảng cách đến điểm khác
Học máy Mô phỏng mẫu thông thường autoencoder, k-means

Ứng dụng

Hạn chế

FAQ

Anomaly Detection dùng để làm gì?

Tìm điểm hoặc sự kiện khác với mẫu thông thường, như gian lận, hỏng máy hoặc xâm nhập mạng.

Anomaly và Outlier khác nhau không?

Trong nhiều trường hợp dùng gần giống nhau. Outlier nhấn mạnh điểm tách khỏi nhóm chính, còn anomaly nhấn mạnh điều khác so với mẫu thông thường.

Là supervised hay unsupervised?

Phần lớn là unsupervised vì bất thường thật thường không có nhãn, nhưng một số bài toán có thể dùng dữ liệu có nhãn.

Vì sao bất thường lại hiếm?

Sự kiện bất thường như gian lận hay hỏng hóc xảy ra ít hơn nhiều so với sự kiện bình thường, làm dữ liệu mất cân bằng.

Hệ thống có thể báo sai không?

Có. Nếu ngưỡng quá nhạy, hệ thống có thể cảnh báo nhầm sự kiện bình thường; cần hiệu chỉnh theo kết quả thực tế.

Tóm tắt

Sources

  1. https://vi.wikipedia.org/wiki/Ph%C3%A1t_hi%E1%BB%87n_b%E1%BA%A5t_th%C6%B0%E1%BB%9Dng
  2. https://en.wikipedia.org/wiki/Anomaly_detection

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free