Clustering Là Gì? Khái Niệm, Phân Loại và Thuật Toán Phân Cụm
Clustering (phân cụm) là kỹ thuật học không giám sát dùng để chia dữ liệu thành nhiều nhóm dựa trên độ tương đồng, sao cho các điểm trong cùng một nhóm gần giống nhau và khác với các điểm thuộc nhóm khác. Vì dữ liệu không có nhãn cho trước, thuật toán tự tìm ra cấu trúc tự nhiên thay vì học từ đáp án đã biết.
Vì sao thuộc học không giám sát
Trong học có giám sát, mô hình học từ cặp dữ liệu và nhãn, ví dụ ảnh đã được gắn tên "mèo" hay "chó". Phân cụm thì ngược lại: đầu vào không có đáp án đúng, nên máy phải tự nhận ra những điểm gần nhau rồi xếp chúng vào cùng một nhóm.
| Tiêu chí | Phân loại (classification) | Phân cụm (clustering) |
|---|---|---|
| Nhãn | Có sẵn từ trước | Không có, được tự phát hiện |
| Câu hỏi | "Điểm này thuộc lớp nào?" | "Những điểm nào giống nhau?" |
| Ví dụ | Lọc thư rác | Chia nhóm khách hàng |
Phân cụm nằm trong học không giám sát, cùng với các kỹ thuật giảm chiều và tìm mẫu ẩn trong dữ liệu.
Cách hoạt động cơ bản
Trước khi chia nhóm, thuật toán cần đo hai điểm dữ liệu giống nhau đến mức nào. Phổ biến là khoảng cách euclidean cho dữ liệu số và độ tương đồng cosine cho dữ liệu văn bản.
- Đo độ tương đồng: so sánh các điểm dựa trên khoảng cách hoặc góc giữa các đặc trưng.
- Tạo nhóm: gộp các điểm gần nhau, sau đó rút gọn mỗi nhóm bằng một tâm cụm (centroid).
- Cập nhật lại: điều chỉnh nhóm và tâm cụm cho đến khi kết quả gần như không đổi.
Kết quả là các nhóm gọn hơn dữ liệu ban đầu, giúp mẫu ẩn dễ đọc hơn.
Các nhóm thuật toán phân cụm
Mỗi cách tiếp cận đưa ra giả định khác nhau về hình dạng của dữ liệu.
| Loại | Cách nhìn dữ liệu | Ví dụ |
|---|---|---|
| Theo phân vùng | Chia dữ liệu thành số nhóm với các tâm cụm | K-means |
| Phân cấp | Dựng cây nhóm từ nhỏ đến lớn | Agglomerative |
| Theo mật độ | Nhóm lớn lên từ vùng dày đặc, điểm thưa coi là bất thường | DBSCAN |
| Theo mô hình | Cho rằng dữ liệu đến từ nhiều phân phối | Gaussian Mixture |
K-means thường được dùng vì đơn giản và nhanh, nhưng phải chọn trước số nhóm. DBSCAN không bắt khai báo số nhóm và xử lý được hình dạng không đều, còn phương pháp phân cấp tạo ra cấu trúc nhiều tầng dễ truy vết.
Ví dụ ứng dụng
- Phân khúc khách hàng: chia người dùng theo thói quen mua sắm rồi tùy chỉnh dịch vụ cho từng nhóm.
- Bán lẻ và marketing: tách thị trường thành các nhóm có cùng mối quan tâm.
- Nhóm tài liệu: sắp xếp bài viết hoặc yêu cầu hỗ trợ theo chủ đề.
- Hình ảnh: dùng để nén màu và phân vùng ảnh trong thị giác máy tính.
- Phát hiện bất thường: giao dịch không rơi vào nhóm bình thường có thể được đánh dấu để xem xét.
Hạn chế
Kết quả phân cụm không phải lúc nào cũng giống nhau giữa các lần chạy, nhất là khi tâm cụm khởi tạo ngẫu nhiên. Chọn số nhóm quá ít hoặc quá nhiều có thể làm mẫu bị mờ, và dữ liệu khác thang đo cần được chuẩn hóa trước để đặc trưng lớn không áp đảo khoảng cách. Chất lượng kết quả cũng phụ thuộc vào gán nhãn dữ liệu và khâu làm sạch dữ liệu.
Liên hệ với các khái niệm khác
Phân cụm là một phần của học máy và thường dùng trong phân tích dữ liệu khám phá. Ý tưởng này cũng xuất hiện trong hệ thống gợi ý khi tìm những người dùng có sở thích tương tự, và trong các bài toán phát hiện điểm bất thường.
FAQ
Clustering là gì theo cách dễ hiểu?
Là cách chia dữ liệu thành các nhóm giống nhau, ví dụ tách khách hàng thành nhiều nhóm mà không cần gắn nhãn trước.
Phân cụm khác phân loại ở điểm nào?
Phân loại đoán nhãn đã định sẵn, còn phân cụm tự tìm các nhóm tự nhiên của dữ liệu mà không có đáp án cho trước.
Centroid là gì?
Là điểm tâm đại diện cho một nhóm, thường được tính bằng trung bình của các điểm dữ liệu trong nhóm đó.
K-means có phải phân cụm không?
Đúng. K-means là thuật toán phân vùng chia dữ liệu thành một số nhóm dựa trên các tâm cụm.
Phân cụm có giúp tìm dữ liệu bất thường không?
Có. Những điểm nằm xa nhóm bình thường hoặc ở vùng mật độ thấp có thể được đánh dấu là bất thường để kiểm tra thêm.
Tóm tắt
- Phân cụm chia dữ liệu theo độ tương đồng mà không cần nhãn, nên thuộc học không giám sát.
- Độ tương đồng được đo bằng khoảng cách hoặc góc, sau đó nhóm được tạo và cập nhật cho đến khi ổn định.
- K-means, phân cấp và DBSCAN dùng giả định khác nhau về hình dạng dữ liệu.
- Ứng dụng gồm phân khúc khách hàng, tài liệu, hình ảnh và đánh dấu bất thường.
Đọc tiếp học không giám sát là gì và học máy là gì.
Sources
- https://vi.m.wikipedia.org/wiki/Ph%C3%A2n_c%E1%BB%A5m_k-means
- https://campus.datacamp.com/vi/courses/fraud-detection-in-python/fraud-detection-using-unlabeled-data?ex=7
- https://kungfutech.edu.vn/posts/tim-hieu-ve-k-means-va-phan-cum-du-lieu
- https://memart.vn/tin-tuc/blog/tim-hieu-k-means-la-gi-va-cach-su-dung-thuat-toan-nay-trong-viec-phan-loai-du-lieu-vi-cb.html
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free