Autoencoder Là Gì? Mạng Học Cách Nén và Tái Tạo Dữ Liệu

Updated · By Viviai

Autoencoder (tiếng Việt gọi là bộ tự mã hóa) là một loại mạng neuron nhân tạo học biểu diễn của dữ liệu không có nhãn theo phương pháp học tự giám sát; mạng học hai hàm số, một hàm mã hóa biến đổi đầu vào và một hàm giải mã tái tạo lại đầu vào từ biểu diễn đã mã hóa. Mục tiêu thường gặp là học một biểu diễn rút gọn để giảm chiều dữ liệu hoặc tạo embedding cho các thuật toán khác.

Kiến trúc tổng thể

Một bộ tự mã hóa có hình dạng thu hẹp rồi mở rộng, giống như một chiếc đồng hồ cát, với ba phần:

Thành phần Vai trò
Bộ mã hóa (encoder) Ánh xạ đầu vào sang biểu diễn ngắn gọn hơn
Không gian mã (bottleneck) Lớp hẹp nhất, nơi chứa biến tiềm ẩn (latent)
Bộ giải mã (decoder) Tái tạo đầu vào từ mã trong không gian mã

Lớp bottleneck được đặt nhỏ hơn đầu vào một cách cố ý. Nếu không gian mã rộng bằng đầu vào, mạng có thể sao chép dữ liệu mà không học được cấu trúc hữu ích. Việc thu hẹp buộc mô hình chỉ giữ lại thông tin được xem là quan trọng.

Về mặt hình thức, bộ mã hóa (E_\phi:\mathcal{X}\to\mathcal{Z}) ánh xạ dữ liệu từ không gian thông điệp (\mathcal{X}) sang không gian mã (\mathcal{Z}), còn bộ giải mã (D_\theta:\mathcal{Z}\to\mathcal{X}) thực hiện chiều ngược lại. Với mỗi đầu vào (x), giá trị (z=E_\phi(x)) được gọi là mã hay biến tiềm ẩn. Hai thành phần thường được xây dựng dưới dạng perceptron đa lớp.

Hàm mất mát và cách huấn luyện

Mục tiêu huấn luyện là giảm thiểu sai số tái tạo, nghĩa là đầu ra của bộ giải mã cần càng gần đầu vào ban đầu càng tốt. Trong trường hợp phổ biến, hàm mất mát là tổng bình phương sai số:

[ L(\theta,\phi)=\frac{1}{N}\sum_{i=1}^{N}\left|x_i-D_\theta(E_\phi(x_i))\right|_2^2 ]

Quá trình tối ưu thường được thực hiện bằng suy giảm độ dốc, trong đó tốc độ học quyết định độ lớn của mỗi bước cập nhật.

Các biến thể phổ biến

Nhiều biến thể được thiết kế để tạo ra biểu diễn hữu ích cho từng mục đích:

Biến thể Đặc điểm Ứng dụng thường gặp
Autoencoder cơ bản Nén đơn giản Thay thế phi tuyến cho phương pháp giảm chiều
Khử nhiễu (denoising) Nhận đầu vào nhiễu, học ra bản sạch Khôi phục hình ảnh, làm sạch tín hiệu
Thưa (sparse) Hạn chế số đơn vị cùng hoạt động Trích xuất và chọn đặc trưng
Co rút (contractive, CAE) Thêm chính quy hóa để biểu diễn ổn định trước nhiễu nhỏ Đặc trưng vững chắc hơn
Variational (VAE) Học phân phối xác suất thay vì mã cố định Sinh dữ liệu mới

VAE có thể tạo ra mẫu mới nên được xem là mô hình sinh, trong khi autoencoder cơ bản tập trung vào nén và biểu diễn.

Ứng dụng

Autoencoder và PCA

PCA là phương pháp tuyến tính, chiếu dữ liệu lên các thành phần chính. Autoencoder dùng các lớp mạng có hàm kích hoạt nên có thể học các quan hệ phi tuyến trên dữ liệu phức tạp như hình ảnh. Việc chọn phương pháp nào phụ thuộc vào bản chất dữ liệu và nhu cầu diễn giải.

Khái niệm liên quan

Autoencoder thuộc học sâu và học tự giám sát, được huấn luyện bằng suy giảm độ dốc; chính quy hóa đóng vai trò quan trọng trong các biến thể sparse và contractive. Transformer là một kiến trúc khác cũng làm việc với các biểu diễn nén trong nhiều quy trình hiện đại.

Câu hỏi thường gặp

Encoder và decoder khác nhau như thế nào?

Bộ mã hóa nén đầu vào thành mã trong không gian mã, còn bộ giải mã dùng mã đó để tái tạo lại đầu vào.

Vì sao cần lớp bottleneck?

Để mạng không chỉ sao chép dữ liệu. Lớp thu hẹp buộc mô hình học biểu diễn rút gọn và nắm bắt cấu trúc hữu ích.

Sai số tái tạo là gì?

Là thước đo mức khác biệt giữa đầu ra của bộ giải mã và đầu vào ban đầu. Giảm sai số này chính là mục tiêu huấn luyện.

Autoencoder và VAE khác nhau ra sao?

Autoencoder cơ bản học một mã cố định để nén, còn VAE học một phân phối xác suất và có thể sinh dữ liệu mới.

Autoencoder có dùng để phát hiện bất thường không?

Có. Dữ liệu lạ mà mô hình chưa từng học thường gây sai số tái tạo cao, giúp phát hiện điểm bất thường.

Tóm tắt

Sources

  1. https://vi.wikipedia.org/wiki/Bộ_tự_mã_hóa
  2. https://en.wikipedia.org/wiki/Autoencoder

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free