GRU Là Gì? Giải Thích Đơn Vị Hồi Quy Có Cổng Cho Người Mới

Updated · By Viviai

GRU (Gated Recurrent Unit, đơn vị hồi quy có cổng) là một biến thể của mạng nơ-ron hồi quy dùng hai cổng để kiểm soát thông tin được giữ lại và ghi mới tại mỗi bước, giúp xử lý các chuỗi dài với ít tham số hơn LSTM. GRU được Kyunghyun Cho và các cộng sự giới thiệu năm 2014, nhằm khắc phục tình trạng tiêu biến gradient của RNN truyền thống. Nó thường được dùng cho chuỗi thời gian, giọng nói và văn bản.

Nếu bạn đã đọc về LSTM, hãy xem GRU là phiên bản rút gọn. Nó giữ lại ý tưởng dùng cổng để điều khiển luồng thông tin, nhưng gộp bớt thành phần và chỉ duy trì một trạng thái ẩn duy nhất.

GRU Giải Quyết Vấn Đề Gì?

RNN truyền thống xử lý dữ liệu tuần tự từng bước và ghi đè trạng thái ẩn ở mỗi bước. Với chuỗi dài, tín hiệu lỗi khi huấn luyện bị thu nhỏ dần qua nhiều phép nhân, khiến các bước đầu gần như không được cập nhật. Đây là tình trạng tiêu biến gradient, làm mạng quên thông tin từ sớm.

GRU đưa ra cơ chế cập nhật có kiểm soát để trạng thái ẩn không bị ghi đè hoàn toàn. Nhờ đó, mạng có thể giữ lại thông tin hữu ích qua nhiều bước mà vẫn cho phép cập nhật khi gặp nội dung mới.

Ý Tưởng Cốt Lõi: Hai Cổng, Một Trạng Thái

Khác với LSTM có trạng thái ô riêng và ba cổng, GRU chỉ dùng một trạng thái ẩn và hai cổng. Nó gộp vai trò của cổng quên và cổng vào thành một cổng cập nhật, đồng thời bỏ cổng ra và trạng thái ô tách biệt.

Hai cổng đều dùng hàm sigmoid để tạo giá trị trong khoảng từ 0 đến 1. Giá trị gần 1 nghĩa là thông tin được truyền qua, giá trị gần 0 nghĩa là thông tin bị chặn. Cách tổ chức gọn này làm giảm số tham số cần học.

Hai Cổng Của GRU

Cách Tính Trạng Thái Ẩn

Việc tính toán tại một bước diễn ra theo thứ tự sau.

  1. Cổng cập nhật và cổng thiết lập lại được tính từ đầu vào hiện tại và trạng thái ẩn trước đó.
  2. Cổng thiết lập lại nhân với trạng thái ẩn cũ để chọn phần ngữ cảnh dùng khi tạo trạng thái ứng viên.
  3. Một lớp tanh tạo ra trạng thái ẩn ứng viên dựa trên đầu vào hiện tại và phần ngữ cảnh được giữ lại.
  4. Trạng thái ẩn cuối là tổ hợp lồi giữa trạng thái cũ và trạng thái ứng viên, được phân bổ theo cổng cập nhật.

Dạng tổng quát của bước cuối là tổ hợp có trọng số giữa trạng thái cũ và trạng thái mới, nên việc cập nhật mang tính cộng thêm thay vì ghi đè hoàn toàn.

Vì Sao GRU Nhẹ Hơn LSTM

GRU bỏ trạng thái ô riêng và gộp ba cổng còn hai cổng. Số khối ma trận trọng số giảm, đồng nghĩa ít tham số hơn, chi phí huấn luyện thấp hơn và thường chạy nhanh hơn trên cùng một tập dữ liệu.

Việc chỉ còn một trạng thái cũng làm luồng tính toán đơn giản hơn. Trên nhiều tác vụ mô hình hóa chuỗi, kết quả của GRU được ghi nhận ở mức tương đương LSTM, dù không có một kết luận cố định rằng kiến trúc nào luôn tốt hơn cho mọi bài toán.

So Sánh GRU, LSTM và RNN

Đặc điểm RNN LSTM GRU
Số trạng thái Một Hai (ẩn + ô) Một
Số cổng Không có Ba Hai
Số tham số Thấp Cao Trung bình
Xử lý chuỗi dài Yếu Mạnh Khá
Tốc độ huấn luyện Nhanh Chậm hơn Trung bình
Phù hợp khi Dữ liệu ngắn Cần kiểm soát chi tiết Cần cân bằng tốc độ và hiệu quả

Trường Hợp Nên Dùng GRU

GRU thường được chọn khi cần khả năng ghi nhớ có cổng nhưng muốn tiết kiệm tham số và thời gian huấn luyện. Các tình huống điển hình gồm dự báo chuỗi thời gian, xử lý tín hiệu giọng nói, phân loại văn bản và phân tích cảm xúc. Khi tập dữ liệu không quá lớn, cấu trúc gọn của GRU có thể giúp mô hình khớp với dữ liệu hiệu quả hơn so với một mạng LSTM nhiều tham số.

Hạn Chế

GRU không có trạng thái ô riêng và cổng ra, nên mức độ kiểm soát chi tiết luồng thông tin ít hơn LSTM. Với những tác vụ phức tạp đòi hỏi tách bạch rõ giữa bộ nhớ và đầu ra, LSTM hoặc các kiến trúc dựa trên cơ chế chú ý có thể phù hợp hơn. Giống như các mạng hồi quy khác, GRU xử lý tuần tự nên khó song song hóa hoàn toàn.

Câu Hỏi Thường Gặp

GRU là gì một cách ngắn gọn? Là một đơn vị hồi quy có hai cổng dùng để chọn lọc thông tin giữ lại và thông tin ghi mới, giúp RNN học được mối liên hệ cách xa nhau với ít tham số hơn LSTM.

Hai cổng của GRU làm gì? Cổng cập nhật cân bằng giữa trạng thái cũ và trạng thái mới, còn cổng thiết lập lại quyết định dùng bao nhiêu ngữ cảnh cũ khi tạo trạng thái ứng viên.

Nên chọn GRU hay LSTM? GRU nhẹ và thường huấn luyện nhanh hơn, phù hợp khi cần tiết kiệm tham số. LSTM cho mức kiểm soát chi tiết hơn và thường được cân nhắc cho các tác vụ phức tạp; lựa chọn nên dựa trên thử nghiệm với dữ liệu thực tế.

GRU có còn dùng sau khi có transformer không? Vẫn dùng. GRU giữ vai trò nhất định trong các bài toán chuỗi thời gian và xử lý tuần tự, đặc biệt khi nguồn lực tính toán hạn chế hoặc chuỗi đủ dài để chi phí của cơ chế chú ý trở nên đắt.

Bước Tiếp Theo

Để hiểu vị trí của GRU, hãy đọc lại phần mạng thần kinh hồi quy và mạng nơ-ron là gì. Sau đó đối chiếu trực tiếp với LSTM để thấy rõ cách hai kiến trúc này gộp và tách các cổng.

Sources

  1. https://kcntt.duytan.edu.vn/thong-tin/deep-learning-gru5qesc
  2. https://viblo.asia/p/69-khai-niem-kinh-dien-trong-hanh-trinh-10-nam-phat-trien-cua-nlp-phan-1-giai-doan-2014-2018-PwlVmzow45Z

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free