Mạng thần kinh hồi quy (RNN) là gì? Cách hoạt động và ví dụ dễ hiểu
Mạng thần kinh hồi quy (Recurrent Neural Network, viết tắt là RNN) là một loại mạng nơ-ron được thiết kế cho dữ liệu có thứ tự, chẳng hạn như văn bản, giọng nói và chuỗi thời gian. Điểm khác biệt cốt lõi là RNN giữ một trạng thái ẩn (hidden state) truyền từ bước thời gian này sang bước thời gian khác, nhờ đó mạng có thể "nhớ" thông tin đã gặp trước đó thay vì xử lý từng đầu vào một cách độc lập.
Câu trả lời ngắn gọn: RNN hoạt động thế nào
Một mạng nơ-ron truyền thống xử lý các đầu vào tách rời nhau và không lưu lại bối cảnh. RNN bổ sung một vòng lặp: tại mỗi bước, mạng nhận đầu vào hiện tại cùng trạng thái ẩn của bước trước, rồi tạo ra trạng thái ẩn mới và chuyển tiếp.
Công thức ở dạng đơn giản:
- Trạng thái ẩn mới: (h_t = \tanh(W_x x_t + W_h h_{t-1} + b_h))
- Đầu ra: (y_t = W_y h_t + b_y)
Trong đó (x_t) là đầu vào tại bước (t), (h_{t-1}) là trạng thái ẩn của bước trước, còn các ma trận trọng số (W_x, W_h, W_y) được dùng chung cho mọi bước thời gian thay vì mỗi bước một bộ trọng số riêng.
Các thành phần chính của RNN
- Đầu vào theo trình tự (input sequence): dữ liệu được đưa vào lần lượt từng phần, ví dụ từng từ trong câu.
- Trạng thái ẩn (hidden state): một vector tóm tắt những gì mạng đã đọc cho đến thời điểm hiện tại, đóng vai trò bộ nhớ ngắn hạn.
- Kết nối tuần hoàn (recurrent connection): đường đưa trạng thái ẩn của bước trước quay trở lại đầu vào của bước hiện tại.
- Lớp đầu ra: nhận trạng thái ẩn để đưa ra dự đoán, chẳng hạn từ tiếp theo hoặc nhãn cảm xúc.
- Hàm kích hoạt: thường là tanh trong trạng thái ẩn và sigmoid/softmax ở đầu ra.
Trình tự xử lý qua từng bước thời gian
- Tại bước (t), mạng nhận đầu vào (x_t) và trạng thái ẩn (h_{t-1}).
- Hai giá trị này được kết hợp và đi qua hàm tanh để tạo trạng thái ẩn mới (h_t).
- (h_t) được dùng để tính đầu ra (y_t).
- (h_t) cũng được chuyển sang bước (t+1), lặp lại quy trình cho đến hết chuỗi.
Vì cùng một bộ trọng số được chia sẻ trên toàn bộ trình tự, số tham số của mô hình không tăng theo độ dài câu, và mạng học được quy tắc áp dụng cho mọi vị trí.
Vì sao RNN phù hợp với dữ liệu chuỗi
Thứ tự trong nhiều loại dữ liệu mang ý nghĩa. Từ trong câu, nốt nhạc, hay chỉ số cảm biến theo thời gian đều phụ thuộc vào yếu tố đứng trước. Trạng thái ẩn cho phép RNN dùng bối cảnh trước đó để diễn giải phần hiện tại.
| Loại dữ liệu | Ví dụ tác vụ |
|---|---|
| Văn bản | Phân tích cảm xúc, mô hình ngôn ngữ, dịch máy |
| Giọng nói | Nhận dạng tiếng nói, chuyển giọng nói thành văn bản |
| Chuỗi thời gian | Dự báo giá trị, chỉ số cảm biến, hồ sơ y tế |
| Chữ viết tay | Nhận dạng chữ viết kết nối không tách đoạn |
RNN gắn chặt với bài toán xử lý ngôn ngữ tự nhiên, và cùng với mạng nơ-ron nói chung tạo thành nền tảng của nhiều mô hình LLM đời đầu.
Vấn đề tiêu biến và bùng nổ gradient
Khi huấn luyện, RNN được "trải ra" theo thời gian và học bằng kỹ thuật lan truyền ngược theo thời gian (Backpropagation Through Time, BPTT). Gradient lỗi được nhân dồn qua nhiều bước, dẫn đến hai hiện tượng:
- Tiêu biến gradient (vanishing gradient): gradient co nhỏ dần theo các bước xa, khiến mạng gần như không học được phụ thuộc dài.
- Bùng nổ gradient (exploding gradient): gradient phình to gây mất ổn định; có thể giảm thiểu bằng cách cắt gradient (gradient clipping).
Một RNN đơn giản thường gặp khó khăn với các phụ thuộc vượt quá khoảng một vài chục bước. Đây là lý do các kiến trúc có cổng ra đời.
LSTM và GRU: hai biến thể phổ biến
- LSTM (Long Short-Term Memory): bổ sung trạng thái tế bào (cell state) và ba cổng gồm cổng quên, cổng đầu vào và cổng đầu ra. Các cổng kiểm soát thông tin nào được giữ, ghi mới hoặc đưa ra, giúp giữ thông tin quan trọng qua nhiều bước.
- GRU (Gated Recurrent Unit): gộp cổng quên và cổng đầu vào thành cổng cập nhật, bỏ trạng thái tế bào riêng và chỉ dùng trạng thái ẩn. Cấu trúc đơn giản hơn, thường huấn luyện nhanh hơn với kết quả gần tương đương.
Cả hai đều hướng tới việc duy trì "đường cao tốc gradient" để thông tin không bị tiêu biến khi truyền qua trình tự dài.
Ưu điểm và hạn chế
Ưu điểm
- Mô hình hóa được thứ tự và bối cảnh thông qua trạng thái ẩn.
- Trọng số dùng chung nên xử lý được chuỗi có độ dài khác nhau.
- Phù hợp với nhiều tác vụ văn bản, giọng nói và chuỗi thời gian.
Hạn chế
- RNN cơ bản khó học phụ thuộc dài do tiêu biến gradient.
- Các bước thời gian xử lý tuần tự, khó song song hóa khi huấn luyện.
- Kết quả nhạy cảm với cách tiền xử lý và lựa chọn kiến trúc.
Câu hỏi thường gặp
RNN khác mạng nơ-ron truyền thống ở đâu?
Mạng truyền thống xử lý từng đầu vào độc lập và không lưu bối cảnh. RNN có vòng lặp đưa trạng thái ẩn qua các bước, nên đầu ra hiện tại có thể phụ thuộc vào dữ liệu đã gặp trước đó.
Trạng thái ẩn đóng vai trò gì?
Trạng thái ẩn là một vector tóm tắt thông tin mạng đã đọc đến bước hiện tại, hoạt động như bộ nhớ ngắn hạn và được chuyển tiếp cho bước thời gian kế tiếp.
Khi nào nên dùng LSTM hoặc GRU?
Khi chuỗi đầu vào dài và RNN đơn giản gặp tình trạng tiêu biến gradient, LSTM hoặc GRU giúp giữ thông tin quan trọng qua nhiều bước. GRU thường nhẹ hơn, trong khi LSTM có cơ chế kiểm soát bộ nhớ đầy đủ hơn.
RNN còn được dùng ngày nay không?
RNN và các biến thể từng chiếm ưu thế trong xử lý chuỗi, nhưng nhiều tác vụ hiện nay chuyển sang kiến trúc transformer. Hiểu RNN vẫn hữu ích vì khái niệm trạng thái ẩn và phụ thuộc trình tự là nền tảng để học các mô hình mới hơn.
Tóm tắt
Mạng thần kinh hồi quy xử lý dữ liệu chuỗi bằng cách duy trì trạng thái ẩn truyền qua từng bước thời gian, với trọng số dùng chung cho mọi bước. Thách đề tiêu biến gradient đã dẫn đến LSTM và GRU, hai biến thể giúp giữ thông tin dài hạn. Đây là kiến trúc nền tảng để hiểu cách các mô hình AI xử lý văn bản, giọng nói và dữ liệu theo thời gian.
Sources
- https://vi.wikipedia.org/wiki/M%E1%BA%A1ng_th%E1%BA%A7n_kinh_h%E1%BB%93i_quy
- https://cloud.vnpt.vn/blog/bach-khoa-machine-learning-mang-no-ron-hoi-quy-rnn-la-gi-huong-dan-day-du-cho-nguoi-moi-bat-dau-562
- https://www.datacamp.com/vi/courses/recurrent-neural-networks-rnn-for-language-modeling-with-keras
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free