Học Tăng Cường (Reinforcement Learning) Là Gì? Giải Thích cho Người Mới
Học tăng cường (reinforcement learning, viết tắt là RL) là một nhánh của machine learning trong đó một tác tử học cách ra quyết định thông qua quá trình thử sai với môi trường, nhận phần thưởng cho hành động dẫn tới mục tiêu và hình phạt cho hành động đi chệch hướng. Khác với supervised learning, RL không dùng các cặp dữ liệu được gắn nhãn.
Phiên bản đơn giản
Hãy nghĩ đến việc dạy thú cưng bằng phần thưởng: hành vi đúng được thưởng, hành vi sai thì không. Tác tử RL cũng vậy, thử hành động, quan sát kết quả rồi lặp lại lựa chọn mang lại phần thưởng.
Thành phần chính
| Thành phần | Vai trò |
|---|---|
| Tác tử | Người ra quyết định |
| Môi trường | Tình huống tác tử đối mặt |
| Hành động | Lựa chọn được thực hiện |
| Trạng thái | Tình huống hiện tại |
| Phần thưởng | Phản hồi sau hành động |
Cách học diễn ra
- Tác tử quan sát trạng thái.
- Nó chọn một hành động.
- Môi trường trả phần thưởng hoặc hình phạt.
- Tác tử điều chỉnh chiến lược và lặp lại.
Khám phá so với khai thác
- Khám phá thử hành động mới để tìm kết quả tốt hơn.
- Khai thác dùng hành động đã chứng minh hiệu quả.
- Tác tử cân bằng cả hai để không bị mắc kẹt ở một lựa chọn.
Ví dụ ứng dụng
- Robot học cách di chuyển
- Trò chơi chọn nước đi
- Hệ thống gợi ý và lập lịch
- Điều khiển hệ thống và quản lý tài nguyên
Hạn chế
RL có thể cần nhiều lần thử và lượng dữ liệu lớn, kết quả còn phụ thuộc cách thiết kế phần thưởng. Phần thưởng thiết kế sai có thể dẫn đến hành vi không mong muốn, nên cần kiểm tra thay vì mặc định coi là tối ưu.
FAQ
RL khác supervised learning ở điểm nào?
Supervised learning dùng dữ liệu gắn nhãn, còn RL học từ phần thưởng và hình phạt qua tương tác.
Phần thưởng trong RL là gì?
Tín hiệu phản hồi cho biết hành động có dẫn tới mục tiêu hay không.
Vì sao tác tử cần khám phá?
Để tìm chiến lược mới có thể tốt hơn, không chỉ lặp lại lựa chọn cũ.
RL có luôn học nhanh không?
Không. Một số việc cần nhiều lần thử trước khi chiến lược ổn định.
Điểm chính
- RL rèn tác tử qua thử sai, phần thưởng và hình phạt.
- Tác tử học chiến lược tối đa hóa phần thưởng dài hạn.
- Cân bằng giữa khám phá và khai thác là yếu tố then chốt.
- Thiết kế phần thưởng và số lần thử là thách thức thực tế.
Tiếp tục đọc machine learning là gì và AI agent là gì.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free