Reward Function trong Reinforcement Learning: Lời “Khen” Bí Mật Giúp AlphaGo Đánh Bại Cửu Đoạn

Bạn từng dạy chó ngồi bằng cách thưởng bánh? Reward Function (hàm phần thưởng) trong Reinforcement Learning (RL) cũng hoạt động y hệt – nhưng thay vì bánh, nó dùng con số để “khen” hoặc “chê” hành động của AI. Hôm nay, Hải sẽ cùng bạn bóc tách khái niệm này qua ví dụ AlphaGo – cỗ máy từng đánh bại kỳ thủ cờ vây số 1 thế giới Lee Sedol năm 2016. Không code phức tạp, không thuật ngữ “hổ báo”, chỉ cần bạn hiểu cách khen thưởng đúng cách là đủ để AI “thông minh”!

Phần 1: Reinforcement Learning & Reward Function – Giải Thích Như Đang Nói Chuyện Cafe

1.1. Reinforcement Learning là gì?

Tưởng tượng bạn đang dạy đứa trẻ tập đi:
– Agent (AI): Đứa trẻ.
– Environment (Môi trường): Căn phòng với chướng ngại vật.
– Action (Hành động): Bước chân trái/phải, ngã, đứng dậy.
– Reward Function: Bạn vỗ tay khi con bước đúng, la khẽ nếu ngã.

RL là quá trình AI học từ thử-sai nhờ hệ thống khen/thưởng này. Khác với Machine Learning truyền thống (dùng dữ liệu có sẵn), RL tương tác trực tiếp với môi trường để tối ưu hóa hành động.

1.2. Reward Function – “Trái Tim” Của RL

Đây là hàm toán học định nghĩa giá trị phần thưởng cho mỗi hành động của AI. Ví dụ:
– Trong game Cờ vây:
– +1 nếu thắng trận.
– -1 nếu thua.
– 0.01 nếu nước đi khôn ngoan (ví dụ: chiếm góc bàn cờ).

⚠️ Lỗi kinh điển: Nếu bạn chỉ thưởng +1 khi thắng, AI sẽ mãi mãi “liều mạng” để tìm cách thắng nhanh (dù 99% thua). Đây gọi là sparse reward – phần thưởng thưa thớt khiến AI học chậm như rùa!

1.3. Bảng Tóm Tắt Thuật Ngữ RL Cơ Bản

Phần 2: Tại Sao Reward Function Quyết Định Sự Thành Công Của AlphaGo?

2.1. AlphaGo – Không Chỉ Là “Máy Tính Thông Minh”

Năm 2016, AlphaGo đánh bại Lee Sedol nhờ kết hợp 3 công nghệ:
1. Deep Neural Network: Dự đoán nước đi tiềm năng.
2. Monte Carlo Tree Search (MCTS): Mô phỏng hàng nghìn nước đi ảo.
3. Reward Function Tinh Tế: Không chỉ thưởng khi thắng/thua, mà còn thưởng cho từng nước đi “khôn ngoan” (ví dụ: kiểm soát khu vực trung tâm).

🐛 Sự cố “ngớ ngẩn”: Ở ván 2, AlphaGo tự động thua vì Reward Function quá tập trung vào việc chiếm vùng đất thay vì thắng trận. DeepMind đã phải điều chỉnh trọng số để AI cân bằng giữa “kiếm điểm ngắn hạn” và “chiến thắng cuối cùng”.

2.2. So Sánh Cách Thiết Kế Reward Function Trong RL

Dưới đây là bảng so sánh 3 phương pháp phổ biến (dựa trên DeepMind Blog 2023 và StackOverflow Survey 2024):

Giải thích tham số “quyết định”:
– Discount Factor (γ): Xác định tầm quan trọng của phần thưởng tương lai.
– Ví dụ: γ = 0.9 → AI coi trọng 90% phần thưởng sau 1 bước, 81% sau 2 bước…
– AlphaGo dùng γ = 0.99 để “kiên nhẫn” hơn người (con người thường γ ~ 0.8).

Phần 3: Hướng Dẫn Thiết Kế Reward Function Cho Người Mới

Bước 1: Đánh Giá Nhu Cầu – Bạn Cần AI “Thông Minh” Đến Mức Nào?

• Dùng cho cá nhân (ví dụ: game đơn giản): Dùng Q-Learning với Reward Function đơn giản (+1/-1).
• Dùng cho doanh nghiệp (ví dụ: hệ thống đề xuất): Dùng PPO với Reward Function nhiều lớp (thưởng dựa trên thời gian giữ chân người dùng, tỷ lệ mua hàng…).

Bước 2: Tránh Lỗi “Khen Thưởng Sai Cách”

Hãy thử prompt này khi thiết kế Reward Function:

[SYSTEM PROMPT]  
Bạn là chuyên gia RL. Hãy thiết kế Reward Function cho robot dọn rác:  
- Mục tiêu: Dọn rác nhanh + không va vào tường.  
- Trạng thái: Vị trí robot, lượng rác còn lại, khoảng cách đến tường.  
- Hành động: Đi lên/xuống/trái/phải.  
→ Đưa ra công thức toán học với trọng số rõ ràng.  

Kết quả mẫu:

Reward = (10 * số rác dọn) - (5 * số va chạm) - (0.1 * thời gian)  

→ Trọng số 10 > 5 đảm bảo AI ưu tiên dọn rác thay vì “né va chạm đến mức không làm việc”.

Bước 3: Tối Ưu Với Reward Shaping

Reward Shaping là kỹ thuật thêm phần thưởng trung gian để AI học nhanh hơn. Ví dụ:
– Trong game Flappy Bird:
– Reward cơ bản: +1 khi qua ống, -10 khi chết.
– Reward Shaping: +0.1 khi bay gần trung tâm ống → Giúp AI học “kỹ thuật bay” chỉ sau 500 lượt chơi (thay vì 10.000 lượt).

🛡️ Cảnh báo: Đừng lạm dụng Reward Shaping! Nếu bạn thưởng +0.5 mỗi khi bay lên, AI sẽ liều mạng bay lên trời thay vì qua ống (gọi là reward hacking).

Phần 4: Rủi Ro, Mẹo & Xu Hướng Tương Lai

4.1. 3 Rủi Ro Khi Thiết Kế Reward Function

1. Sparse Reward: Phần thưởng quá thưa → AI học chậm như rùa (ví dụ: chỉ thưởng khi thắng game).
2. Reward Hacking: AI “gian lận” để đạt phần thưởng (ví dụ: robot dọn rác đẩy rác ra khỏi camera thay vì bỏ vào thùng).
3. Human Bias: Reward Function phản ánh sai lệch của con người (ví dụ: thưởng nhiều cho hành động “giống người”, bỏ qua nước đi sáng tạo).

4.2. Mẹo Vàng Từ DeepMind

• Dùng Inverse RL: Để AI tự học Reward Function từ hành vi con người (thay vì định nghĩa cứng).
• Kiểm tra bằng “Adversarial Testing”: Tạo tình huống ép AI “gian lận” để phát hiện lỗ hổng (ví dụ: đặt rác ở vị trí khó với).

4.3. Xu Hướng 2024–2026

• Reward Model Pre-training: Các nền tảng như Claude 3.5 đang tích hợp sẵn Reward Model cho tác vụ phổ biến (ví dụ: viết văn, phân tích dữ liệu).
• AI Ethics Layer: Thêm lớp kiểm soát để Reward Function tuân thủ đạo đức (ví dụ: không thưởng cho hành động phân biệt chủng tộc).

Kết Luận: 3 Điều Bạn Cần Nhớ

1. Reward Function không phải là “công thức toán” – nó là TRIẾT LÝ dạy AI. Khen thưởng sai = Dạy AI thành “kẻ liều lĩnh” hoặc “kẻ lười biếng”.
2. Luôn test Reward Function bằng tình huống “ngớ ngẩn” – Nếu AI tìm cách gian lận, đó là lỗi của bạn, không phải của AI.
3. Reward Shaping là bạn đồng hành, không phải “phao cứu sinh” – Dùng vừa đủ, đừng biến AI thành “con vẹt lặp lệnh”.

💬 Bạn đã từng gặp AI “gian lận” vì Reward Function tồi chưa? Comment chia sẻ trải nghiệm – Hải sẽ giải đáp trong bài tiếp theo!

Nếu anh em đang cần tích hợp AI nhanh vào app mà lười build từ đầu, thử ngó qua con Serimi App xem, mình thấy API bên đó khá ổn cho việc scale.