Transfer Learning คืออะไร? คำอธิบายสำหรับมือใหม่
Transfer learning (การเรียนรู้แบบถ่ายโอน) เป็นเทคนิคการเรียนรู้ของเครื่องที่นำโมเดลซึ่งผ่านการฝึกจากงานหนึ่งกลับมาใช้ซ้ำ แล้วปรับแต่งเพื่อทำงานใหม่ที่เกี่ยวข้อง แทนที่จะสร้างโมเดลใหม่ตั้งแต่ต้น ความรู้ทั่วไปที่โมเดลเรียนรู้ไว้แล้ว เช่น รูปทรงของเส้นขอบหรือรูปแบบภาษาที่พบบ่อย สามารถนำมาใช้ต่อได้ ทำให้งานใหม่ใช้ข้อมูล เวลา และพลังประมวลผลน้อยลง
ฉบับเข้าใจง่าย
ลองนึกภาพว่าขับรถยนต์เป็นอยู่แล้ว แล้วมาหัดขับรถตู้ คุณไม่ต้องเริ่มใหม่ตั้งแต่ศูนย์; ทักษะการพวงมาลัย เบรก และการอ่านสภาพถนนยังใช้ได้ เพียงปรับตัวกับขนาดรถ Transfer learning ทำนองเดียวกัน: โมเดลที่ฝึกไว้แล้วนำพื้นฐานที่เป็นประโยชน์มา แล้วการ fine-tune สั้น ๆ จะปรับมันให้เข้ากับงานใหม่
เหตุใดจึงถูกนำมาใช้
| ฝึกตั้งแต่ต้น | ใช้ transfer learning |
|---|---|
| ต้องใช้ชุดข้อมูลติดฉลากขนาดใหญ่ | ใช้ข้อมูลน้อยกว่าได้ |
| ใช้เวลานานและทรัพยากรมาก | รวดเร็วและประหยัดกว่า |
| เริ่มจากค่าที่ตั้งแบบสุ่ม | เริ่มจากลักษณะที่เรียนรู้ไว้แล้ว |
| เสี่ยงผลลัพธ์ช่วงแรกอ่อนแอ | มักใช้งานได้เร็วกว่า |
ทำงานอย่างไร
- เริ่มจากโมเดลที่ฝึกไว้แล้ว บนชุดข้อมูลขนาดใหญ่และทั่วไป
- ใช้ชั้นแรก ๆ ซ้ำ ซึ่งมักเก็บลักษณะกว้าง ๆ เช่น รูปทรงหรือความสัมพันธ์ของคำ
- Fine-tune กับงานใหม่ โดยเปลี่ยนหรือปรับชั้นท้ายบนข้อมูลชุดเล็ก
- ล็อกบางชั้นไว้ เพื่อรักษาความรู้ทั่วไปและหลีกเลี่ยง overfitting
ตัวอย่างที่พบบ่อย
- โมเดลภาพที่จำแนกสัตว์ถูกปรับให้ตรวจจับตำหนิในภาพโรงงาน
- โมเดลภาษาทั่วไปถูกปรับให้ตอบคำถามเฉพาะด้าน
- โมเดลที่ฝึกภาษาหนึ่งถูกปรับให้รองรับภาษาที่ใกล้เคียง
- โมเดลเสียงถูกปรับให้เข้ากับสำเนียงใหม่ด้วยเสียงบันทึกจำนวนจำกัด
ประโยชน์และข้อจำกัด
Transfer learning ทำงานได้ดีเมื่องานทั้งสองใช้ลักษณะร่วมกันที่เป็นประโยชน์ หากงานเดิมและงานใหม่ต่างกันมาก ความรู้ที่ถ่ายโอนอาจช่วยได้น้อยหรือสร้างสัญญาณรบกวน เรียกว่า negative transfer โมเดลที่ฝึกไว้แล้วยังอาจพกความลำเอียงจากข้อมูลต้นทางมา ดังนั้นการตรวจสอบแหล่งที่มาและทดสอบกับงานใหม่จึงยังสำคัญ
ความเกี่ยวข้องกับ fine-tuning
Fine-tuning คือขั้นตอนปรับโมเดลที่ฝึกไว้แล้วบนข้อมูลใหม่ ส่วน transfer learning คือกลยุทธ์กว้าง ๆ ในการนำความรู้กลับมาใช้ข้ามงาน ทั้งสองมักปรากฏร่วมกัน: transfer learning คือแนวทาง และ fine-tuning คือวิธีปฏิบัติ
FAQ
Transfer learning หมายความว่าไม่ต้องใช้ข้อมูลเลยหรือไม่?
ไม่ใช่ ยังคงต้องใช้ตัวอย่างติดฉลากสำหรับงานใหม่ โดยปกติจะน้อยกว่าการฝึกตั้งแต่ต้นมาก แต่ต้องมากพอสำหรับปรับตัวและทดสอบ
โมเดลที่ฝึกไว้แล้วคืออะไร?
โมเดลที่เรียนลักษณะทั่วไปบนชุดข้อมูลใหญ่มาแล้ว และสามารถใช้เป็นจุดเริ่มต้นสำหรับงานที่เกี่ยวข้องได้
Negative transfer คืออะไร?
ภาวะที่ความรู้จากงานเดิมทำให้ประสิทธิภาพงานใหม่แย่ลง มักเกิดเพราะงานทั้งสองไม่ใกล้เคียงกัน
ใช้ได้เฉพาะกับ deep learning หรือไม่?
นิยมใช้กับโครงข่ายประสาทเทียม แต่แนวคิดการใช้ความรู้ซ้ำก็ปรากฏในวิธีเรียนรู้ของเครื่องแบบอื่นด้วย
สรุปใจความสำคัญ
- Transfer learning นำโมเดลจากงานหนึ่งกลับมาใช้กับงานที่เกี่ยวข้อง
- ประหยัดข้อมูล เวลา และทรัพยากรโดยเริ่มจากลักษณะที่เรียนรู้ไว้แล้ว
- Fine-tuning ปรับโมเดลที่ฝึกไว้แล้วให้เข้ากับข้อมูลใหม่
- ทำงานได้ดีเมื่องานใช้ลักษณะร่วมกัน; หากไม่ เกิด negative transfer ได้
อ่านต่อกับ [fine-tuning คืออะไร](fine-tuning-khue-arai) และ [โครงข่ายประสาทเทียมคืออะไร](neural-network-khue-arai)
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free