กลไกความใส่ใจ (Attention) คืออะไร อธิบายกลไกแอตเทนชันแบบเข้าใจง่าย
กลไกความใส่ใจ (attention mechanism) คือส่วนหนึ่งของโครงข่ายประสาทเทียมที่ขณะประมวลผลข้อมูลชิ้นหนึ่ง จะกำหนดน้ำหนักความสำคัญให้ข้อมูลชิ้นอื่นแตกต่างกันไป แทนที่จะให้ทุกชิ้นมีความสำคัญเท่ากัน จากนั้นจึงนำข้อมูลมารวมกันตามน้ำหนักเหล่านั้น กลไกนี้เป็นหัวใจหลักของสถาปัตยกรรมทรานส์ฟอร์เมอร์ที่ใช้ในโมเดลภาษาขนาดใหญ่ในปัจจุบัน
ชื่อของมันสอดคล้องกับพฤติกรรมที่คุ้นเคย เวลาอ่านประโยคยาว เราไม่ได้ให้ความสำคัญกับทุกคำเท่ากัน แต่จะเหลียวมองคำที่ช่วยไขความหมายของคำที่กำลังอ่านอยู่ กลไกความใส่ใจทำให้โครงข่ายเรียนรู้พฤติกรรมทำนองเดียวกันนี้ได้
กลไกความใส่ใจแก้ปัญหาอะไร?
โมเดลแปลงลำดับเป็นลำดับยุคแรกสุดสำหรับการแปลภาษา ใช้ตัวเข้ารหัสและตัวถอดรหัส ตัวเข้ารหัสจะอ่านประโยคต้นทางทั้งหมดแล้วบีบลงในเวกเตอร์ขนาดคงที่หนึ่งตัวที่เรียกว่าเวกเตอร์บริบท จากนั้นตัวถอดรหัสจึงสร้างประโยคปลายทางจากเวกเตอร์ตัวเดียวนี้
วิธีนี้ใช้ได้กับประโยคสั้น แต่เริ่มติดขัดกับประโยคยาว เพราะเวกเตอร์ตัวเดียวต้องเก็บทุกรายละเอียด และข้อมูลจากคำต้นประโยคจะถูกบีบหรือหายไปก่อนจะถึงคำท้าย โมเดลไม่มีทางมองย้อนกลับไปดูคำต้นทางคำใดคำหนึ่งขณะสร้างคำปลายทาง
กลไกความใส่ใจถูกนำมาเพื่อขจัดคอขวดนี้ ตัวถอดรหัสยังคงเข้าถึงผลลัพธ์ของตัวเข้ารหัสทั้งหมด และเรียนรู้ว่าจะเรียกดูตำแหน่งใดในแต่ละขั้นตอน
แนวคิดหลัก: การถ่วงน้ำหนักแทนการเฉลี่ย
การเฉลี่ยทั่วไปให้ทุกอินพุตมีอิทธิพลเท่ากัน กลไกความใส่ใจแทนที่สิ่งนั้นด้วยค่าเฉลี่ยถ่วงน้ำหนัก สำหรับผลลัพธ์ที่กำลังสร้าง โมเดลจะให้คะแนนความเกี่ยวข้องกับอินพุตแต่ละตัว แล้วเปลี่ยนคะแนนเป็นน้ำหนักที่รวมกันได้หนึ่ง ก่อนจะรวมอินพุตด้วยน้ำหนักเหล่านั้น
น้ำหนักใกล้หนึ่งหมายถึงให้ความสนใจที่นี่ ส่วนน้ำหนักใกล้ศูนย์หมายถึงไม่เกี่ยวข้องในขณะนี้ น้ำหนักพวกนี้ไม่ได้ถูกกำหนดตายตัว แต่ถูกเรียนรู้จากข้อมูลระหว่างการฝึก และเปลี่ยนไปตามตำแหน่งผลลัพธ์
ตัวอย่างที่ใช้กันบ่อยคือประโยค "สัตว์ไม่ข้ามถนนเพราะมันเหนื่อยเกินไป" ขณะประมวลผลคำว่า "มัน" กลไกควรให้น้ำหนักคำว่า "สัตว์" สูงและให้คำว่า "ถนน" ต่ำ ความเชื่อมโยงระหว่างคำกับคำที่มันอ้างถึงนี้คือความสัมพันธ์แบบที่กลไกความใส่ใจถูกสร้างขึ้นมาเพื่อจับ
คิวรี คีย์ และค่า
รูปแบบที่พบบ่อยที่สุดอธิบายอินพุตแต่ละตัวด้วยเวกเตอร์สามตัวที่มีบทบาทตามความหมายตรงตัว
- คิวรี (Query): สิ่งที่ตำแหน่งปัจจุบันกำลังมองหา
- คีย์ (Key): สิ่งที่ตำแหน่งอินพุตนั้นเสนอให้ ใช้จับคู่กับคิวรี
- ค่า (Value): เนื้อหาจริงที่จะถูกรวมเมื่อเจอคู่ที่ตรงกัน
กลไกจะเปรียบเทียบคิวรีปัจจุบันกับคีย์ทุกตัวเพื่อวัดความเข้ากัน คะแนนความเข้ากันเหล่านี้กลายเป็นน้ำหนัก และน้ำหนักถูกนำไปใช้กับค่าเพื่อสร้างผลลัพธ์ อุปมาที่มักใช้คือเสิร์ชเอนจิน: คิวรีคือคำค้นหา คีย์คือหัวข้อของหน้าที่เป็นตัวเลือก และค่าคือเนื้อหาของหน้าที่ถูกดึงมารวม
การคำนวณความใส่ใจทำงานอย่างไร
หน่วยความใส่ใจผลคูณจุดที่ปรับสเกลแล้วในทรานส์ฟอร์เมอร์ทำงานสี่ขั้นตอน
- ให้คะแนน: คำนวณคะแนนความคล้ายระหว่างคิวรีกับคีย์แต่ละตัวด้วยผลคูณจุด แล้วหารด้วยรากที่สองของมิติคีย์ ( \sqrt{d_k} ) เพื่อรักษาระดับตัวเลขให้คงที่
- ปรับเป็นน้ำหนัก: ส่งคะแนนทั้งหมดผ่านซอฟต์แมกซ์ให้กลายเป็นน้ำหนักบวกที่รวมกันได้หนึ่ง
- ถ่วงน้ำหนัก: คูณค่าแต่ละตัวด้วยน้ำหนักที่สอดคล้อง
- รวมผล: บวกค่าที่ถ่วงน้ำหนักแล้วเข้าด้วยกันเป็นผลลัพธ์ของตำแหน่งปัจจุบัน
ในรูปย่อ การดำเนินการคือ
[ \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V ]
ความใส่ใจตนเองกับความใส่ใจไขว้
กลไกเดียวกันปรากฏในสองบริบทตามที่มาของเวกเตอร์
- ความใส่ใจตนเอง (self-attention): คิวรี คีย์ และค่ามาจากลำดับเดียวกัน คำในประโยคหนึ่งให้ความใส่ใจกับคำอื่นในประโยคเดียวกัน
- ความใส่ใจไขว้ (cross-attention): คิวรีมาจากลำดับหนึ่ง ส่วนคีย์และค่ามาจากอีกลำดับหนึ่ง ในการแปลภาษา ตัวถอดรหัสใช้ความใส่ใจไขว้เพื่อมองย้อนไปที่อินพุตของตัวเข้ารหัส
ความใส่ใจตนเองเชื่อมต่อสองตำแหน่งใดก็ได้ในขั้นตอนเดียว ไม่ว่าจะมีคำกี่คำคั่นกลาง
ความใส่ใจหลายหัว
ชุดคิวรี คีย์ และค่าชุดหนึ่งเรียกว่าหัวความใส่ใจหนึ่งหัว ทรานส์ฟอร์เมอร์รันหลายหัวขนานกัน โดยแต่ละหัวมีเมทริกซ์การฉายภาพของตัวเอง หัวหนึ่งอาจติดตามการอ้างอิงสรรพนาม ขณะที่อีกหัวเน้นว่าคำคุณศัพท์ยึดกับคำนามอย่างไร
ผลลัพธ์ของทุกหัวจะถูกนำมาต่อกันแล้วผ่านชั้นเชิงเส้นชั้นสุดท้ายเพื่อรวมเข้าด้วยกัน การเพิ่มหัวช่วยขยายแบบแผนที่ชั้นสามารถเรียนรู้ได้โดยไม่เปลี่ยนความยาวลำดับ
ทำไมต้องมีการเข้ารหัสตำแหน่ง
กลไกความใส่ใจโดยตัวมันเองไม่ไวต่อการเรียงลำดับ หากสลับอินพุต ผลลัพธ์จะไม่เปลี่ยนเพราะมันเห็นเพียงผลรวมถ่วงน้ำหนัก ในภาษา ลำดับคำมีความหมาย ทรานส์ฟอร์เมอร์จึงเพิ่มการเข้ารหัสตำแหน่งเข้าไปในอินพุต
การเข้ารหัสนี้บอกโมเดลว่าคำใดอยู่ตำแหน่งใดของประโยค เมื่อข้อมูลตำแหน่งรวมกับเอ็มเบดดิง โมเดลจึงสร้างความหมายโดยคำนึงถึงลำดับได้
เปรียบเทียบแอตเทนชันกับโครงข่ายเวียนซ้ำ
| แง่มุม | แอตเทนชัน/ทรานส์ฟอร์เมอร์ | โครงข่ายเวียนซ้ำ (RNN, LSTM) |
|---|---|---|
| การอ่านลำดับ | ทุกตำแหน่งพร้อมกัน | ทีละขั้นตอนตามลำดับ |
| การเชื่อมโยงระยะไกล | ตรงไปในขั้นตอนเดียว | ต้องผ่านทุกขั้นตอน |
| การฝึกแบบขนาน | ทำได้ | จำกัด |
| ข้อมูลลำดับ | เพิ่มจากการเข้ารหัสตำแหน่ง | มีในโครงสร้างตามลำดับอยู่แล้ว |
| ต้นทุนตามความยาว | เพิ่มขึ้นตามกำลังสอง | เพิ่มขึ้นเชิงเส้น |
ข้อจำกัด
ต้นทุนหลักคือความซับซ้อน เนื่องจากทุกตำแหน่งให้ความใส่ใจกับทุกตำแหน่ง การคำนวณและหน่วยความจำจึงเพิ่มขึ้นตามกำลังสองของความยาวลำดับ การเพิ่มความยาวอินพุตเป็นสองเท่าอาจต้องใช้งานความใส่ใจมากขึ้นราวสี่เท่า นักวิจัยจึงเสนอรูปแบบกระจายและแอตเทนชันเชิงเส้นเพื่อลดต้นทุนกำลังสองนี้
คำถามที่พบบ่อย
กลไกความใส่ใจคืออะไรในคำพูดง่ายๆ? คือวิธีที่โมเดลตัดสินว่าอินพุตไหนสำคัญที่สุดต่อผลลัพธ์ที่กำลังสร้าง แล้วรวมอินพุตเหล่านั้นด้วยระดับความสนใจต่างกัน แทนที่จะถือว่าทุกอย่างเท่ากัน
ความใส่ใจกับความใส่ใจตนเองต่างกันอย่างไร? ความใส่ใจคือกลไกถ่วงน้ำหนักทั่วไป ส่วนความใส่ใจตนเองเป็นกรณีเฉพาะที่ลำดับให้ความใส่ใจกับตำแหน่งอื่นภายในตัวเอง ซึ่งเป็นการทำงานหลักในทรานส์ฟอร์เมอร์
ทำไมต้องใช้คิวรี คีย์ และค่า? คิวรีระบุสิ่งที่กำลังค้นหา คีย์บอกสิ่งที่แต่ละอินพุตเสนอ และค่าเก็บเนื้อหาที่จะถูกรวมหลังจับคู่ การแยกบทบาทเหล่านี้ช่วยให้โมเดลเรียนรู้ความเกี่ยวข้องได้ยืดหยุ่น
แอตเทนชันมาแทนที่โครงข่ายเวียนซ้ำได้จริงหรือ? ในงานภาษาหลายอย่าง แอตเทนชันแบบทรานส์ฟอร์เมอร์กลายเป็นตัวเลือกที่นิยม เพราะขนานกันได้ดีและจับความสัมพันธ์ระยะไกลได้ตรง แต่โครงข่ายเวียนซ้ำยังคงถูกใช้ โดยเฉพาะเมื่อต้นทุนกำลังสองของแอตเทนชันแพงเกินไป
ขั้นตอนต่อไป
กลไกความใส่ใจเป็นเพียงส่วนประกอบหนึ่ง ไม่ใช่ทั้งโมเดล หากต้องการดูว่ามันประกอบเข้าด้วยกันอย่างไร อ่านบทความเกี่ยวกับโครงข่ายประสาทเทียม แล้วเปรียบเทียบกับโครงข่ายเวียนซ้ำ และโครงข่ายคอนโวลูชัน
หมายเหตุของบรรณาธิการ
บทความนี้ผ่านการตรวจสอบข้ามแหล่งแล้ว โดยมีแหล่งข้อมูลอิสระสองแหล่งจากผู้เผยแพร่ต่างกัน (แหล่งภาษาไทยเดิมและ IBM Think) จึงผ่านเกณฑ์สองแหล่งอิสระ แต่ยังรอการตรวจทานจากเจ้าของภาษาก่อนเลื่อนสถานะเป็นทางการ
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free