กลไกความใส่ใจ (Attention) คืออะไร อธิบายกลไกแอตเทนชันแบบเข้าใจง่าย

Updated · By Viviai

กลไกความใส่ใจ (attention mechanism) คือส่วนหนึ่งของโครงข่ายประสาทเทียมที่ขณะประมวลผลข้อมูลชิ้นหนึ่ง จะกำหนดน้ำหนักความสำคัญให้ข้อมูลชิ้นอื่นแตกต่างกันไป แทนที่จะให้ทุกชิ้นมีความสำคัญเท่ากัน จากนั้นจึงนำข้อมูลมารวมกันตามน้ำหนักเหล่านั้น กลไกนี้เป็นหัวใจหลักของสถาปัตยกรรมทรานส์ฟอร์เมอร์ที่ใช้ในโมเดลภาษาขนาดใหญ่ในปัจจุบัน

ชื่อของมันสอดคล้องกับพฤติกรรมที่คุ้นเคย เวลาอ่านประโยคยาว เราไม่ได้ให้ความสำคัญกับทุกคำเท่ากัน แต่จะเหลียวมองคำที่ช่วยไขความหมายของคำที่กำลังอ่านอยู่ กลไกความใส่ใจทำให้โครงข่ายเรียนรู้พฤติกรรมทำนองเดียวกันนี้ได้

กลไกความใส่ใจแก้ปัญหาอะไร?

โมเดลแปลงลำดับเป็นลำดับยุคแรกสุดสำหรับการแปลภาษา ใช้ตัวเข้ารหัสและตัวถอดรหัส ตัวเข้ารหัสจะอ่านประโยคต้นทางทั้งหมดแล้วบีบลงในเวกเตอร์ขนาดคงที่หนึ่งตัวที่เรียกว่าเวกเตอร์บริบท จากนั้นตัวถอดรหัสจึงสร้างประโยคปลายทางจากเวกเตอร์ตัวเดียวนี้

วิธีนี้ใช้ได้กับประโยคสั้น แต่เริ่มติดขัดกับประโยคยาว เพราะเวกเตอร์ตัวเดียวต้องเก็บทุกรายละเอียด และข้อมูลจากคำต้นประโยคจะถูกบีบหรือหายไปก่อนจะถึงคำท้าย โมเดลไม่มีทางมองย้อนกลับไปดูคำต้นทางคำใดคำหนึ่งขณะสร้างคำปลายทาง

กลไกความใส่ใจถูกนำมาเพื่อขจัดคอขวดนี้ ตัวถอดรหัสยังคงเข้าถึงผลลัพธ์ของตัวเข้ารหัสทั้งหมด และเรียนรู้ว่าจะเรียกดูตำแหน่งใดในแต่ละขั้นตอน

แนวคิดหลัก: การถ่วงน้ำหนักแทนการเฉลี่ย

การเฉลี่ยทั่วไปให้ทุกอินพุตมีอิทธิพลเท่ากัน กลไกความใส่ใจแทนที่สิ่งนั้นด้วยค่าเฉลี่ยถ่วงน้ำหนัก สำหรับผลลัพธ์ที่กำลังสร้าง โมเดลจะให้คะแนนความเกี่ยวข้องกับอินพุตแต่ละตัว แล้วเปลี่ยนคะแนนเป็นน้ำหนักที่รวมกันได้หนึ่ง ก่อนจะรวมอินพุตด้วยน้ำหนักเหล่านั้น

น้ำหนักใกล้หนึ่งหมายถึงให้ความสนใจที่นี่ ส่วนน้ำหนักใกล้ศูนย์หมายถึงไม่เกี่ยวข้องในขณะนี้ น้ำหนักพวกนี้ไม่ได้ถูกกำหนดตายตัว แต่ถูกเรียนรู้จากข้อมูลระหว่างการฝึก และเปลี่ยนไปตามตำแหน่งผลลัพธ์

ตัวอย่างที่ใช้กันบ่อยคือประโยค "สัตว์ไม่ข้ามถนนเพราะมันเหนื่อยเกินไป" ขณะประมวลผลคำว่า "มัน" กลไกควรให้น้ำหนักคำว่า "สัตว์" สูงและให้คำว่า "ถนน" ต่ำ ความเชื่อมโยงระหว่างคำกับคำที่มันอ้างถึงนี้คือความสัมพันธ์แบบที่กลไกความใส่ใจถูกสร้างขึ้นมาเพื่อจับ

คิวรี คีย์ และค่า

รูปแบบที่พบบ่อยที่สุดอธิบายอินพุตแต่ละตัวด้วยเวกเตอร์สามตัวที่มีบทบาทตามความหมายตรงตัว

กลไกจะเปรียบเทียบคิวรีปัจจุบันกับคีย์ทุกตัวเพื่อวัดความเข้ากัน คะแนนความเข้ากันเหล่านี้กลายเป็นน้ำหนัก และน้ำหนักถูกนำไปใช้กับค่าเพื่อสร้างผลลัพธ์ อุปมาที่มักใช้คือเสิร์ชเอนจิน: คิวรีคือคำค้นหา คีย์คือหัวข้อของหน้าที่เป็นตัวเลือก และค่าคือเนื้อหาของหน้าที่ถูกดึงมารวม

การคำนวณความใส่ใจทำงานอย่างไร

หน่วยความใส่ใจผลคูณจุดที่ปรับสเกลแล้วในทรานส์ฟอร์เมอร์ทำงานสี่ขั้นตอน

  1. ให้คะแนน: คำนวณคะแนนความคล้ายระหว่างคิวรีกับคีย์แต่ละตัวด้วยผลคูณจุด แล้วหารด้วยรากที่สองของมิติคีย์ ( \sqrt{d_k} ) เพื่อรักษาระดับตัวเลขให้คงที่
  2. ปรับเป็นน้ำหนัก: ส่งคะแนนทั้งหมดผ่านซอฟต์แมกซ์ให้กลายเป็นน้ำหนักบวกที่รวมกันได้หนึ่ง
  3. ถ่วงน้ำหนัก: คูณค่าแต่ละตัวด้วยน้ำหนักที่สอดคล้อง
  4. รวมผล: บวกค่าที่ถ่วงน้ำหนักแล้วเข้าด้วยกันเป็นผลลัพธ์ของตำแหน่งปัจจุบัน

ในรูปย่อ การดำเนินการคือ

[ \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V ]

ความใส่ใจตนเองกับความใส่ใจไขว้

กลไกเดียวกันปรากฏในสองบริบทตามที่มาของเวกเตอร์

ความใส่ใจตนเองเชื่อมต่อสองตำแหน่งใดก็ได้ในขั้นตอนเดียว ไม่ว่าจะมีคำกี่คำคั่นกลาง

ความใส่ใจหลายหัว

ชุดคิวรี คีย์ และค่าชุดหนึ่งเรียกว่าหัวความใส่ใจหนึ่งหัว ทรานส์ฟอร์เมอร์รันหลายหัวขนานกัน โดยแต่ละหัวมีเมทริกซ์การฉายภาพของตัวเอง หัวหนึ่งอาจติดตามการอ้างอิงสรรพนาม ขณะที่อีกหัวเน้นว่าคำคุณศัพท์ยึดกับคำนามอย่างไร

ผลลัพธ์ของทุกหัวจะถูกนำมาต่อกันแล้วผ่านชั้นเชิงเส้นชั้นสุดท้ายเพื่อรวมเข้าด้วยกัน การเพิ่มหัวช่วยขยายแบบแผนที่ชั้นสามารถเรียนรู้ได้โดยไม่เปลี่ยนความยาวลำดับ

ทำไมต้องมีการเข้ารหัสตำแหน่ง

กลไกความใส่ใจโดยตัวมันเองไม่ไวต่อการเรียงลำดับ หากสลับอินพุต ผลลัพธ์จะไม่เปลี่ยนเพราะมันเห็นเพียงผลรวมถ่วงน้ำหนัก ในภาษา ลำดับคำมีความหมาย ทรานส์ฟอร์เมอร์จึงเพิ่มการเข้ารหัสตำแหน่งเข้าไปในอินพุต

การเข้ารหัสนี้บอกโมเดลว่าคำใดอยู่ตำแหน่งใดของประโยค เมื่อข้อมูลตำแหน่งรวมกับเอ็มเบดดิง โมเดลจึงสร้างความหมายโดยคำนึงถึงลำดับได้

เปรียบเทียบแอตเทนชันกับโครงข่ายเวียนซ้ำ

แง่มุม แอตเทนชัน/ทรานส์ฟอร์เมอร์ โครงข่ายเวียนซ้ำ (RNN, LSTM)
การอ่านลำดับ ทุกตำแหน่งพร้อมกัน ทีละขั้นตอนตามลำดับ
การเชื่อมโยงระยะไกล ตรงไปในขั้นตอนเดียว ต้องผ่านทุกขั้นตอน
การฝึกแบบขนาน ทำได้ จำกัด
ข้อมูลลำดับ เพิ่มจากการเข้ารหัสตำแหน่ง มีในโครงสร้างตามลำดับอยู่แล้ว
ต้นทุนตามความยาว เพิ่มขึ้นตามกำลังสอง เพิ่มขึ้นเชิงเส้น

ข้อจำกัด

ต้นทุนหลักคือความซับซ้อน เนื่องจากทุกตำแหน่งให้ความใส่ใจกับทุกตำแหน่ง การคำนวณและหน่วยความจำจึงเพิ่มขึ้นตามกำลังสองของความยาวลำดับ การเพิ่มความยาวอินพุตเป็นสองเท่าอาจต้องใช้งานความใส่ใจมากขึ้นราวสี่เท่า นักวิจัยจึงเสนอรูปแบบกระจายและแอตเทนชันเชิงเส้นเพื่อลดต้นทุนกำลังสองนี้

คำถามที่พบบ่อย

กลไกความใส่ใจคืออะไรในคำพูดง่ายๆ? คือวิธีที่โมเดลตัดสินว่าอินพุตไหนสำคัญที่สุดต่อผลลัพธ์ที่กำลังสร้าง แล้วรวมอินพุตเหล่านั้นด้วยระดับความสนใจต่างกัน แทนที่จะถือว่าทุกอย่างเท่ากัน

ความใส่ใจกับความใส่ใจตนเองต่างกันอย่างไร? ความใส่ใจคือกลไกถ่วงน้ำหนักทั่วไป ส่วนความใส่ใจตนเองเป็นกรณีเฉพาะที่ลำดับให้ความใส่ใจกับตำแหน่งอื่นภายในตัวเอง ซึ่งเป็นการทำงานหลักในทรานส์ฟอร์เมอร์

ทำไมต้องใช้คิวรี คีย์ และค่า? คิวรีระบุสิ่งที่กำลังค้นหา คีย์บอกสิ่งที่แต่ละอินพุตเสนอ และค่าเก็บเนื้อหาที่จะถูกรวมหลังจับคู่ การแยกบทบาทเหล่านี้ช่วยให้โมเดลเรียนรู้ความเกี่ยวข้องได้ยืดหยุ่น

แอตเทนชันมาแทนที่โครงข่ายเวียนซ้ำได้จริงหรือ? ในงานภาษาหลายอย่าง แอตเทนชันแบบทรานส์ฟอร์เมอร์กลายเป็นตัวเลือกที่นิยม เพราะขนานกันได้ดีและจับความสัมพันธ์ระยะไกลได้ตรง แต่โครงข่ายเวียนซ้ำยังคงถูกใช้ โดยเฉพาะเมื่อต้นทุนกำลังสองของแอตเทนชันแพงเกินไป

ขั้นตอนต่อไป

กลไกความใส่ใจเป็นเพียงส่วนประกอบหนึ่ง ไม่ใช่ทั้งโมเดล หากต้องการดูว่ามันประกอบเข้าด้วยกันอย่างไร อ่านบทความเกี่ยวกับโครงข่ายประสาทเทียม แล้วเปรียบเทียบกับโครงข่ายเวียนซ้ำ และโครงข่ายคอนโวลูชัน

หมายเหตุของบรรณาธิการ

บทความนี้ผ่านการตรวจสอบข้ามแหล่งแล้ว โดยมีแหล่งข้อมูลอิสระสองแหล่งจากผู้เผยแพร่ต่างกัน (แหล่งภาษาไทยเดิมและ IBM Think) จึงผ่านเกณฑ์สองแหล่งอิสระ แต่ยังรอการตรวจทานจากเจ้าของภาษาก่อนเลื่อนสถานะเป็นทางการ

Sources

  1. https://th.wikipedia.org/wiki/กลไกความใส่ใจ
  2. https://th.wikipedia.org/wiki/ทรานส์ฟอร์เมอร์_(การเรียนรู้เชิงลึก)
  3. https://www.ibm.com/think/topics/attention-mechanism

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free