Token AI คืออะไร? คู่มือสำหรับมือใหม่

Updated · By Viviai

Token คือส่วนย่อยของข้อความที่โมเดล AI อ่านและเขียน มักเป็นส่วนหนึ่งของคำมากกว่าจะเป็นทั้งคำ Token สำคัญเพราะกำหนดว่าโมเดลจะจัดการข้อความได้ครั้งละเท่าใด และค่าใช้จ่าย API คิดอย่างไร

นิยามสั้น ๆ

Token คือหน่วยพื้นฐานที่ LLM ใช้ประมวลผลภาษา หนึ่งคำอาจเป็นหนึ่ง token แต่คำยาว ๆ มักถูกแยกเป็นหลายส่วน เครื่องหมายวรรคตอนและช่องว่างก็นับเป็น token ได้

โดยประมาณหยาบ ๆ สำหรับภาษาอังกฤษ 100 token เทียบได้กับประมาณ 75 คำ จำนวนจริงเปลี่ยนตามภาษาและการเลือกคำ

เหตุใดโมเดลจึงไม่ใช้คำตรง ๆ

การแยกเป็น token มีประสิทธิภาพกว่า คำอย่าง unhelpful, unhappy, unusual ใช้คำนำหน้า un- ร่วมกัน Tokenization ช่วยให้โมเดลจดจำส่วนร่วม และจัดการคำยาว ตัวเลข วรรคตอน โค้ด และระบบตัวอักษรต่าง ๆ ได้

Token กับหน้าต่างบริบท

หน้าต่างบริบท คือจำนวน token สูงสุดที่พิจารณาได้ในคำขอหนึ่งครั้ง รวม prompt บทสนทนาเดิม เอกสารที่วางมา และคำตอบของโมเดล

เมื่อบทสนทนาเกินหน้าต่าง เนื้อหาเก่าสุดจะถูกตัดทิ้งและโมเดลอ้างอิงไม่ได้ นี่คือเหตุผลที่เอกสารยาวมากบางครั้งทำให้เกิดข้อผิดพลาดหรือโมเดล "ลืม" ช่วงต้น

Token กับราคา API

เมื่อจ่ายค่าใช้ AI ผ่าน API ราคาคิดตาม token:

Token ขาออกมักแพงกว่าเพราะต้องคำนวณมากกว่า ราคา "ต่อหนึ่งล้าน token" หมายถึงจ่ายตามปริมาณข้อความที่ประมวลผล ไม่ใช่ตามจำนวนคำถาม

Token แตกต่างกันตามภาษา

ประโยคเดียวกันในคนละภาษาอาจใช้จำนวน token ต่างกัน บางภาษาใช้ token มากกว่าในหนึ่งความคิด และหน้าต่างบริบทที่ใส่ภาษาอังกฤษได้มากอาจใส่คำในภาษาอื่นได้น้อย โครงการหลายภาษาจึงติดตามประสิทธิภาพ token แทนการนับคำ

คำถามที่พบบ่อย

Token คือหนึ่งคำหรือเปล่า ไม่ใช่ มันอาจเป็นทั้งคำ ส่วนของคำ วรรคตอน หรือช่องว่าง

หากเกินหน้าต่างบริบทจะเกิดอะไรขึ้น อาจเกิดข้อผิดพลาดหรือเนื้อหาเก่าถูกตัด ให้ลดขนาดข้อมูลนำเข้าหรือแบ่งเป็นส่วน ๆ

เหตุใด token ขาออกจึงแพงกว่า การสร้าง token ใหม่ต้องใช้การคำนวณ ส่วนข้อมูลขาเข้าประมวลผลเพียงครั้งเดียว

สรุป

อ่านต่อ อาการแกล้งสร้างข้อมูลคืออะไร และ วิธีเขียน prompt ให้ได้ผล

Sources

  1. http://microsoft.github.io/ai-agents-for-beginners/

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free