Tokenisasi adalah Apa? Cara AI Membagi Teks Menjadi Token
Tokenisasi adalah proses membagi teks — berupa kalimat, paragraf, atau dokumen — menjadi satuan kecil yang disebut token. Inilah langkah pertama yang dijalankan sebelum model AI membaca teks, karena model tidak langsung memahami huruf mentah, melainkan rangkaian token yang sudah dipetakan ke angka.
Apa Itu Tokenisasi
Saat Anda mengetik kalimat, komputer melihat deretan karakter tanpa tahu di mana satu kata berhenti. Tokenisasi menentukan batas tiap satuan. Sebagai contoh sederhana, kalimat "Aku baru saja makan bakso pedas" dapat menghasilkan enam token: "Aku", "baru", "saja", "makan", "bakso", dan "pedas".
Pembatas yang umum dipakai adalah spasi dan tanda baca. Hasil tokenisasi lalu dipakai untuk analisis teks lebih lanjut, seperti analisis sentimen, penerjemahan, dan ringkasan otomatis.
Mengapa Tokenisasi Diperlukan
Model bahasa bekerja dengan angka, bukan huruf. Tokenisasi menjembatani teks manusia dan bentuk yang bisa dihitung mesin. Tanpa langkah ini, model tidak memiliki satuan yang konsisten untuk mengenali pola.
Tokenisasi juga membantu menangani kata yang jarang atau belum pernah dilihat, menjaga ukuran kosakata tetap terkendali, dan membuat pemrosesan lebih efisien.
Cara Kerja Tokenisasi
- Teks mentah dibagi pada batas seperti spasi, biasanya sambil menangani tanda baca.
- Kata yang panjang atau jarang dipecah menjadi subkata bila model memakai metode subkata.
- Setiap token dicocokkan dengan kosakata yang sudah ditetapkan, lalu dipetakan menjadi pengenal unik berupa angka.
- Rangkaian angka inilah yang diproses model.
- Saat menghasilkan jawaban, angka diubah kembali menjadi token lalu dirangkai menjadi teks (decoding).
Satu kata bisa menjadi satu token, tetapi kata panjang sering dipecah menjadi beberapa bagian. Tanda baca dan spasi juga dapat dihitung sebagai token.
Tiga Pendekatan Umum
| Pendekatan | Cara membagi | Kelebihan | Keterbatasan |
|---|---|---|---|
| Berbasis kata | Pada spasi dan tanda baca | Mudah dipahami | Kosakata besar; kata baru bisa jadi token tak dikenal |
| Berbasis karakter | Per huruf | Hampir tidak ada kata tak dikenal | Urutan menjadi sangat panjang |
| Subkata | Kata umum utuh, kata jarang dipecah | Seimbang dan efisien | Aturan pemecahan perlu dipelajari |
Token tak dikenal
Pada metode berbasis kata, kata yang tidak ada di kosakata menjadi token khusus yang menandakan model tidak mengenalinya, sering ditulis sebagai token "tak dikenal". Subkata mengatasi masalah ini karena kata baru tetap bisa disusun dari bagian-bagian yang sudah dikenal.
Metode Subkata yang Sering Dipakai
- Byte Pair Encoding (BPE): dimulai dari unit karakter atau byte, lalu berulang menggabungkan pasangan yang paling sering muncul menjadi satu token baru sampai ukuran kosakata target tercapai. BPE dipakai pada model gaya GPT dan membantu menangani kata di luar kosakata.
- WordPiece: mirip BPE, tetapi memilih penggabungan berdasarkan skor kemungkinan. Subkata yang merupakan lanjutan kata ditandai dengan simbol khusus, misalnya "##", sehingga model tahu bagian itu menempel pada token sebelumnya.
- SentencePiece dan Unigram: dirancang bekerja langsung pada teks mentah dan menangani banyak bahasa serta sistem tulisan. Pendekatan Unigram memulai dari kosakata besar lalu memangkas satuan yang paling jarang berguna.
Sebagai gambaran, kata "unhappiness" dapat dipecah menjadi bagian seperti "un", "happy", dan "ness", dengan penanda yang menunjukkan bagian kedua dan ketiga menempel pada bagian sebelumnya.
Tokenisasi dan Bahasa Indonesia
Setiap model memiliki tokenizer dan kosakata sendiri, sehingga kalimat yang sama bisa menghasilkan jumlah token berbeda antar model. Bahasa dengan banyak imbuhan, seperti bahasa Indonesia dengan awalan dan akhiran, dapat diperlakukan berbeda tergantung cara tokenizer dilatih.
Karena jumlah token memengaruhi biaya API dan batas jendela konteks, proyek multibahasa memantau efisiensi token, bukan sekadar jumlah kata. Topik ini berkaitan erat dengan satuan token dan cara kerja model bahasa.
Hubungan dengan Konsep Lain
- Token: hasil dari tokenisasi; tokenisasi adalah prosesnya, token adalah satuan hasilnya.
- Stemming: langkah pemrosesan teks lain yang menyederhanakan kata ke bentuk dasar, berbeda dari pemecahan menjadi token.
- Pembelajaran mesin: bidang yang memakai hasil tokenisasi sebagai input untuk model.
- Jendela konteks: batas jumlah token yang bisa dipertimbangkan model dalam satu permintaan.
FAQ
Tokenisasi Itu Gunanya Apa?
Mengubah teks menjadi token yang bisa dipetakan ke angka, sehingga model bahasa dapat membaca, memproses, dan menghasilkan kembali teks.
Apa Bedanya Tokenisasi dan Token?
Tokenisasi adalah proses membagi teks, sedangkan token adalah satuan kecil hasil pembagian tersebut.
Apa Itu Kata di Luar Kosakata?
Kata yang tidak terdaftar pada kosakata model. Metode subkata membantu menyusun kata semacam itu dari bagian-bagian yang sudah dikenal.
Mengapa Tidak Cukup Membagi pada Spasi?
Pembagian pada spasi kesulitan menangani kata baru, tanda baca, dan bahasa dengan sistem tulisan berbeda. Subkata memberi jalan tengah yang lebih luwes.
Apakah Semua Model Memakai Cara yang Sama?
Bukan. Tiap model punya tokenizer dan kosakata sendiri, dengan metode seperti BPE, WordPiece, atau SentencePiece.
Ringkasan
- Tokenisasi membagi teks menjadi token, langkah pertama sebelum model membaca teks.
- Alur umumnya memecah teks, memetakan token ke angka, lalu mengembalikan hasil menjadi teks.
- Tiga pendekatan utama: berbasis kata, karakter, dan subkata.
- BPE, WordPiece, dan SentencePiece adalah metode subkata yang umum.
- Jumlah token memengaruhi biaya API dan jendela konteks, serta berbeda antar model dan bahasa.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free