Apa Itu Quantization? Penjelasan Teknik Kuantisasi Model AI
Quantization (kuantisasi) adalah teknik kompresi model yang menyimpan angka-angka model, termasuk bobot dan aktivasi, dengan lebih sedikit bit, sehingga model menjadi lebih ringan dan berjalan lebih cepat sambil mempertahankan sebagian besar akurasinya. Dalam praktiknya ini sering berarti mengubah bilangan titik-mengambang 16 atau 32 bit menjadi bilangan bulat 8 bit atau 4 bit.
Analogi sederhana
Bayangkan sebuah foto resolusi tinggi berukuran besar. Anda bisa mengecilkannya hingga seperempat ukuran semula, dan saat dilihat di layar ponsel, foto itu tampak hampir sama. Detail halus yang dibuang tidak terasa dalam pemakaian sehari-hari.
Quantization melakukan hal serupa pada model AI. Model besar sebenarnya hanyalah miliaran angka yang telah dipelajari. Jika angka-angka itu dibulatkan ke tangga yang lebih kasar, model menjadi jauh lebih kecil tetapi perilakunya tetap mirip dengan versi aslinya, karena jaringan saraf cukup toleran terhadap nilai yang dibulatkan.
Bit dan presisi
Model yang dilatih dengan cara biasa menyimpan bobot sebagai bilangan titik-mengambang 32 bit, disebut FP32. Format yang lebih rendah memakai lebih sedikit bit:
| Format | Sifat | Peran umum |
|---|---|---|
| FP32 | Titik-mengambang 32 bit | Presisi pelatihan penuh |
| FP16 / BF16 | Titik-mengambang 16 bit | Format penyajian yang umum |
| INT8 | Bilangan bulat 8 bit | Banyak dipakai, kualitas nyaris penuh |
| INT4 | Bilangan bulat 4 bit | Paling kecil, ada sedikit tukar kualitas |
Setiap penurunan tingkat kira-kira memangkas separuh memori yang dibutuhkan per nilai. Ini adalah pertukaran yang disengaja: Anda menerima hilangnya sedikit detail numerik demi keuntungan besar pada ukuran, biaya, dan latensi.
Mengapa penting untuk model besar
Model modern berukuran besar. Model dengan puluhan miliar parameter bisa membutuhkan memori lebih besar dari yang disediakan satu akselerator, sehingga lambat atau mahal untuk dijalankan. Tanpa kuantisasi, tim harus membayar memori lebih dan menerima waktu respons yang lebih lama.
Dokumentasi teknis NVIDIA memberi contoh nyata: model Llama 2 7B yang disimpan dalam FP16 membutuhkan sekitar 14 GB memori, dan pemindahan ke FP8 memangkasnya menjadi sekitar 7 GB. Pola yang sama muncul di berbagai keluarga model, itulah sebabnya kuantisasi menjadi langkah standar sebelum dijalankan di ponsel, laptop, dan perangkat tepi.
Bagaimana konversi bekerja
Secara konsep, kuantisasi memetakan rentang angka presisi tinggi ke sekumpulan tingkat bilangan bulat yang lebih kecil. Dua nilai dipakai untuk menggambarkan pemetaan: faktor skala yang mengatur jarak antar tingkat, dan titik nol yang menjadi jangkar. Saat inferensi, perangkat keras melakukan aritmetika bilangan bulat yang cepat, lalu hasilnya dikonversi kembali bila diperlukan.
Ada dua pendekatan utama yang menentukan kapan hal ini terjadi:
- Kuantisasi pasca-pelatihan (PTQ) menerapkan konversi pada model yang sudah selesai dilatih. Caranya cepat dan nyaris tidak perlu pelatihan ulang, terkadang memakai sekumpulan data kalibrasi kecil untuk menjaga akurasi tetap stabil.
- Pelatihan sadar-kuantisasi (QAT) mensimulasikan aritmetika presisi rendah selama pelatihan, sehingga model belajar bekerja dengan nilai yang dibulatkan. Pendekatan ini biasanya menjaga sedikit lebih banyak akurasi tetapi membutuhkan usaha lebih.
Apa yang didapat dan dikorbankan
| Aspek | Dampak kuantisasi |
|---|---|
| Ukuran model | Lebih kecil, terkadang berkali-kali lipat |
| Pemakaian memori | Lebih rendah, termasuk saat inferensi |
| Kecepatan | Lebih cepat pada perangkat keras yang dioptimalkan untuk matematika presisi rendah |
| Energi dan biaya | Berkurang |
| Akurasi | Biasanya turun sedikit, membesar pada tingkat yang agresif |
INT8 sering nyaris tanpa kehilangan kualitas untuk tugas sehari-hari. INT4 membawa perubahan kecil namun terukur, dan mendorong lebih rendah lagi bisa membuat kualitas menurun dengan cepat. Cara paling jujur memilih tingkat adalah mengukur model terkuantisasi terhadap versi aslinya pada tugas Anda sendiri, bukan menganggap satu pengaturan cocok untuk semua keadaan.
Bedanya dengan metode kompresi lain
Kuantisasi adalah salah satu dari beberapa cara membuat model lebih ringan. Pruning menghapus bobot yang kontribusinya kecil, sedangkan distilasi pengetahuan melatih model "murid" yang kecil meniru model "guru" yang besar. Kuantisasi mempertahankan struktur model yang sama tetapi menyajikannya dengan angka yang lebih sederhana, sehingga sering menjadi langkah pertama yang paling mudah dan kerap digabung dengan teknik lainnya.
Pertanyaan umum
Apakah kuantisasi mengubah apa yang model ketahui?
Teknik ini mengubah cara angka disimpan, bukan rancangan keseluruhan model. Model tetap mempertahankan kemampuannya, dengan sedikit tukar akurasi tergantung presisi yang dipilih.
Apakah kuantisasi sama dengan kompresi seperti berkas zip?
Beda. Zip bersifat tanpa kehilangan dan mengembalikan berkas persis seperti aslinya. Kuantisasi benar-benar membulatkan nilai, sehingga sebagian detail dibuang dan akurasi perlu diperiksa.
Apakah model terkuantisasi bisa berjalan di laptop atau ponsel?
Sering kali bisa. Penggunaan memori yang lebih rendah adalah alasan utama model besar dapat berjalan di perangkat konsumen, meski kecepatan tetap bergantung pada perangkat keras dan ukuran model.
Apa perbedaan PTQ dan QAT?
PTQ mengonversi model yang sudah dilatih dan cepat diterapkan. QAT melatih dengan presisi rendah yang disimulasikan dan biasanya menjaga sedikit lebih banyak akurasi dengan usaha tambahan.
Ringkasan
- Kuantisasi menyimpan angka model dengan lebih sedikit bit, dari FP32 ke INT8 atau INT4.
- Teknik ini memangkas memori, ukuran, energi, dan latensi sambil biasanya menjaga sebagian besar akurasi.
- PTQ adalah jalur cepat; QAT menjaga lebih banyak akurasi dengan usaha tambahan.
- Presisi yang tepat adalah pertukaran yang terukur, bukan pilihan yang sama untuk semua kasus.
Pelajari lebih lanjut tentang apa itu token dan apa itu embedding.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free