Apa Itu Attention Mechanism? Penjelasan Mekanisme Perhatian untuk Pemula

Updated · By Viviai

Attention mechanism (mekanisme perhatian) adalah teknik pada model pembelajaran mesin yang memberi bobot pada setiap bagian input berdasarkan tingkat relevansinya, sehingga model bisa "memperhatikan" informasi yang paling penting untuk tugas saat itu. Misalnya saat menerjemahkan kalimat, model dapat menaikkan bobot kata yang paling berkaitan dengan kata yang sedang diterjemahkan, bukan memperlakukan semua kata sama besar. Teknik ini menjadi inti dari arsitektur transformer yang dipakai banyak model bahasa besar.

Jika Anda sudah membaca tentang jaringan saraf berulang, attention hadir untuk mengatasi kelemahan jaringan tersebut saat menangani urutan yang panjang.

Masalah yang Diatasi

Pada sistem penerjemahan model urutan-ke-urutan yang lebih lama, seluruh kalimat input harus diringkas terlebih dahulu menjadi satu vektor konteks, lalu decoder membuat output hanya dari vektor itu. Pendekatan ini menimbulkan bottleneck:

Attention mengatasi hal ini dengan mengizinkan decoder mengakses semua keadaan tersembunyi dari encoder dan memilih sendiri bagian mana yang relevan pada setiap langkah.

Tiga Komponen: Query, Key, dan Value

BINUS University menjelaskan bahwa perhitungan attention melibatkan tiga komponen utama.

Komponen Peran Analogi sederhana
Query (Q) Representasi elemen yang sedang diproses Pertanyaan yang sedang diajukan
Key (K) Representasi setiap elemen pada input Label pada rak buku
Value (V) Informasi aktual yang terkait pada setiap key Isi buku yang sebenarnya

Cara kerjanya: model menghitung kesamaan antara query dengan setiap key, mengubah skor tersebut menjadi bobot perhatian, lalu menjumlahkan value berdasarkan bobot itu. Elemen yang cocok dengan query mendapat bobot lebih besar.

Cara Perhitungan Secara Umum

Secara garis besar, langkahnya sebagai berikut.

  1. Hitung skor kesamaan antara query dan setiap key.
  2. Ubah skor menjadi bobot yang jumlahnya satu, sering kali memakai fungsi softmax.
  3. Kalikan setiap value dengan bobotnya.
  4. Jumlahkan hasilnya untuk mendapatkan konteks berbobot.

IBM menjelaskan bahwa mekanisme ini memungkinkan model menambah pengaruh bagian input yang relevan dan mengurangi bagian yang kurang penting, tanpa harus membuang informasi sepenuhnya.

Self-Attention dan Multi-Head

Dua istilah yang sering muncul adalah:

Pendekatan paralel ini memungkinkan seluruh token diproses bersamaan, berbeda dari jaringan berulang yang bekerja satu per satu.

Attention vs Jaringan Saraf Berulang

Aspek Jaringan saraf berulang (RNN) Attention
Cara proses Urutan diproses satu per satu Banyak posisi bisa ditimbang bersamaan
Akses informasi Melewati keadaan tersembunyi sebelumnya Langsung ke seluruh bagian input
Kalimat panjang Informasi awal bisa melemah Bobot bisa menyorot posisi mana pun
Pararelisasi Terbatas Lebih mudah dijalankan paralel

Karena keunggulan ini, arsitektur yang membangun diri di atas attention menggantikan banyak penggunaan RNN pada model bahasa modern. Keduanya tetap dipelajari bersama karena LSTM dan RNN menjadi dasar untuk memahami mengapa attention dikembangkan.

Contoh Penerapan

Keterbatasan

Pertanyaan yang Sering Diajukan

Apa itu attention mechanism secara singkat? Teknik yang memberi bobot pada bagian input sesuai relevansi, sehingga model memfokuskan perhatian pada informasi yang paling dibutuhkan untuk tugas saat itu.

Apa bedanya query, key, dan value? Query mewakili elemen yang sedang diproses, key mewakili setiap elemen input, dan value adalah informasi aktual yang akan digabungkan berdasarkan bobot.

Apa itu self-attention? Bentuk attention yang menghubungkan elemen-elemen di dalam satu urutan yang sama, sehingga setiap kata dapat menimbang keterkaitannya dengan kata lain dalam kalimat yang sama.

Mengapa attention dianggap lebih baik untuk kalimat panjang? Karena model dapat langsung memberi bobot pada posisi mana pun tanpa hanya mengandalkan keadaan tersembunyi yang dilempar dari langkah sebelumnya, sehingga informasi awal tidak mudah hilang.

Apakah attention sama dengan transformer? Tidak. Attention adalah mekanisme, sedangkan transformer adalah arsitektur yang menjadikan attention, khususnya multi-head self-attention, sebagai komponen utamanya.

Langkah Berikutnya

Untuk memahami konteksnya, baca kembali pengantar pembelajaran mendalam dan pemrosesan bahasa alami. Setelah itu, pelajari pendahulunya yaitu jaringan saraf berulang dan LSTM, serta cara bobot model diperbarui melalui penurunan gradien.

Sources

  1. https://socs.binus.ac.id/2025/10/17/memahami-attention-mechanism-dalam-deep-learning-cara-model-ai-memperhatikan-informasi-penting/
  2. https://www.ibm.com/id-id/think/topics/transformer-model
  3. https://www.datacamp.com/id/tutorial/how-transformers-work

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free