Dikkat Mekanizması

Dikkat Mekanizması nedir?

Attention (dikkat) mekanizması, transformer mimarisinin temel bileşenidir. Bir metindeki her kelimenin diğer kelimelerle olan ilişkisinin "ne kadar önemli" olduğunu öğrenir.

Sezgisel açıklama

"Doktor hastayı muayene etti ve ona ilaç yazdı" cümlesinde "ona" kelimesi kimi kastediyor? İnsan beyni bağlamdan "hastayı" çıkarır. Dikkat mekanizması da tam bunu yapar — "ona"nın "hastaya" yüksek dikkat ağırlığı vermesini öğrenir.

Self-Attention

Her kelimenin diğer tüm kelimelerle ilişkisini hesaplar. Paralel işleme sayesinde RNN'lere kıyasla çok daha hızlı.

Multi-Head Attention

Aynı mekanizma birden fazla "kafa" ile paralel çalışır. Her kafa farklı ilişki türlerini öğrenebilir (sözdizim, anlam, referans gibi).