Transformer

Transformer nedir?

Transformer, 2017 yılında Google araştırmacıları tarafından "Attention Is All You Need" makalesiyle tanıtılan sinir ağı mimarisidir. Doğal dil işleme (NLP) alanında devrim yarattı ve günümüzdeki neredeyse tüm büyük dil modellerinin (LLM) temelini oluşturuyor.

Nasıl çalışır?

Transformer'ın temel bileşeni attention (dikkat) mekanizmasıdır. Bu mekanizma, bir metindeki her kelimenin diğer kelimelerle olan ilişkisini paralel olarak hesaplar. Örneğin "Banka nehir kenarındaydı" cümlesinde "banka" kelimesinin "nehir" ile bağlantısını yakalayabilir.

Önceki RNN (tekrarlayan sinir ağı) mimarileri kelimeleri sıralı işliyordu — transformer bunu paralel hale getirerek çok daha hızlı ve büyük ölçekli eğitimi mümkün kıldı.

Neden önemli?

• Dil dışında görüntü (Vision Transformer), ses ve kod üretiminde de kullanılıyor
• Ölçeklendikçe yetenekleri artıyor (scaling laws)