Token

Token nedir?

Token, dil modellerinin metni parçaladığı temel birimdir. Tam anlamıyla ne bir kelime ne de bir harftir — ikisinin arasında bir yerde durur. Türkçe gibi eklemeli dillerde Türkçe kelimeler genellikle birden fazla token'a karşılık gelir.

Neden önemli?

Modeller token başına fiyatlandırılır ve işler. Gönderdiğin metin ne kadar uzunsa, o kadar çok token kullanırsın — bu hem maliyet hem de context penceresi açısından kritiktir.

Yaklaşık hesaplama

İngilizce için: ~4 karakter = 1 token, ~750 kelime = 1000 token
Türkçe için: kelimeler daha uzun olduğundan token oranı biraz daha yüksek olabilir.

Context penceresi

Modelin aynı anda işleyebildiği maksimum token sayısına "context window" denir. GPT-4 128k, Claude 3.7 200k token'a kadar destekler.