Yapay Zeka
Token Nedir? ChatGPT Uzun Sohbette Neden Unutur?
Yapay zeka sohbet botlarının "hafızası" token adlı parçalarla ölçülür. Uzun sohbetlerde ilk konuşulanların unutulmasının teknik nedenini sade bir dille anlatıyoruz.
Kısa cevap: ChatGPT ve benzeri sohbet botları metni "token" denen küçük parçalara bölerek okur ve aynı anda sınırlı sayıda tokeni görebilir. Sohbet uzayıp bu sınır aşıldığında en eski mesajlar görüş alanından çıkar — botun ilk konuşulanları "unutması" bir hafıza arızası değil, pencerenin dolmasıdır. Bu yazıda tokenin ne olduğunu ve unutmayla ilişkisini anlatıyoruz.
Token: kelime değil, parça
Dil modelleri metni harf harf ya da kelime kelime değil, istatistiksel olarak anlamlı parçalar halinde işler. "Araba" tek token olabilirken "arabalarımızdan" birden fazla tokene bölünür. İngilizcede 1 token kabaca 4 karaktere denk gelir; Türkçe gibi eklerle uzayan dillerde aynı metin genellikle daha fazla token tutar. Bu parçalama işlemine "tokenizasyon" denir ve modelin dünyayı görme birimi budur. Modellerin çalışma mantığını daha geniş anlatan LLM rehberimiz bu konunun devamı niteliğindedir.
Bağlam penceresi: modelin görüş alanı
Her modelin "bağlam penceresi" (context window) adı verilen bir kapasitesi vardır: aynı anda dikkate alabildiği toplam token sayısı. Bu pencereye sizin mesajlarınız, botun cevapları ve varsa yüklediğiniz dosyalar birlikte sığmak zorundadır. Pencere dolunca iki şey olur: ya en eski mesajlar atılır ya da arka planda özetlenerek sıkıştırılır. Her iki durumda da ayrıntılar kaybolur — sohbetin başında verdiğiniz özel talimatın 40 mesaj sonra etkisini yitirmesinin nedeni budur.
Unutma neden bir anda fark edilir?
Pencere dolana kadar model her şeyi görür ve tutarlıdır; sınır aşıldığı anda ilk mesajlar sessizce devre dışı kalır. Kullanıcı açısından bu, "dün gayet iyi hatırlıyordu, bugün saçmaladı" gibi ani bir kırılma olarak hissedilir. Ayrıca özetleme devredeyse model olayları hatırlar ama ayrıntıyı karıştırabilir: ismi doğru, tarihi yanlış söyleyebilir. Bu davranış ChatGPT için de Claude için de geçerlidir; fark yalnızca pencere boyutları ve özetleme stratejilerindedir.
Uzun işlerde unutmayı azaltan 4 alışkanlık
- Kritik bilgiyi tek mesajda toplayın: Kurallar ve tercihler sohbete dağılmışsa, ara sıra tek bir "özet mesaj" yazıp yenileyin.
- Uzun sohbeti bölün: Konu değiştiğinde yeni oturum açmak, pencereyi gereksiz geçmişle doldurmaz.
- Özetle devret: Sohbet çok uzadıysa bottan o ana kadarki işin özetini isteyin; yeni oturuma bu özetle başlayın.
- Dosyayı parça parça verin: Dev bir belgeyi tek seferde yüklemek pencereyi tüketir; ilgili bölümü sorup ilerlemek daha verimlidir.
Sonuç
Token, yapay zekanın okuma birimi; bağlam penceresi ise masasının boyutudur. Masa dolunca en alttaki kâğıtlar yere düşer. Bunu bilen bir kullanıcı, botu suçlamak yerine masayı düzenli tutar — ve aynı araçtan çok daha tutarlı sonuç alır.
Sıkça Sorulan Sorular
-
Değil. Token, kelimeden küçük olabilen metin parçasıdır: kısa İngilizce kelimeler tek token olurken, uzun veya Türkçe ekli kelimeler birden çok tokene bölünür. Kabaca bir sayfa metin, birkaç yüz token eder.
-
Modelin aynı anda görebildiği metin miktarı (bağlam penceresi) sınırlıdır. Sohbet bu sınırı aşınca en eski mesajlar pencerenin dışında kalır ya da özetlenir; model dışarıda kalan bilgiyi artık göremez, bu yüzden "unutmuş" gibi davranır.
-
Uzun projelerde ara ara kısa bir özet yazıp sohbete eklemek, kritik bilgileri tek mesajda toplamak ve çok uzayan sohbeti yeni bir oturumda özetle başlatmak en pratik çözümlerdir.
