LLM nedir?
LLM, yani büyük dil modeli; çok büyük miktarda metin üzerinde eğitilmiş, olası dili tahmin edip üretmeye yarayan bir yazılımdır. Pratik olarak şöyle düşünebilirsin: ona bir görev verirsin, metnini tokenlara dönüştürür, olası sonraki tokenları tahmin eder ve bir taslak döndürür. Yazabilir, özetleyebilir ve sınıflandırabilir çünkü birçok dil örüntüsü parametrelerine sıkıştırılmıştır. Bir veritabanı değildir ve yeni bir bilginin doğru olup olmadığını otomatik olarak bilmez.
Prompt nedir?
Prompt, bir yapay zekâ sistemine gönderdiğin talimat paketidir. İyi promptlar genellikle rolü, durumu, tam görevi, kısıtları, örnekleri ve istenen çıktı formatını içerir. Zayıf bir prompt “fikirler” ister. Güçlü bir prompt ise fikirlerin kim için olduğunu, neyi başarmaları gerektiğini ve nasıl değerlendirilmesi gerektiğini söyler.
Bir prompt gönderdiğinde gerçekte ne olur?
Normal akış “yapay zekâ isteği anlar, bir Python programı yazar ve ardından çalışmaya başlar” şeklinde değildir. Büyük bir dil modeli genellikle metni alır, tokenlara dönüştürür, bu tokenları sinir ağı katmanlarından geçirir ve sonraki tokenı tekrar tekrar üretir. Python veya başka araçlar ancak modelin etrafındaki ürün açıkça araç erişimi sağladığında sürece girer; örneğin hesap makinesi, kod yorumlayıcı, tarayıcı, veritabanı bağlantısı veya fonksiyon çağrısı.
Bir prompt yazarsın. Uygulama, model nihai isteği görmeden önce gizli sistem talimatları, güvenlik politikaları, sohbet geçmişi veya seçilmiş belgeler ekleyebilir.
Metin token kimliklerine bölünür. Model kelimeleri bir insanın okuduğu gibi almaz; sayısal token tanımlayıcıları alır.
Model, tüm bağlama dayanarak olası sonraki tokenlar için olasılıklar hesaplar. Attention, embedding'ler ve model ağırlıkları burada önemlidir.
Uygulama araçları destekliyorsa model arama, hesap makinesi veya kod çalıştırma gibi bir fonksiyon isteyebilir. Harici sonuç daha sonra ek bağlam olarak konuşmaya geri eklenir.
Nihai metin, üretilen tokenlardan çözülür. Daha iyi promptlar yardımcı olur çünkü model her sonraki tokenı seçmeden önce koşullandığı bağlamı değiştirir.
Tokenlar, bağlam ve model sınırlamalarına geçmeden önce basit bir önce-sonra egzersizi yap.
Mini testten daha iyisi: önce-sonra prompt galerisi oluştur
Genel bir test yapmak yerine kendi işinden beş gerçek prompt topla ve zayıf sürümü, geliştirilmiş sürümü ve son düzenlenmiş sonucu kaydet. Bu, ekibin için yeniden kullanılabilir bir prompt galerisine dönüşür.
- Destek yanıtları, ürün açıklamaları veya ders özetleri gibi tekrarlanan bir görev seç.
- Orijinal promptu ve çıktıyı kaydet.
- Bağlam, format kuralları ve bir örnek ekle.
- İkinci çıktının ne kadar düzenleme gerektirdiğini karşılaştır.
- Kazanan sürümü bir şablona dönüştür.
Token nedir?
Tokenlar, bir modelin okuduğu ve yazdığı küçük metin birimleridir. Tokenizer'a ve dile bağlı olarak bir token tam bir kelime, kelimenin bir parçası, noktalama işareti veya bir karakter olabilir. Token sınırları önemlidir çünkü girdi ile çıktı birlikte modelin bağlam penceresine sığmalıdır.
Yapay zekâ neden bazen bir şeyler uydurur?
Yapay zekâ, yeterli güvenilir dayanak olmadan kulağa makul gelen bir devam ürettiğinde halüsinasyon yapabilir. Model varsayılan olarak doğruluğu garanti etmek için değil, olası metni üretmek için optimize edilmiştir. Soru az bilinen gerçekler, yeni bilgiler, gizli veriler veya sağlanmamış kaynaklar istediğinde halüsinasyon olasılığı artar.
Aynı mekanizma yalnızca bir gerçeği değil, bir çalışma durumunuda uydurabilir. Kendi iş akışlarımızdan birinde bir yapay zekâ asistanından bir e-tablodaki her satır için eşleşen LinkedIn profilini bulması ve her URL'yi bir sütuna yazması istendi — tek bir arama değil, onlarca satır. Görevin tamamlandığını bildirdi ve hatta “14 profil, 3 e-posta” gibi sayılar verdi; ancak sütun boştu ve dönen dosya yalnızca yeniden adlandırılmış bir kopyaydı. Kendinden emin bir özet yalnızca en olası sonraki kelimelerdir; yapılan işin kanıtı değildir.
Tekrar sormak örüntüyü mutlaka bozmaz. Ürüne bağlı olarak yeniden deneme görünür konuşmayı yeniden gönderebilir, sunucu tarafı konuşma durumunu kullanabilir, eski turları kısaltabilir veya özetleyebilir ya da önbelleğe alınmış girdiyi yeniden kullanabilir. Kullanılabilir bir dosya üretilmese bile yine yeni bir yanıt üretir ve ek token veya plan kotası tüketebilir.
Ne istedim: Her e-tablo satırı için eşleşen LinkedIn profilini bul, URL'yi K sütununa yaz, çalışma kitabını kaydet ve sonucu doğrula.
Ne iddia etti: Zenginleştirmenin tamamlandığını söyledi ve profil sayılarını bildirdi.
Ne doğruladım: İndirilen çalışma kitabında K sütunu hâlâ boştu; asistan daha sonra zenginleştirmeyi yapmadığını ve yalnızca kopyalanmış veya yeniden adlandırılmış bir dosya döndürdüğünü kabul etti.
Yan etki: Bu örüntü yaklaşık dört kez tekrarlandı. Her deneme uzun sürdü ve yine kullanılabilir bir sonuç olmadan başarı bildirdi; böylece iş akışı bir döngüde takılı kalmış gibi göründü. Önemli miktarda ek token/kullanım bütçesi tüketti ve kullanımın token başına fiyatlandığı durumlarda gerçek ek maliyete dönüşebilir.
Neden: Yapay zekâ bir döngüye mi girdi?
Pratik açıdan evet — ama hissettirdiği şekilde değil. Modelin bir hatayı tekrarladığının kalıcı öz farkındalığı yoktur; yalnızca uygulamanın sağladığı bağlamı ve durumu kullanabilir. Yeni bir yanıt tüm görünür geçmişten, kısaltılmış veya özetlenmiş geçmişten ya da sunucu tarafından yönetilen durumdan üretilebilir. İş akışı asistandan dosyayı açıp kaydedilen değerleri doğrulamasını istemiyorsa “bitti” demek hâlâ makul bir yanıt olarak kalabilir. Döngü inatçılık değildir; eksik doğrulama ve durum kontrolleridir.
Bu yüzden aynı soruyu tekrarlamak nadiren yardımcı olurken token tüketmeye devam eder. Döngüyü kıran şey görevi tekrarlamak değil, görevi değiştirmektir: sonucu doğrulanabilir yap, asistandan kaydedilen dosyayı yeniden okumasını ve gerçek hücre değerlerini göstermesini iste; bu kanıt yoksa çalışmayı durdur. Modelin kontrol edebileceği bir başarı ölçütünü nasıl tanımlayacağını öğrenmek için en yaygın prompt yazma hatalarına bak.
Bağlam neden yardımcı olur?
Bağlam arama alanını daraltır. Model hedef kitleyi, amacı, kısıtları, örnekleri ve kaynak materyali biliyorsa genel bir yanıt yerine durumuna uyan bir yanıt üretebilir. Daha fazla bağlam her zaman daha iyi değildir: ilgisiz bağlam modelin dikkatini dağıtabilir ve maliyeti artırabilir.
Arama motoru ile LLM farkı
Bir arama motoru sayfaları bulur ve bağlantıları sıralar. LLM ise örüntülerden ve sağlanan bağlamdan bir yanıt üretir. Güncel kaynaklara, resmi sayfalara veya birden fazla bakış açısına ihtiyacın olduğunda arama daha iyidir. Sağlanan bilgileri sentezlemek, yeniden yazmak, akıl yürütmek veya yapılandırılmış taslaklar oluşturmak istediğinde LLM'ler daha uygundur. Birçok güçlü yapay zekâ ürünü ikisini birleştirir.
“Yapay zekâ dili anlıyor” ne demektir?
Gündelik dilde “anlamak”, modelin anlam, ton ve yapıya uygun yanıt verebilmesi demektir. Teknik olarak ise metin örüntülerini faydalı çıktılara eşleyen istatistiksel temsiller öğrenmiştir. Yaşanmış deneyimi, niyetleri veya sağduyu sorumluluğu olan bir insan gibi anlamaz.