Yerel Yapay Zeka Kurulumları Neden Batıyor? 🤖
"17 GB'lık model, 16 GB ekran kartıma sığar" — sığmıyor. Çünkü o rakam ekran kartı belleği değil, sistemin toplam belleği. Asıl unutulan ikinci sebep KV önbelleği: modelin o ana kadar okuduğu her kelime için tuttuğu bir not defteri. Hesap üç kalem: ağırlıklar (17 GB'lık dosyanın 4 bitlik sürümü yaklaşık 9 GB) + KV önbelleği (birkaç bin kelimede 1-2 GB) + sistem payı (yaklaşık 1 GB) = 12 GB, 16 GB'lık kartta rahat çalışır. Kırılma noktası uzun belgeyi yapıştırdığın an: 32 bin kelimelik bağlamda not defteri tek başına 8 GB'a çıkabiliyor. Çözüm de aynı yerde — bağlam penceresini ihtiyacın kadar tut ve mümkünse not defterini de kuantize et. 🤖
Abone olarak yeni içeriklere ulaşabilirsiniz.
📚 Serinin tüm bölümleri: bapati.com/news/yapay-zeka-llm-nasil-calisir-rehber
