Yapay Zeka Modeli Neden JPEG Gibi Küçülüyor? 🤖

Bir yapay zeka modelinin dosyası 54 gigabayt; sıradan bir dizüstünde 8 gigabayt bellek var. Yine de aynı model o dizüstünde çalışıyor. Sırrın adı kuantizasyon: modelin içindeki her sayı 16 bit yerine 4 bitle saklanıyor ve dosya dörtte birine iniyor. Aynı fikri her gün kullanıyorsun — telefonunun çektiği ham fotoğraf JPEG'e dönerken gözünün fark etmediği detay atılıyor. Peki bedeli? 4 bitte kayıp o kadar küçük ki çoğu zaman farkı göremiyorsun; 3 bitte model saçmalamaya başlıyor. Ve laptopa giren aslında devin kendisi değil, 7 milyarlık küçük kardeşi: 4 bitten yaklaşık 4 gigabayt. 🤖

Abone olarak yeni içeriklere ulaşabilirsiniz.

📚 Serinin tüm bölümleri: bapati.com/news/yapay-zeka-llm-nasil-calisir-rehber