DualQuant yöntemi yapay zeka bellek kullanımını azaltıyor.

Yapay zeka modellerinin sunduğu yüksek işlem gücü, donanım bileşenleri ve bellek kapasitesi üzerinde ciddi bir baskı oluşturuyor. Mahsa Salmani, Sayeh Sharify ve Hesham Mostafa tarafından hazırlanan yeni bir akademik çalışma, DualQuant adlı yöntemin büyük dil modellerinde bellek tüketimini 2,61 kat azaltabileceğini ortaya koyuyor.

arXiv üzerinde yayımlanan ön baskıya göre bu yeni teknik, standart 16 bitlik (BF16) veri formatına kıyasla işlem hızını 2,46 kata kadar artırıyor. NVIDIA RTX 4090 ekran kartı ve Llama-3.1-8B modeli üzerinde gerçekleştirilen testler, sıkıştırılmış 4 bitlik (W4A4) mimaride bellek yükünün belirgin şekilde hafiflediğini gösteriyor.

Kalibrasyon Verisi Olmadan Sıkıştırma

Model sıkıştırma işlemlerinde ekran kartlarının tam performansına ulaşması için hem kayıtlı ağırlıkların hem de işlem sırasındaki aktivasyon değerlerinin 4 bit seviyesine indirilmesi gerekiyor. Geleneksel yöntemlerde aktivasyon ölçeklemesi için önceden hazırlanmış özel kalibrasyon veri setlerine ihtiyaç duyuluyordu.

DualQuant ise herhangi bir dış veri seti kullanmadan hem model parametrelerini hem de geçici verileri aynı anda küçültebiliyor. Araştırmacılar, bu yöntemin Llama ve Qwen modellerinde yapılan testlerde, kalibrasyon tabanlı SmoothQuant tekniğiyle benzer veya daha yüksek doğruluk oranlarına ulaştığını ifade ediyor.

Matematiksel Alt Yapı ve Sınırlılıklar

Yöntemin temelinde, orijinal ve sıkıştırılmış ağırlıklar arasındaki hata farkını en aza indiren bir matematiksel optimizasyon bulunuyor. DualQuant, türevi alınamayan bu denklemleri küçük alt problemlere bölerek doğrudan hesaplanabilir formüller üzerinden çözüyor. Teknoloji ayrıca MX ve NVFP4 gibi güncel düşük bit veri biçimlerini de destekliyor.

Elde edilen sonuçlar yapay zeka altyapı ekipleri için önemli fırsatlar sunsa da mevcut verilerin henüz hakem onayından geçmediğini unutmamak gerekiyor. Testlerin şu ana kadar yalnızca tek bir ekran kartı modeli ve tek bir yapay zeka mimarisi üzerinde denenmiş olması, farklı sistemlerdeki performansa dair soru işaretlerini koruyor.