Continuum Attention doğrulama NLL’sini bayt başına 0,0200 nats düşürdü

Afshin Khadangi, 14 Ekim'de sunulan bir arXiv ön baskısında, Continuum Attention'ın doğrulama testinde sıradan softmax'e kıyasla doğrulama NLL'sini bayt başına 0,0200 nats azalttığını bildirdi.

Khadangi'nin 14 Ekim tarihli, henüz hakem değerlendirmesinden geçmemiş ön baskısı, dikkat Transformer kod çözücülerinin merkezinde olduğu için önem taşıyor. Özet, temel NLL puanını bildirmiyor; bu da ölçek değerlendirmesini sınırlıyor. Bildirilen softmax kazanımı, focal attention'a kıyasla bayt başına 0,0480 nats azalmadan daha küçüktü.

NLL, yani negatif log olasılığı, tahmin kaybını ölçer; daha düşük değerler doğrulama verilerinde daha iyi model uyumuna işaret eder. Ön baskı, Continuum Attention'ın sıradan softmax ve focal-attention bazlarına karşı tüm eşleştirilmiş karşılaştırmaları kazandığını söyledi.

Yöntem, bir kod çözücünün depolanmış bağlamı nasıl okuduğunu değiştiriyor. Continuum Attention, anahtar-değer bilgisini yalnızca ayrı token konumlarında almak yerine belleği sürekli doğrusal bir eğri olarak modelliyor ve ilgililiği bu eğri boyunca bütünleştiriyor.

Ön baskı, her sorgunun eğri üzerinde üstel bir ilgililik deseni ürettiğini söyledi. Normalleştirilmiş dikkatin daha sonra, yarım token konumlarındaki sınır terimleri dahil, analitik üstel moment formülleriyle tam olarak hesaplanabileceğini belirtti.

Khadangi, gradyanların ikinci dereceden daha yüksek olmayan momentler kullanılarak analitik biçimde türetilebileceğini yazdı. Ön baskı, bu özelliğin karesel dizi karmaşıklığını korurken paralel GPU uygulamalarını desteklediğini söyledi; bu, hesaplamanın hâlâ dizi uzunluğunun karesiyle büyüdüğü anlamına geliyor.

Ön baskıya göre, ilkinden ayrı ikinci bir doğrulama kesiti, seçilen en güçlü softmax bazına karşı bayt başına 0,0457 nats avantaj gösterdi. Yazar, özet aralık sınırlarını vermese de bu karşılaştırmanın eşleştirilmiş %95 güven aralığı içerdiğini söyledi.

Ana çekince ölçek. Özet, çalışmanın "daha büyük ölçekte genellemeyi açık bıraktığını" söyledi; bu nedenle bildirilen kazanımlar, operatörün daha büyük modellerde, daha uzun bağlamlarda veya üretim eğitim rejimlerinde nasıl performans gösterdiğini ortaya koymuyor.

Makale, arXiv'de Machine Learning ve Artificial Intelligence altında listeleniyor; arXiv tarafından verilen DOI, kayıt bekliyor olarak işaretlenmiş.

Kaynak: arXiv ön baskısı, arXiv, 14 Ekim 2026