ReaDy yazarları Qwen3.8–27B kod çözmede 3,16 kat hız bildirdi

Bohan Sun ve beş ortak yazarı, 14 Ekim'de sunulan bir arXiv ön baskısında spekülatif kod çözme yöntemi ReaDy'nin otoregresif kod çözmeye göre ortalama 3,16 kat hızlanma sağladığını bildirdi.

14 Ekim tarihli ön baskı önem taşıyor çünkü daha hızlı çıkarım, büyük dil modellerinde gecikmeyi ve GPU süresini azaltabilir; yazarlar ReaDy'nin yedi kıyasta iş hacminde DSpark'ı %7,97 geçtiğini söyledi.

Spekülatif kod çözme, hedef model bunları doğrulamadan önce birden fazla token taslağı oluşturan bir çıkarım tekniğidir. Yazarlar ReaDy'yi Qwen3.8-27B ile tek bir NVIDIA B200 GPU üzerinde test etti; testler matematik, kod üretimi ve diyalog görevlerini kapsadı.

Yöntem, önceki bağlamı taşıyan kompakt yinelemeli durumları tutan hibrit doğrusal dikkat, ya da HLA, modellerini hedefliyor. Yazarlar özette, “Bildigimiz kadarıyla, taslak oluşturma sırasında konuma özgü bağlam geri çağırma için HLA yinelemeli durumlarından yararlanan ilk spekülatif kod çözme yöntemi olan ReaDy'yi tanıtıyoruz” diye yazdı.

Ön baskıya göre ReaDy, her taslak konumuna hedef modelin taahhüt edilmiş yinelemeli durumlarından ek bağlamı geri çağıran öğrenilmiş bir sorgu veriyor. Hafif bir durum okuyucu daha sonra bu bilgiyi artık güncellemeler yoluyla taslak temsillerine katarken, düşük-ranklı durum okumaları ve birleştirilmiş operatörler ek hesaplamayı ve veri hareketini sınırlamak için tasarlanıyor.

Yazarlar ReaDy'yi, DSpark'ın paralel omurgasını ve sıralı tahmin başlığını kullanan bir DSpark uzantısı olarak konumlandırdı. Bildirilen testlerde ReaDy her kıyasta DSpark'tan daha iyi performans gösterdi ve ortalama kabul uzunluğunu %8,50 artırdı; bu ölçüt, doğrulama taslağı reddetmeden veya durdurmadan önce kaç taslak tokenın kabul edildiğini gösteriyor.

Makale bir arXiv sürüm 1 ön baskısıdır; bu da akran değerlendirmesinden geçmediği anlamına gelir. Özet, bağımsız tekrarlama, üretim iş yükü sonuçları, maliyet ölçümleri ya da aynı kazanımların test edilen Qwen3.8-27B kurulumu ve tek NVIDIA B200 GPU'nun ötesinde de geçerli olduğuna dair kanıt sunmuyor.

Yazarlar 13 sayfalık makalenin altı şekil ve sekiz tablo içerdiğini, ayrıca okuyucu kapasitesini, durum kaynaklarını ve artık yerleşimini inceleyen ablasyon çalışmalarına yer verdiğini söyledi. Kodun da arXiv kaydından bağlantı verilen bir GitHub deposu üzerinden erişilebilir olduğunu söylediler.

Kaynak: arXiv ön baskısı, 14 Ekim 2026