FuTransformer, H100’de Llama kod çözme adımını 2,8 ms’ye indirdi

Wei Wang tarafından 16 Ekim tarihli bir arXiv ön baskısında bildirilen testlere göre FuTransformer, tek bir Nvidia H100 üzerinde bir parti boyutunda adım başına 2,8 ms hızla tam Llama-3.1-8B kod çözme gerçekleştirdi.

Henüz hakem değerlendirmesinden geçmemiş olan 16 Ekim tarihli ön baskı, derlenmiş transformers uygulaması için 8,1 ms bildirdi; Atlas360 hesaplamalarına göre bu durum FuTransformer'ı bu ölçümde yaklaşık 2,9 kat daha hızlı kılıyor.

Çalışma, Llama tarzı çıkarımlardaki temel bir darboğazı hedefliyor. İstem belirteçlerini işleyen aşama olan ön dolum (prefill), ağırlıkları belirteçler arasında yeniden kullanır ve matris çarpımı ile etkinleştirme veri hareketi tarafından domine edilir. Tek belirteçli kod çözme ise daha az yeniden kullanıma sahiptir ve ağırlık ile KV önbelleği okumalarına daha fazla bağımlıdır.

FuTransformer, Nvidia Hopper GPU'ları için bir Transformer bloğunun CUDA uygulamasıdır. CUDA, Nvidia'nın programlama platformudur ve KV önbelleği üretim sırasında kullanılan dikkat anahtarlarını ve değerlerini saklar.

Uygulama; ön dolum için 8 bitlik kayan nokta formatı olan FP8'i, kod çözme projeksiyon ağırlıkları ve KV önbelleği kopyası içinse 4 bitlik tamsayı formatı olan INT4'ü kullanıyor. Ayrıca sabit RMSNorm kazancını ağırlıkların içine katıyor, gecikmeli ölçekleme ile doğrudan FP8 çıktısı yazıyor ve dolgusuz ön dolumu destekliyor.

Tek bir H100 üzerinde ön dolum 1,29 PFLOP/s'ye ulaştı ve derlenmiş PyTorch FP8'den 1,48 kata kadar daha hızlıydı. FP8 yolu, değerlendirilen BF16 CODA yolundan 2,02 ila 2,18 kat daha hızlıyken, 8B boyutunda SwiGLU ile gate/up projeksiyonu için BF16 yolu CODA'dan 1,13 kat daha hızlıydı.

Kod çözmede FuTransformer; 1 ila 32 arasındaki toplu işlerde hem 8B hem de 70B boyutlarında daha hızlı olan PyTorch BF16 veya INT4 bloğundan 1,3 ila 2,4 kat daha hızlıydı. Atlas360 hesaplamalarına göre bu kıyaslama aralığı, 8B ile 70B boyutları arasında yaklaşık dokuz katlık bir farkı kapsıyor.

Kod çözme sonuçları ayrıca FuTransformer'ın derlenmiş, CUDA grafikli PyTorch BF16'dan 2,1 ila 3,3 kat; PyTorch'un INT4 projeksiyon çekirdeğini kullanan aynı bloktan ise 1,3 ila 6,3 kat daha hızlı olduğunu gösterdi. FuTransformer FP8 yolundan ise %31 ila %51 daha hızlıydı.

Uygulama, ağırlıkları ve anahtarları Tensor Core parça düzenlerinde yerleştirerek tam ara karolar olmadan doğrudan matris çarpımı işlenenlerine ters niceleme yapılmasını sağlıyor. Aykırı kanallardan kaynaklanan KV önbelleği niceleme hatasını azaltmak için blok köşegenli bir Hadamard dönüşümü kullanılıyor.

Bildirilen testte hız kazanımları bir doğruluk ödünüyle birlikte geldi. Her bir WikiText-2 belirtecinin INT4 ağırlık yolu üzerinden çözülmesi; en yakın tam sayıya yuvarlanan ağırlıklarla perpleksiteyi (düşük olması daha iyidir) 6,24'ten 7,23'e veya aynı formatta GPTQ ile 6,99'a yükseltti; döndürülmüş INT4 önbelleği ise 0,20 ekledi.

Çekirdekler, nicelenmiş bir referans hesaplamasıyla 0,001 perpleksite farkı içinde eşleşti. Bildirilen sonuçlar tek bir H100'ü, 8B ve 70B boyutlarını ve 1 ila 32 arasındaki toplu boyutları kapsıyor; bu da daha geniş sistem düzeyindeki performansı sunulan rakamların dışında bırakıyor.

Kaynak: arXiv ön baskısı, arXiv, 16 Ekim 2026