FlashRT-PAI, fiziksel yapay zekayı 12,66 kata kadar hızlandırdı

20 Ekim'de yayımlanan bir arXiv ön baskısına göre, fiziksel yapay zeka modellerine yönelik çıkarım motoru FLASHRT-PAI, testlerde resmi derlenmiş yollardan 1,3 ila 3,7 kat daha hızlı çalıştı.

Yazarlar gerçek zamanlı ve her seferinde tek bir karar alan çıkarımın ardışık düzen gecikmesiyle sınırlandığını belirttiği için bu iddia, robotlar ve eylem odaklı diğer yapay zeka sistemleri açısından önem taşıyor; azaltılmış hassasiyet testleri, resmi eager uygulamalara kıyasla 3,38 ila 12,66 kat kazanç gösterdi.

Liang Su, David Chen, Jason Li, Kevin Guo ve Teresa Lv, FLASHRT-PAI'yi model-donanım ardışık düzen ortak tasarımı etrafında inşa edilmiş bir sistem olarak tanımlıyor. Makalenin başlığı argümanlarını ortaya koyuyor: “Fiziksel Yapay Zeka Çıkarımında Hızlı Çekirdekler Hızlı Ardışık Düzen Anlamına Gelmez.”

Yazarlar özette, “Gecikmeye tek tek çekirdek hesaplamaları değil, sistem düzeyindeki ek yük hakim oluyor,” dedi. Çok sayıda kısa çip görevi başlatılmasını, işlemler arasında ara verilerin taşınmasını ve ardışık kararlar boyunca tekrarlanan hesaplamaları gerekçe gösterdiler.

Makaleye göre FLASHRT-PAI üç mekanizmayı birleştiriyor. Başlatma örtüşmeli derin çekirdek kaynaştırma işlemler arasındaki boşlukları azaltıyor; yürütme sözleşmesi ardışık düzenin aşama grafiğini, güncelleme hızlarını ve adlandırılmış tamponlarını kaydediyor; yürütme durumu kapsülleri ise sistemin kalıcı durumunun anlık görüntüsünü almasına, geri yüklemesine ve çatallamasına imkan tanıyor.

Çekirdek bir işlemciye gönderilen küçük bir hesaplamadır, yönlendirilmiş döngüsüz çizge ise hesaplama aşamalarının sıralı bir haritasıdır. Makalenin ana noktası, bu çağrıları tek tek optimize etmenin çıkarım döngüsünün tamamında ortaya çıkan maliyetlerin gözden kaçmasına neden olabileceğidir.

Yazarlar, genel amaçlı çizge derleyicilerinin kararlar arasında aktarılan duruma yeterince hakim olmadan tekil çağrıları optimize etmeleri nedeniyle yetersiz kaldığını belirtti. Ön baskıya göre FLASHRT-PAI, eşlik ve gecikme kontrolleriyle yönetilen çekirdek değişimi sayesinde değiştirilmemiş PyTorch modellerinin hızlandırılmasını da destekliyor.

Yazarlar değerlendirmenin RTX 5090 üzerinde altı, Jetson AGX Thor üzerinde ise dört ilkeyi kapsadığını belirtti. LIBERO-10'da dört bitlik pi0.5 yapılandırması, ölçülen resmi FP16 referansındaki %92,4'e kıyasla Thor'da %94,04, RTX 5090'da ise %93,32 başarıya ulaştı.

Bu rakamlar tüm fiziksel yapay zeka modellerinde veya donanımlarda genel bir performans ortaya koymuyor. Makale bir arXiv ön baskısı olup hakem değerlendirmesinden geçmedi; bildirilen karşılaştırmalar ise yazarların seçtiği ilkeler, cihazlar ve hassasiyet ayarlarıyla sınırlı.

Makalede, FLASHRT-PAI'nin açık kaynaklı olduğu, Hugging Face Kernel Hub üzerinden dağıtıldığı ve isteğe bağlı pi0.5 çekirdeklerinin LeRobot çerçevesine dahil edildiği belirtiliyor.

Kaynak: ön baskı, arXiv cs.AI, 20 Ekim