UC-RAMP, MoE belirteç gecikmesini yüzde 22,3’e kadar azalttı

20 Ekim'de yayımlanan bir arXiv ön baskısına göre UC-RAMP, yüzde 25 budamada yapılan tek bir A100 testinde çıktı belirteci başına ölçülen süreyi yüzde 20,2 ile yüzde 22,3 oranında kısalttı.

Zukang Xu, Xinpei Gao, Xing Hu, Zhe Jiang ve Dawei Yang tarafından hazırlanan 20 Ekim tarihli ön baskı, uzmanlar karması (MoE) modelleri için önem taşıyor; zira UC-RAMP altı senaryonun beşinde on görevli ortalama doğrulukta değerlendirilen yöntemlerin önünde yer aldı.

Atlas360 hesaplamalarına göre yaklaşık yüzde 20'lik bir düşüş, budanmamış modele kıyasla ölçülen kod çözme süresinde kabaca beşte bir oranında azalma anlamına geliyor. Donanım ölçeği sınırlı: dağıtım sonucu bildirilen daha geniş bir kümeden değil, tek bir A100 hızlandırıcıdan elde edildi.

Uzmanlar karması ya da MoE modelleri, her belirteç için tüm parametreleri kullanmak yerine hesaplamayı seçili uzman modülleri üzerinden yönlendirir. Budama işlemi işlem ihtiyacını düşürmek için modelin bazı parçalarını kaldırır, ancak yazarlar tahmin hatası ölçütü olan dil modelleme karmaşıklığının (perplexity) düşmesinin görev performansını her zaman korumadığını belirtti.

Yazarlar UC-RAMP'i eğitim sonrası iki aşamalı bir budama çerçevesi olarak tanımlıyor; yani model eğitildikten sonra uygulanıyor. Yazarların formülasyonunda ilk karar kalan kapasiteyi uzmanlar arasında paylaştırırken, ikinci karar bu kapasite içinde hangi kanalların kalacağını belirliyor.

Ön baskıda şu ifadeye yer verildi: “Benzer dil modelleme karmaşıklığına oldukça farklı görev performansları eşlik edebildiğinden, yalnızca daha ince budama ayrıntısı alt görev yeteneklerinin korunmasını garanti etmez.” Bu ifade, uzman genişliği dağıtımı ile kanal seçiminin birbirinden ayrılmasının temel dayanağını oluşturuyor.

Ön baskıya göre UC-RAMP, yönlendirilen uzman kanallarında yüzde 50 budamada üç MoE modelinde değerlendirilen en güçlü temel modeli sırasıyla 8,19, 3,96 ve yüzde 6,14 puan geride bıraktı. Hem yüzde 25 hem de yüzde 50 budamada, altı senaryonun beşinde değerlendirilen budama yöntemleri arasında en yüksek on görevli ortalama doğruluğu sağladı.

Yazarların tasarımında CAPE, her katman için kesin bir bütçeyi zorunlu kılarken alanlar arasındaki kalibrasyon kanıtlarını kullanarak her uzmanın ne kadar geniş kalacağını yeniden paylaştırıyor. RAMP ise kanal etkileşimlerinin bir temsili rehberliğinde bir çıkarıp bir ekleme takasları yoluyla bu sabit genişliklerdeki kanal seçimlerini ayarlıyor.

Dağıtım sonucu doğruluk testinden daha dar kapsamlı. Yazarlar, çıkarımı yüzde 25 budamada tek bir A100 kurulumunda ölçtü ve budanmamış modele kıyasla üretim başlamadan önceki gecikme olan ilk belirtece kadar geçen sürede yüzde 19,7 ile yüzde 23,9 arasında azalma bildirdi.

Kanıtlar ön çalışma niteliğinde kalmaya devam ediyor. Makale arXiv üzerinde sürüm 1 olarak yer alıyor, üç görselle birlikte 14 sayfadan oluşuyor ve arXiv ön baskıları hakem değerlendirmesinden geçmiyor.

arXiv sayfası, yazarların makalede bağlantısı verilen bir GitHub deposu aracılığıyla kodu erişime açtığını belirtiyor.

Kaynak: arXiv ön baskısı, arXiv cs.AI, 20 Ekim 2026