319 GPU’lu kümede çoğu GPU işi belleğin %20’sinden azını kullanıyor

Andrew Sheinberg, Samyak Gupta ve Kai Li, 28 Ekim'de yayınlanan bir arXiv ön baskısında, 10 günlük bir dönemdeki 7.399 işin %70'inden fazlasının belleğin %20'sinden azını kullandığını tespit etti.

28 Ekim tarihli ön baskıda, 10 günlük örneklemdeki işlerin %50'sinin Akış Çoklu İşlemcisi (Streaming Multiprocessor) kullanımının ortalama %5'in altında kaldığı belirtildi. Bu durum, zamanlayıcıların ve çoklu görev yürütmenin yeni donanıma ihtiyaç duymadan kullanılabilir kapasiteyi artırabileceğini gösteriyor.

26 Ekim'de arXiv'e sunulan ve henüz hakem incelemesinden geçmemiş olan makale, 12 departmandan 150 kullanıcının faaliyetlerini analiz etti. Veriler, yazarların birkaç ay boyunca hafif bir izleme aracı dağıtmasının ardından 89 düğüm ve 319 GPU'ya sahip bir üniversite araştırma kümesinden elde edildi.

Yazarlar, ölçümlerinin mevcut sistemlerin yakalayamadığı bir kapasiteye işaret ettiğini belirtti: "donanım veya uygulama iyileştirmelerinden bağımsız olarak, daha iyi iş zamanlaması ve GPU çoklu görev yürütme yoluyla önemli kullanım kazançları elde edilebilir."

Çalışma, yapay zeka ve bilimsel hesaplamadaki pratik bir darboğazı hedefliyor. GPU kümeleri pahalı paylaşımlı altyapılardır ve makale, artan talebin sıklıkla kullanıcıları erişim için beklettiğini söylüyor. Yazarlara göre, önceki izleme sistemleri genellikle faaliyeti her saniye veya dakikada bir ölçüyor ve bireysel GPU'ların nasıl kullanıldığını takip etmek yerine esas olarak iş düzeyinde zamanlamayı destekliyordu.

Sheinberg, Gupta ve Li ise bunun yerine kaynak kullanımını her 100 milisaniyede bir, yani saniyenin onda birinde bir örnekledi. Araçları, GPU'ların içindeki ince taneli hesaplama kullanımı metriklerini yakalamak için Nvidia'nın DCGM kütüphanesini kullanıyor. Akış Çoklu İşlemcileri veya SM'ler, paralel iş yüklerini çalıştıran GPU hesaplama birimleridir; düşük ortalama SM kullanımı, bir işin meşgul etmediği donanımı rezerve ettiğini gösterebilir.

Ön baskı iki ayrı uyumsuzluğu vurguluyor. Çoğu iş için bellek kullanımı düşüktü; %70'ten fazlası GPU belleğinin %20'sinin altındaydı. Hesaplama kullanımı da düşüktü; işlerin yarısı ortalama %5'in altında SM kullanımına sahipti.

Yazarlar ayrıca işlerin %80'inin talep edilen ve gerçek süreler arasında büyük bir fark gösterdiğini, bunun da zamanlayıcının işleri verimli bir şekilde yerleştirme yeteneğini zayıflattığını söyledi.

Çoklu GPU işleri için makale, incelenen iş yüklerinin oldukça periyodik iletişim modelleri gösterdiğini belirtti. Bu önemlidir çünkü öngörülebilir iletişim pencereleri, boş zaman aralıklarında diğer işleri zamanlamak için fırsatlar yaratabilir, ancak ön baskı bunu yapmaktan elde edilecek bir üretim kazancını nicelleştirmemektedir.

Kısıtlamalar önemlidir. Makale tek bir üniversite araştırma kümesini inceliyor ve 10 günlük tek bir döneme odaklanıyor, bu nedenle sonuçlar doğrudan ticari bulut filolarına, kurumsal yapay zeka kümelerine veya farklı kullanıcı davranışlarına sahip sistemlere aktarılamayabilir. Yazarlar ayrıca sonuçlarını belirli bir zamanlayıcının belirtilen bir kullanım iyileştirmesi sağlayacağının kanıtı olarak değil, fırsatlar olarak çerçeveliyor.

İzleme yazılımı yazarlar tarafından açık kaynaklı kod olarak yayınlandı. Makale, çalışmayı 12 şekil ve dört tablo içeren 19 sayfa olarak listeliyor ve aslının 2024 sonbaharında yazıldığını belirtiyor.

Kaynak: arXiv cs.AI ön baskı, 28 Ekim 2026