SGQN 8 sürekli kontrol görevinin 4’ünde ilk sırada yer aldı

Selective Growing Q-Networks, Parham Nooranbakht, Seyed Mahdi Basiri Azad ve Joschka Bödecker tarafından 14 Ekim’de sunulan bir arXiv ön baskısında sekiz DeepMind Control Suite görevinin dördünde ilk sırada yer aldı.

Ön baskıya göre sonuç, eylem getirilerini tahmin eden bir pekiştirmeli öğrenme yaklaşımı olan değer tabanlı Q-learning’e sürekli kontrol problemlerinde rekabetçi bir görünüm sağladı: SGQN, üç görevde daha en iyi yöntemin %1,1 yakınına geldi.

SGQN, ayrıştırılmış Q-learning’i koruyor ancak olası eylemlerin nasıl temsil edildiğini değiştiriyor. Her eylem kutusunu eşit biçimde genişletmek yerine, yüksek tahmini Q değerlerine yakın kutular ekliyor, düşük değerli kutuları buduyor ve genellikle küçük bir olasılıkla rastgele eylemleri test eden epsilon-greedy seçimini kullanıyor.

Yazarlar, SGQN’nin 2 ila 12 boyutlu görevlerde eylem boyutu başına mevcut 9 kutudan ortalama 7,5’ini kullandığını yazdı. “SGQN’yi rekabetçi bir değer tabanlı yöntem ve büyüyen bir eylem ızgarasının hangi bileşenlerinin önemli olduğuna dair bir analiz olarak sunuyoruz,” diye yazdılar ön baskıda.

Eylem ayrıklaştırma, sürekli bir komutu seçilebilir kutulardan oluşan bir kümeye dönüştürür. Buradaki ödünleşme, kaba bir ızgaranın erken aramaya yardımcı olabilmesi, daha ince bir ızgaranın ise daha sonra hassasiyeti artırabilmesidir. Growing Q-Networks bu fikri, kaba çözünürlükten ince çözünürlüğe eşit biçimde geçerek kullanır.

Makalenin temel uyarısı, uyarlanabilir ızgaranın yazarların destekleyebildiği açıklama olmamasıydı. Ön baskıya göre büyüme her aday kutuyu etkinleştirdi ve eşit büyüme gibi işledi; budamanın kaldırılması ise nihai getiriyi en fazla %1,1 değiştirdi.

Yazarların testlerinde iki başka tasarım tercihi daha önemliydi. Tüm 9 kutuyla başlamak çöken tohumlar üretti; epsilon-greedy seçimini olasılık ağırlıklı bir eylem kuralı olan annealed softmax ile değiştirmek ise getirileri %23 ila %100 düşürdü.

Karşılaştırma, yazarların kontrol etmediği bir karıştırıcı etken de bırakıyor. SGQN, ortam adımı başına bir gradyan güncellemesi kullandı; GQN ve DecQN temel çizgilerinde ise sekiz adım başına bir güncelleme vardı. Bu nedenle makale, avantajını tek bir mekanizmaya atfetmiyor.

Makale 6 şekil ve 6 tabloyla 19 sayfa ve arXiv, makalenin Transactions on Machine Learning Research’te inceleme altında olduğunu listeliyor. Bir arXiv ön baskısı olarak hakem değerlendirmesini tamamlamış değil.

Kaynak: arXiv ön baskısı, 14 Ekim 2026