Gemini termal videolardaki düşmelerin yüzde 69’unu tespit etti

21 Ekim'de sunulan bir arXiv ön baskısında Senecta'dan Marcos Junca ve Mauro Junca, Gemini 3.8 Flash'ın düşük çözünürlüklü termal videolarda test edilen deneklerin canlandırdığı düşmelerin %69'unu tespit ettiğini belirtti.

21 Ekim tarihli ön baskı; video ve diğer girdileri işleyen çok modlu LLM'leri, yazarların ev ortamında günde 14,2 ve 23,9 yanlış alarm ürettiğini belirttiği geleneksel dedektörlere kıyasla daha az eğitim gerektiren bir alternatif olarak ele alıyor.

Yazarlar, olaya dayalı bir düşme tarayıcısının karar aşamasında üretim aşamasındaki çok modlu bir model olan Gemini 3.8 Flash'ı test etti. Kurulumda, her kısa termal klip için varsa ses kaydı da eklenerek tek bir istek kullanıldı ve yanıtlar aynı istekler üzerinden Gemini 3.7 Flash ile karşılaştırıldı.

Araştırmacılar, 32x24 çözünürlüklü halka açık bir termal veri setinde kurgulanan 438 düşmeyi ve düşme dışı 563 aralığı manuel olarak işaretledi. Yatak düşmeleri hariç tutulduğunda, uygulanan istek tüm deneklerdeki düşmelerin %67'sini ve kişilerin yere uzanıp ardından ayağa kalktığı durumlar da dahil olmak üzere düşme dışı 499 aralığın hiçbirini düşme olarak nitelemedi.

Ev ortamındaki test ise daha küçük ve daha zordu. Sesli ve 160x120 çözünürlükte kaydedilen, dolu bir odadaki 76 saatlik normal aktivite boyunca Gemini 3.8 Flash, sıradan yaşama ait 395 klibin hiçbirini düşme olarak sınıflandırmadı; yazarlar bunu günde en fazla 1,2 yanlış alarm anlamına gelen %95'lik bir üst sınır olarak yorumladı. Model, kameranın görüş alanındaki 9 kurgusal düşmenin 4'ünü tespit etti.

İstem ifadesi sonucu değiştirdi. Yazarlar, "görüş alanından çıkan bir kişi ... düşme değildir" şeklindeki uyarıcı bir talimatın birçok kaçırmayı açıkladığını ifade etti.

Bu cümlenin kaldırılması duyarlılığı, yani tespit edilen gerçek düşmelerin oranını, test edilen deneklerde Gemini 3.8 Flash ile %69'dan %83'e, Gemini 3.7 Flash ile %80'den %92'ye çıkardı.

Ön baskıya göre, aynı istem değişikliği ev testindeki sonucu 4 tespitten görünürdeki 9 kurgusal düşmenin tamamına yükseltirken normal yaşam sırasında yine hiçbir yanlış düşme çağrısı üretmedi. Buradaki dezavantaj ise bilinçli uzanmaların da düşme olarak sınıflandırılması oldu.

Makale ayrıca gerçek ortam dağıtımı açısından önem taşıyan sınırları da vurguluyor. Duyarlılık 8x6 pikselde %34'e geriledi, aynı istekler aralıkların %4'ünde farklı yanıtlar verdi ve model bir düşme tespit ettiğinde açıklaması olayı %99 oranında etiketlenen inişin bir saniyesi içine yerleştirdi.

Geleneksel dedektörlerle yapılan karşılaştırma karmaşık sonuçlar verdi. Yazarlar, laboratuvar verileriyle eğitilen iki dedektörün test edilen laboratuvar düşmelerinin neredeyse tamamını yakaladığını, ancak LLM tarayıcısına kıyasla evde çok daha fazla yanlış alarm ürettiğini belirtti: günde 14,2 ve 23,9.

Yazarlar, termal kameraların yalnız yaşayan yaşlıları yüzlerini kaydetmeden izleyebileceğini savunuyor ancak bulgular klinik hazır oluşu kanıtlamıyor. Makale bir arXiv ön baskısı niteliğinde olup henüz hakem değerlendirmesinden geçmedi; ev ortamındaki kanıtlar ise tek bir odayı ve kameraya yansıyan 9 kurgusal düşmeyi kapsıyor.

Yazarlar, halka açık veri seti için kare düzeyinde düşme ek açıklamalarını ve modelin bu veri setindeki her yanıtını yayımladıklarını açıkladı. Ön baskıda 13 sayfa, 6 şekil ve Senecta tarafından barındırılan bir veri bağlantısı yer alıyor.

Kaynak: arXiv preprint, arXiv cs.AI, 22 Ekim 2026.