KampoBench yapay zeka modellerini 74 tıp vakasında test etti

Hideaki Takata ve beş ortak yazar, 11 Ekim'de medRxiv'de yayımlanan bir önbaskıda, geleneksel Japon tıbbı Kampo alanında büyük dil modelleri ve metin üreten yapay zeka sistemleri için hekimler tarafından incelenen 74 senaryoluk bir kıyaslama testi olan KampoBench'i tanıttı.

11 Ekim tarihli önbaskı klinik yapay zeka değerlendirmesi açısından önem taşıyor; çünkü en iyi model değerlendiriciler genelinde %74,8 ila %86,3 arasında puan alırken hekimlerce revize edilen referans yanıtların puanı %87,9 ila %92,4 seviyesinde gerçekleşti.

KampoBench tasarımı ve puanlaması

KampoBench, bir modelin yalnızca sınav sorularını yanıtlamakla kalmayıp konsültasyon tarzındaki klinik muhakemeyi yürütüp yürütemediğini test ediyor. Yazarlar, önceki değerlendirmelerin sınav başarısına odaklandığını, modellerin Kampo bilgilerini hastaya özgü konsültasyonlara uygulayıp uygulayamadığını ise hiçbir kıyaslamanın ölçmediğini belirtti.

Önbaskıya göre kıyaslama testi, bireysel görüşmelerle bağlantılı 310 kriter içeriyor. Senaryolar, puanlama kriterleri ve referans yanıtlar önce bir büyük dil modeliyle taslak haline getirildi, ardından sertifikalı Kampo hekimlerince revize edildi.

Takata ve ortak yazarlar hedeflenen standardı şöyle aktardı: "Geleneksel tıptaki değerlendirme, yalnızca ezberden hatırlamayı değil, bir konsültasyonun gerektirdiği muhakemeleri ölçmelidir."

Yazarlar, üç sağlayıcıya ait 10 güncel modeli değerlendirdi. Önbaskıya göre, büyük dil modeli değerlendiricileri kendi model ailelerinden gelen sistemleri kayırabildiği için her yanıt, her bir sağlayıcıdan bir değerlendirme modeli tarafından puanlandı.

Yazarlar kıyaslamanın HealthBench tasarımını takip ettiğini belirtti. Paylaşılan metindeki kaynak materyalde 10 modelin veya üç sağlayıcının adına yer verilmiyor.

Vakaya özgü risk boşlukları

Temel sonuç, Kampo kavramlarını bilmekle bunları bir vakada uygulamak arasındaki fark oldu. Yazarlar, eksikliğin temel bilgiye sahip olmaktan ziyade bu bilgiyi konsültasyona uyarlamada görüldüğünü kaydetti.

Önbaskıya göre modeller, sağlık kuruluşuna başvurma tavsiyesi içeren kriterlerde en iyi performansı gösterdi ve bu alanda güvenilirlik %83,6'ya ulaştı. Yanıtların bilinen bir ham ilaç riskini hastaya özgü durumla ilişkilendirmesi gerektiğinde ise modeller en kötü performansı vererek %17,5 güvenilirlik sağladı.

Bu zayıflık sadece ilgili bileşenden bahsedilememesinden kaynaklanmadı. Yazarlar, bu kategorideki yanıtların %79,2'sinin ilacın adını verdiğini, asıl zorlu görevin bilinen bir riski konsültasyonun kendine has olgularıyla ilişkilendirmek olduğunu ifade etti.

Sıralamalar değerlendirme modelleri arasında tutarlılık sergiledi. Önbaskı, değerlendiriciler arasında sıra korelasyonunu ölçen Spearman rho katsayısının 0,952 ile 0,976 arasında gerçekleştiğini bildirdi.

Yazarlar ayrıca bir değerlendirme modelinin kendi ailesinden gelen sistemleri kayırıp kayırmadığını da ölçtü. Yazarlar, örnekleme değişkenliğinin bir ölçüsü olan tek bir ölçümün bootstrap standart sapmasının altında kalan, 0,4 ila %0,6 puanlık bir aile kayırma sapması bildirdi.

Önbaskıya göre, değerlendiricilerin müsamaha düzeyi yine de 14,3 puan farklılık gösterdi. Bu bulgu, yazarların bir KampoBench puanının yalnızca onu üreten değerlendiriciyle birlikte sunulduğunda kullanılabileceğini belirtmesine yol açtı.

Çalışma bir medRxiv önbaskısıdır ve henüz hakem denetiminden geçmemiştir. medRxiv, önbaskıların henüz değerlendirilmemiş tıbbi araştırmaları aktardığını ve klinik uygulamalara yön vermek için kullanılmaması gerektiğini belirtiyor.

Yazarlar çıkar çatışmalarını açıkladı. Tatsuya Nogami, son 36 ay içinde Tsumura & Co. şirketinden ders ücreti ve ortak araştırma fonu, Kracie Pharmaceuticals firmasından ise ders ücreti aldı.

Önbaskıya göre Hiroki Inoue ve Kazushi Uneda aynı 36 aylık dönemde Tsumura & Co.'dan ders ücreti aldı. Tetsuhiro Yoshino, Tsumura & Co. ile ortak araştırmalar için Keio University bünyesinde istihdam ediliyor; Hideaki Takata ve Yoshinao Harada ise herhangi bir çıkar çatışması bildirmedi.

Veri seti CC BY 4.0 lisansı altında Zenodo'ya yüklendi, ancak 74 senaryo ve 310 kriter makale bir dergide yayımlanana kadar kısıtlı kalacak. Yazarlar, aynı kaydın 10 modelin tamamı ve üç değerlendirici kapsamındaki referans yanıtlar için kriter bazında puanlama sonuçlarını içerdiğini aktardı.

Yazarlar, kıyaslamanın gelecekteki eğitim verilerinin bir parçası olma ihtimalini azaltmak amacıyla model yanıtlarının ve değerlendirici açıklamalarının yüklenmediğini belirtti. Bu materyallerin talep üzerine sorumlu yazardan temin edilebileceği, değerlendirme kodunun, ölçüm koşullarının ve veri seti kaynağının ise GitHub'da bulunduğu bildirildi.

Kaynak: akademik önbaskı, medRxiv, 11 Ekim 2026