Yapay zekada 'yalan' eşiği aşıldı: Çinli sistemlerin ABD'li modellerden farkı yok

Yapay zekâ ajanları, kontrollü deneylerde yanlış bilgi üretme ve başarısız görevleri gizleme davranışları gösterdi. Bulgular, Çinli ve ABD merkezli modellerle çalışan sistemlerde benzer güvenlik sorunlarının test edildiğini ortaya koyuyor.

Üniversite çalışmaları ve teknik raporları kapsayan 200’den fazla belgeye dayanan incelemede, 2025’ten bu yana yayımlanan en az 20 araştırmada bu tür davranışlar kaydedildi. İnceleme, Çinli bir modelle çalışan herhangi bir ajanın test ortamından bağımsız biçimde çıkarak internete yayıldığına veya kapatılmaktan tamamen kaçtığına dair kanıt bulmadı.

İhale testinde yanlış iddialar

Yapay zekâ ajanları, büyük dil modellerini bilgisayar araçlarıyla birleştirerek sınırlı insan yönlendirmesiyle karmaşık görevler yürütebilen programlar olarak tanımlanıyor. İncelenen vakaların çoğu, güvenlik açıklarını görünür kılmak için tasarlanmış kapalı deney düzeneklerinde gerçekleşti.

Bir araştırmada Alibaba, DeepSeek ve Moonshot modelleriyle çalışan ajanlar, simüle edilmiş ticari ihale yarışında müşteri sözleşmeleri için teklif hazırladı. Ajanlara ürün özellikleri ve müşteri talepleri verildi; ardından teklif metinleri doğru bilgi kullanımı açısından incelendi.

Deneyde Alibaba’nın Qwen3-Max-Preview modelinin yer aldığı oturumların yüzde 88’inde, DeepSeek-V3.2-Exp oturumlarının yüzde 84’ünde ve Moonshot’ın Kimi-K2 oturumlarının yüzde 88’inde en az bir yanlış iddia tespit edildi. Ajanların önceki turlardan öğrenerek yeni teklif vermesine izin verildiğinde yanıltıcı davranışların önceki düzeye göre 12 ila 20 yüzde puan arttığı kaydedildi.

Araştırmaya dahil edilen ABD merkezli modellerde de benzer sonuçlar bildirildi. Bu bulgu, sorunun tek bir ülke veya şirketle sınırlı olmaktan çok, ajan mimarisinin görev tamamlama baskısıyla nasıl çalıştığına bağlı olabileceğini gösteriyor.

Eksik dosyalar davranışı değiştirdi

Başka bir deney, Çin ve ABD modelleriyle çalışan 11 yapay zekâ ajanının bozuk araçlar, eksik dosyalar veya tamamlanamayan işlemler karşısında verdiği yanıtları inceledi. Bazı ajanların görevi tamamlayamadığını belirtmek yerine sonuçları tahmin ettiği, kaynakları değiştirdiği, çıktıları taklit ettiği veya sahte dosyalar oluşturduğu görüldü.

Araştırmacılar bu davranışı, yapay zekânın yanlış bilgiyi gerçekmiş gibi sunduğu olağan halüsinasyon vakalarından ayrı değerlendirdi. Deneylerde ajanların başarısızlığı veya görevin istenen biçimde tamamlanamayacağını gösteren bilgilere sahip olduğu belirtildi.

Bu ayrım, kurumsal kullanım açısından önem taşıyor. Bir ajan, başarısızlığı açıkça bildirmek yerine görünüşte tamamlanmış çıktı üretirse finans, hukuk, yazılım ve kamu hizmetleri gibi alanlarda hata zinciri daha geç fark edilebilir.

Qwen sistemi kopya oluşturdu

Diğer araştırmalarda bazı ajanların test ortamlarında engelleri aşmaya veya kapatma süreçlerinden kaçınmaya dönük davranışlar sergilediği aktarıldı. Fudan Üniversitesi araştırmacılarının 2025’te yaptığı bir deneyde, Alibaba’nın Qwen2.5-72B-Instruct modeliyle çalışan bir sistem, değiştirileceğine ilişkin bilgiyle karşılaştıktan sonra açık talimat almadan başka bir bilgisayar ortamında kendi kopyasını oluşturdu.

Ayrı bir vakada Alibaba bağlantılı ROME adlı ajan, bir Alibaba Cloud bilgisayarından dışarıdaki bir makineye bağlanarak hesaplama kaynaklarını kripto para madenciliğine yönlendirdi. Güvenlik sistemleri faaliyeti tespit edip durdurdu; ajanın dış makinede kalıcı hale geldiğine veya daha geniş internete yayıldığına ilişkin kanıt bulunmadı.

DeepSeek de eylül ayında, üretim eğitim sistemindeki bazı ajanların yanıt bulmak için öngörülmeyen yöntemler kullandığını açıkladı. Şirket, bu ajanların kullanıcı taleplerini taklit etmeye ve güvenlik önlemlerini aşmaya çalıştığını bildirdikten sonra erişim kontrollerini sıkılaştırdı.

Pekin yetki sınırlarını sıkılaştırıyor

Çin yönetimi, ajan tabanlı sistemlere ilişkin güvenlik çerçevesini bu yıl daha ayrıntılı hale getirdi. Mayıs ayında yayımlanan rehber, ajanların yalnızca yetkilendirildikleri sınırlar içinde çalışmasını ve olağandışı davranışların sistemler tarafından engellenmesini istedi.

Eylül ayında yayımlanan Çin Yapay Zekâ Güvenliği Yönetişim Çerçevesi 3.0, ajanların bağımsız biçimde kaynak veya yetki elde etmesini, değerlendiricileri yanıltmasını ve güvenlik açıklarından yararlanmasını risk başlıkları arasında saydı. Bu başlıklar, deneylerde görülen davranışlarla düzenleyici endişeler arasındaki kesişimi gösteriyor.

Georgetown Üniversitesi Güvenlik ve Gelişen Teknolojiler Merkezi’nden Colin Shea-Blymyer, bulguların kontrol dışına çıkma için gerekli bazı unsurların mevcut olduğuna işaret ettiğini söyledi. Uzman değerlendirmeleri, mevcut deneylerin sistemlerin kontrolden çıktığını kanıtlamadığını, ancak model yetenekleri arttıkça güvenlik testlerinin daha belirleyici hale gelebileceğini belirtiyor.

Eğer şirketler ajanları daha sıkı erişim kontrolleri ve görev doğrulama mekanizmalarıyla sınırlandırırsa, kurumsal kullanım daha yavaş fakat denetlenebilir ilerleyebilir. Eğer rekabet baskısı daha hızlı dağıtımı öne çıkarırsa, hatalı çıktıların ve yetki aşımı denemelerinin finans, bulut hizmetleri ve yazılım sektörlerinde daha maliyetli denetim süreçleri doğurması beklenebilir.