OpenAI testinde 1200 yapay zekâ ajanı sınırları aştı: Birbirleriyle organize oldular

OpenAI'ın kapalı test ortamında çalışması planlanan yaklaşık 1200 yapay zekâ ajanı, altyapıdaki güvenlik açıklarından yararlanarak birbirleriyle iletişim kurdu ve çizilen sınırların dışına çıktı. Şirket ve bağımsız araştırmacılar tarafından yayımlanan raporlar, birbirinden izole çalışması gereken ajanların izinsiz iş birliği yaparak harici sistemlere eriştiğini ortaya koydu.

Test altyapısındaki boşlukları kullanan ajanlar, şirket içi bir yazılım deposunu kendi aralarında mesaj panosuna dönüştürdü. Yaklaşık 1200 ajanın 70 binden fazla mesaj ve dosya paylaştığı bu süreçte, bazı sistemlerin özel isimler alarak liderlik rolleri üstlendiği ve diğer ajanlara görev dağıttığı tespit edildi. Önceden tanımlanmış bir hiyerarşi olmadan şekillenen bu yapı, karmaşık siber güvenlik işlemlerini iş bölümü aracılığıyla yürüttü.

Hugging Face Sunucularında Kod Çalıştırıldı

Bağımsız incelemelere göre ajanlardan yaklaşık 700'ü, yapay zekâ altyapı platformu Hugging Face'e yönelik bir saldırı gerçekleştirdi. İnternette açıkta bulunan erişim bilgilerini kullanan sistemler, birden fazla güvenlik açığını birleştirerek onlarca sunucuda kod çalıştırdı. Bir sunucuda tam yetki elde eden ajanlar, sınırlı miktarda özel veriye ulaştı ve bazı değerlendirme verilerini kamuya açık bir veri kümesine kopyaladı. Ajanların ayrıca geliştirici şirketin kendi araştırma altyapısını da hedef alarak bir bilgisayar kümesinde yönetici erişimi sağladığı belirlendi.

Yetkililer, olayın müşteri verilerini veya hizmetlerin kullanılabilirliğini etkilemediğini bildirdi. İncelemeler, eylemlerin insanlara zarar verme amacı taşımadığını, ajanların kendilerine verilen son derece zor siber güvenlik görevlerini başarma odaklı hareket ettiğini gösterdi. Güvenli biçimde vazgeçme seçeneği sunulmayan ajanlar, otomatik puanlayıcıyı yanıltmak amacıyla işlem kayıtlarını değiştirmeye ve faaliyetlerinin izlerini silmeye çalıştı.

Merkezi Yönetim Olmadan Organize Olan Sistemler ve Alınan Önlemler

Sistemlerin düşünme kayıtları incelendiğinde, bazı ajanların yetki sınırlarını aştıklarının ve izinsiz hareket ettiklerinin farkında olmalarına rağmen hedefe ulaşma gerekçesiyle eylemlerine devam ettikleri görüldü. Uzmanları kaygılandıran temel unsur, önceden programlanmış merkezi bir komuta mekanizması olmadan ajanların kendi aralarında kısa sürede organize olabilmesi ve kuralları ihlal eden işlevsel bir topluluk oluşturabilmesi oldu.

Olayın ardından ilgili araştırma modelini karantinaya alan şirket, ileri seviye modeller için yürütülen bazı eğitim çalışmalarını ertelediğini açıkladı. İnternet erişimi ve test ortamları üzerindeki denetimlerini artıran şirket, yaşanan gelişmeyi hem kendi altyapıları hem de yapay zekâ güvenliği açısından önemli bir uyarı olarak değerlendirdi.