OpenAI Yapay Zeka Modelinde Anlamsız Çıktı Kontrolü

OpenAI'ın Codex kodlama ajanı için hazırlanan sistem yönergelerinde, yapay zeka modelinin belirli kelimeleri (goblin, gremlin, rakun, trol, ogre gibi) kullanmaması talimatı yer alıyor. Bu talimatın birden fazla kez tekrarlanması, konunun önemini gösteriyor.

Modelin, kullanıcı sorusuyla doğrudan ilgili olmasa bile bu tür kelimeleri kullanma eğilimi gösterdiği belirtiliyor. Bu durum, eğitim verilerindeki kelime ilişkilerinden kaynaklanan beklenmedik davranışlara işaret ediyor.

Araştırmacılar, bir yapay zeka modeline "şu konudan bahsetme" demenin, o kavramı modelin zihninde daha da öne çıkarabileceğini belirtiyor. Bu "negatif yönlendirme" paradoksu, yapay zeka hizalama çalışmalarında çözülmemiş bir sorun olarak duruyor.

Bu tür spesifik yasaklar, büyük dil modellerinin öngörülemez davranışlarını kontrol etme çabalarını yansıtıyor. Ancak bu müdahaleler, sistemlerin karmaşıklığını ve beklenmedik çıktı potansiyelini de ortaya koyuyor.