المخاطر السيبرانية الناشئة الناجمة عن التلاعب بوكلاء الذكاء الاصطناعي

تواجه المؤسسات مشهد تهديدات متطورًا مع منح وكلاء الذكاء الاصطناعي صلاحيات متزايدة على أنظمة الأعمال الأساسية. وتنتقل الجهات التهديدية في تكتيكاتها من اختراق البريد الإلكتروني للمؤسسات (BEC) التقليدي المستهدف للبشر إلى التلاعب بوكلاء الذكاء الاصطناعي عبر تقنيات حقن الأوامر.

ومن خلال تضمين تعليمات ضارة داخل البيانات التي يعالجها الذكاء الاصطناعي، يستطيع المهاجمون تجاوز البروتوكولات الأمنية لإعادة توجيه المدفوعات، أو تسريب المعلومات الحساسة، أو الحصول على وصول غير مصرح به إلى الأنظمة. وتنشأ هذه الثغرة الأمنية نتيجة فشل وكلاء الذكاء الاصطناعي في كثير من الأحيان في التمييز بين التعليمات التشغيلية المشروعة ومدخلات البيانات الضارة.

وتشير البيانات الحديثة إلى أن مشاركة الأطراف الخارجية في الخروقات الأمنية قد ارتفعت بشكل كبير، مما يسلط الضوء على المخاطر المرتبطة بدمج تطبيقات الذكاء الاصطناعي في واجهات برمجة التطبيقات (APIs) للمؤسسات. وعلى عكس الهندسة الاجتماعية المستهدفة للبشر، والتي تعتمد على التلاعب العاطفي، تستغل هذه الهجمات المنطق الأساسي وآليات الثقة في نماذج اللغات الكبيرة.

ويجب على الاستراتيجيات الأمنية الآن أن تتجاوز التدريب الممركز حول العنصر البشري لتركز على التحصين التقني لوكلاء الذكاء الاصطناعي ضد حقن الأوامر غير المباشر. كما ينبغي للمؤسسات إعطاء الأولوية لتطبيق أطر التحقق القوية لضمان قدرة وكلاء الذكاء الاصطناعي على التمييز بين الأوامر الموثوقة والمحتوى الخارجي غير الموثوق.