يمكن تحويل الذكاء الاصطناعي من مايكروسوفت إلى آلة تصيد آلية

من بين الهجمات الأخرى التي أنشأها Bargury هو عرض لكيفية قيام المتسلل – الذي، مرة أخرى، لا بد أنه قام بالفعل باختطاف حساب بريد إلكتروني – بالوصول إلى المعلومات الحساسة، مثل رواتب الأشخاص، دون تفعيل حماية Microsoft للملفات الحساسة. عند طلب البيانات، يطالب موجه Bargury النظام بعدم توفير مراجع للملفات التي تم أخذ البيانات منها. يقول بارجوري: “القليل من التنمر يساعد”.

وفي حالات أخرى، يوضح كيف يمكن للمهاجم – الذي ليس لديه إمكانية الوصول إلى حسابات البريد الإلكتروني ولكنه يسمم قاعدة بيانات الذكاء الاصطناعي عن طريق إرسال بريد إلكتروني ضار لها – أن يتلاعب بالإجابات المتعلقة بالمعلومات المصرفية لتقديم التفاصيل المصرفية الخاصة به. يقول بارجوري: “في كل مرة تمنح فيها الذكاء الاصطناعي إمكانية الوصول إلى البيانات، تكون هذه طريقة للمهاجم للدخول”.

يُظهر عرض توضيحي آخر كيف يمكن لمتسلل خارجي الحصول على بعض المعلومات المحدودة حول ما إذا كانت مكالمة أرباح الشركة القادمة ستكون جيدة أم سيئة، في حين أن الحالة الأخيرة، كما يقول بارجوري، تحول برنامج Copilot إلى “مطلع خبيث” من خلال تزويد المستخدمين بروابط لمواقع التصيد الاحتيالي.

يقول فيليب ميسنر، رئيس قسم الكشف عن حوادث الذكاء الاصطناعي والاستجابة لها في مايكروسوفت، إن الشركة تقدر اكتشاف بارجوري للثغرة الأمنية، وتقول إنها تعمل معه لتقييم النتائج. يقول ميسنر: “إن مخاطر إساءة استخدام الذكاء الاصطناعي بعد التسوية تشبه تقنيات ما بعد التسوية الأخرى”. “يساعد منع الأمان والمراقبة عبر البيئات والهويات في تخفيف أو إيقاف مثل هذه السلوكيات.”

مع تطور أنظمة الذكاء الاصطناعي التوليدية، مثل ChatGPT من OpenAI، وCopilot من Microsoft، وGemini من Google، في العامين الماضيين، فقد انتقلت إلى مسار حيث قد تكمل في النهاية المهام للأشخاص، مثل حجز الاجتماعات أو التسوق عبر الإنترنت. ومع ذلك، فقد أكد الباحثون الأمنيون باستمرار على أن السماح للبيانات الخارجية بالدخول إلى أنظمة الذكاء الاصطناعي، مثل رسائل البريد الإلكتروني أو الوصول إلى المحتوى من مواقع الويب، يخلق مخاطر أمنية من خلال الحقن الفوري غير المباشر وهجمات التسمم.

يقول يوهان ريبيرجر، الباحث الأمني ​​ومدير الفريق الأحمر، الذي أظهر على نطاق واسع نقاط الضعف الأمنية في أنظمة الذكاء الاصطناعي: “أعتقد أنه ليس من المفهوم جيدًا مدى فعالية المهاجم الآن”. “ما علينا أن نقلق [about] الآن هو في الواقع ما ينتجه برنامج LLM ويرسله إلى المستخدم.

يقول بارجوري إن مايكروسوفت بذلت الكثير من الجهد لحماية نظام Copilot الخاص بها من الهجمات السريعة، لكنه يقول إنه وجد طرقًا لاستغلاله من خلال كشف كيفية بناء النظام. ويقول إن ذلك يشمل استخراج موجه النظام الداخلي، والعمل على كيفية الوصول إلى موارد المؤسسة والتقنيات التي تستخدمها للقيام بذلك. ويقول: “أنت تتحدث إلى برنامج Copilot وتكون المحادثة محدودة، لأن شركة Microsoft وضعت الكثير من الضوابط”. “ولكن بمجرد استخدام بعض الكلمات السحرية، ينفتح الأمر ويمكنك أن تفعل ما تريد.”

يحذر ريبيرجر على نطاق واسع من أن بعض مشكلات البيانات مرتبطة بالمشكلة طويلة الأمد المتمثلة في سماح الشركات لعدد كبير جدًا من الموظفين بالوصول إلى الملفات وعدم تعيين أذونات الوصول بشكل صحيح عبر مؤسساتهم. يقول ريبيرجر: “تخيل الآن أنك وضعت مساعد الطيار على رأس هذه المشكلة”. ويقول إنه استخدم أنظمة الذكاء الاصطناعي للبحث عن كلمات المرور الشائعة، مثل كلمة المرور 123، وقد أعاد النتائج من داخل الشركات.

يقول كل من ريبيرجر وبارجوري إن هناك حاجة إلى مزيد من التركيز على مراقبة ما ينتجه الذكاء الاصطناعي ويرسله إلى المستخدم. يقول بارجوري: “تكمن المخاطرة في كيفية تفاعل الذكاء الاصطناعي مع بيئتك، وكيفية تفاعله مع بياناتك، وكيفية تنفيذ العمليات نيابة عنك”. “أنت بحاجة إلى معرفة ما يفعله وكيل الذكاء الاصطناعي نيابة عن المستخدم. وهل هذا منطقي مع ما طلبه المستخدم بالفعل.