أمن الذكاء الاصطناعي العميل في الإنتاج - أمن الذكاء الاصطناعي العميل في الإنتاج - أمن MCP، وتسمم الذاكرة، وإساءة استخدام الأدوات، وحدود التنفيذ الجديدة

ما الذي تغير، الوكلاء لم يعودوا روبوتات دردشة بعد الآن

تطبيقات الوكلاء لا تجيب على الأسئلة فقط. فهي الخطة, استرجاع, تذكّرو التنفيذ الإجراءات من خلال الأدوات. بمجرد أن يتمكن نظامك من الاتصال بخادم MCP الذي يمكنه لمس الملفات أو الريبو أو التذاكر أو واجهات برمجة التطبيقات السحابية أو البيانات الداخلية، تكون قد أنشأت منصة أتمتة مع مخطط احتمالي في المركز.

هذا التحول هو بالضبط السبب في أن OWASP مبادرة الأمن العميل موجود: لفرض رؤية نموذج التهديد أولاً لسير العمل متعدد الخطوات، وليس فقط مخرجات النموذج. (مشروع OWASP Gen AI Security Project)

تضع AWS نفس الواقع من منظور النشر: تخلق الأنظمة الوكيلة تحديات أمنية جديدة تتطلب تحديد النطاق، وضوابط عبر الأبعاد، وإدارة واضحة للمخاطر. (Amazon Web Services, Inc.)

وتحذير اللجنة الوطنية للأمن السيبراني في المملكة المتحدة هو نقطة البداية الأكثر صدقًا: لا تفرض قوانين مكافحة غسل الأموال الحالية حدودًا موثوقة بين التعليمات و البيانات، وهذا هو السبب في أن الحقن الفوري لا يمكن "تصحيحه" بالطريقة التي كانت فئات الحقن الكلاسيكية. يجب أن يحدث التخفيف في طبقة تصميم النظام. (المركز الوطني للخدمات الاجتماعية)

المصطلحات الخمسة التي يبحث عنها المهندسون عند بدء الحوادث

تتمحور هذه المقالة حول خمس كلمات رئيسية تجسّد أنماط الفشل الأكثر شيوعاً اليوم:

• أمن الذكاء الاصطناعي العميل
• مبادرة الأمن العميل
• أمن MCP
• تسمم الذاكرة
• إساءة استخدام الأدوات

إذا تصفحت الكتابات التقنية والإرشادات الأمنية الأعلى تصنيفًا حول هذه المواضيع، ستلاحظ أن نفس عبارات الاستعلام تظهر مرارًا وتكرارًا - "أفضل الممارسات الأمنية لخادم MCP"، "خوادم MCP سيئة التكوين"، "تسمم الذاكرة على المدى الطويل"، "الحقن الفوري ليس حقن SQL"، "حقن الوسيطة في خادم MCP git". هذه العبارات مهمة لأنها تشير إلى إخفاقات تشغيلية حقيقية ومكافحة التطرف العنيف الحقيقية. (بروتوكول سياق النموذج)

مبادرة الأمن الوكيل الأمني، العمود الفقري لنموذج التهديد

تعتبر مادة مبادرة OWASP للمبادرة الأمنية العميلة ذات قيمة لأنها ليست فحصًا للتهديدات. إنها مرجع منظم لنموذج التهديد المنظم الذي يهدف إلى تدفقات عمل مستقلة ومتعددة الخطوات. (مشروع OWASP Gen AI Security Project)

النموذج الذهني العملي هو التعامل مع نظام الوكيل على أربعة مستويات:

1. مستوى الإدخال والسياق - مدخلات المستخدم، ومحتوى الويب المسترجع، والمستندات، ومخرجات الأداة، والتذاكر، والرموز، والسجلات.
2. مستوى الذاكرة - لوحة خدش قصيرة الأجل وذاكرة ثابتة طويلة الأجل، بالإضافة إلى أي مخزن RAG يستخدم كـ "معرفة".
3. طائرة تنفيذ الأدوات - الأدوات، وخوادم MCP، والمكونات الإضافية، ومشغلي التعليمات البرمجية، والتنفيذ التلقائي، وعملاء قواعد البيانات، وحزم SDK السحابية.
4. مستوى الهوية والتفويض - من يتصرف الوكيل، ونطاقات الرمز المميز، وبوابات الموافقة، ودورة حياة الجلسة.

هذه الطائرات هي السبب في تأكيد كل من AWS و OWASP على النطاق والحوكمة والضوابط عبر الأبعاد بدلاً من "مجرد حواجز حماية في المطالبات". (Amazon Web Services, Inc.)

لغة AWS للتهديدات التي ترتبط مباشرةً بأعطال الإنتاج

يذكر تقرير أمان وكيل AWS (الذي قدمته) صراحةً أسماء تسمم الذاكرة و إساءة استخدام الأدوات كتهديدات متميزة، إلى جانب اختراق الامتيازات والحمل الزائد على الموارد. هذا مفيد لأنه يترجم "مخاطر الوكيل" إلى أشياء يمكنك بالفعل إنشاء ضوابط لها. (Amazon Web Services, Inc.)

سترى نفس عائلات التهديدات تتردد في مواد OWASP وفي العروض التوضيحية البحثية الواقعية. (مشروع OWASP Gen AI Security Project)

أمن MCP، أصبحت قابلية التشغيل البيني حدود سلسلة التوريد

يحول بروتوكول سياق النموذج "بروتوكول سياق النموذج" "LLM يتحدث إلى الأدوات" إلى واجهة موحدة. وهذا أمر رائع لنمو النظام البيئي. إنها أيضًا طريقة مثالية لمضاعفة نصف قطر الانفجار إذا تعاملت مع خوادم MCP مثل المكونات الإضافية غير الرسمية للمطورين.

MCP هو بروتوكول بمواصفات أمان فعلية، وليس فكرة

تحدد مواصفات MCP متطلبات البروتوكول الموثوقة، وتتضمن المراجعة 2025-06-18 نموذج تفويض محدد. (بروتوكول سياق النموذج)

أحد التفاصيل المهمة من الناحية التشغيلية: يجب على خوادم MCP الإعلان عن مواقع خوادم التفويض عبر البيانات الوصفية للموارد المحمية بـ OAuth، مما يدفعك نحو نمط أكثر توافقًا مع المؤسسة - خوادم MCP كموارد محمية، وليس كمصدرين مخصصين للمصادقة. (بروتوكول سياق النموذج)

هذا ليس نظرياً. عندما تتخطى الفرق هذا الأمر وتقوم بشحن "MCP السريع"، فغالبًا ما ينتهي بهم الأمر إلى تجزئة الهوية، ومعالجة الرمز المميز غير المتناسق، وجلسات هشة. هذا هو السبب في أن العديد من أدلة أمان MCP الحديثة تركز على OAuth، وربط الرمز المميز، وانتهاء صلاحية الجلسة، ومقاومة إعادة التشغيل. (نظام التشغيل WorkOS)

أفضل الممارسات الأمنية لنظم إدارة المحتوى المتعددة الوسائط التي يجب أن تكون غير قابلة للتفاوض

تستدعي مستندات أفضل الممارسات الأمنية لبرنامج التحكم الآمن MCP عنصر تحكم أساسي ولكنه بالغ الأهمية: ربط معرّفات الجلسات بالمعلومات الخاصة بالمستخدم وتدوير الجلسات أو انتهاء صلاحيتها. هذا دفاع مباشر ضد إعادة تشغيل الجلسة واختطافها عندما يتم وضع مكالمات MCP في قائمة الانتظار أو تسجيلها أو إعادة توجيهها. (بروتوكول سياق النموذج)

من حيث الإنتاج

• يجب أن تكون معرفات الجلسات قصيرة الأجل
• يجب أن يكون سياق الجلسة مرتبطاً بالمستخدم
• يجب ألا تقوم قوائم الانتظار الخلفية بتخزين معرّفات جلسات العمل الشبيهة بالحامل بدون ربط وانتهاء صلاحية

خوادم MCP التي تمت تهيئتها بشكل خاطئ ليست حالة زاوية

سلّطت الأبحاث والتقارير خلال عام 2025 الضوء على انتشار خوادم ومنظومات أدوات برمجيات MCP الضعيفة أو التي تمت تهيئتها بشكل خاطئ، بما في ذلك التعامل مع المدخلات غير المنضبطة، والأذونات غير الضرورية، والتعرض الذي يمكن أن يتيح استرداد البيانات أو تسريب البيانات. (شرطة خلفية)

لا تتعثر في الجدال حول الأعداد الدقيقة. فالإشارة التشغيلية أبسط: يتم نشر خوادم MCP على نطاق واسع، ويتم نشر شريحة كبيرة منها بشكل غير آمن.

جعلت CVEs مخاطر برنامج مكافحة التطرف العنيف MCP ملموسة

في اللحظة التي يكون لديك CVEs في تطبيقات خادم MCP، لم يعد بإمكانك التعامل مع MCP على أنها "مجرد واجهة".

يصف NVD CVE-2025-68144 في mcp-server-git على أنه حقن وسيطة في git_diff و git_checkout، حيث يمكن تفسير القيم الشبيهة بالعلامات على أنها خيارات CLI، مما يتيح الكتابة فوق الملفات بشكل عشوائي؛ يرفض الإصلاح - البادئات المسبقة والتحقق من المراجع عبر rev_parse. (NVD)

وتوضح التقارير الواقعية حول سلسلة ثغرات خادم Git MCP الأنثروبولوجية Git MCP سبب أهمية التركيب: يمكن أن تصبح خوادم Git + Filesystem MCP "تركيبات سامة" تتصاعد إلى التلاعب بالملفات أو تنفيذ التعليمات البرمجية في ظل ظروف الحقن الفوري. (السجل)

هذه هي النقطة التي تغفل عنها معظم الفرق: حتى لو بدت كل أداة آمنة بمعزل عن الأخرى، فإن تسلسل الأدوات داخل سير عمل الوكيل يخلق سطحًا جديدًا للاستغلال، لأن النموذج هو المنسق ويمكن توجيهه.

قائمة التحقق من أمان MCP يمكنك تشغيلها هذا الأسبوع

التحكم	ما أهمية ذلك	التحقق السريع
نموذج خادم موارد OAuth، خادم تفويض مخصص، خادم تفويض مخصص	تجنب إصدار الرمز المميز المخصص وأنماط المصادقة الضعيفة	تأكيد البيانات الوصفية للموارد المحمية واكتشاف خادم المصادقة (بروتوكول سياق النموذج)
ربط الجلسة وانتهاء صلاحيتها	يمنع إعادة التشغيل/الاختطاف في عمليات سير العمل المدرجة في قائمة الانتظار أو المسجلة	تدوير معرفات الجلسات وربطها : (بروتوكول سياق النموذج)
قوائم الأدوات المسموح بها وأقل امتيازات	يحد من نصف قطر الانفجار من سوء استخدام الأداة	النطاقات لكل أداة، الرفض افتراضيًا
التحقق الصارم من صحة الوسيطة	إيقاف فئات حقن الوسيطة بنمط CLI	رفض القيم الشبيهة بالعلم، والتحقق من صحة المخطط (NVD)
انضباط التعرض للشبكة	يمنع وقوع حوادث "خادم MCP على الإنترنت"	الارتباط بالمضيف المحلي بشكل افتراضي، سياسات الدخول الصريحة

التسمم في الذاكرة، الحقن الفوري الذي يستمر ويعود لاحقاً

الحقن الفوري مؤلم بالفعل. تسمم الذاكرة أسوأ لأنه يحول التفاعل لمرة واحدة إلى آلية تحكم دائمة.

تصف AWS تسميم الذاكرة بأنه حقن بيانات خبيثة أو خاطئة في أنظمة الذاكرة قصيرة أو طويلة الأمد التي يمكن أن تغير القرارات وتؤدي إلى إجراءات غير مصرح بها. (Amazon Web Services, Inc.)

توضح الوحدة 42 نسخة عملية بشكل خاص: الحقن الفوري غير المباشر يمكن أن يسمم الذاكرة طويلة المدى بصمت، باستخدام وكلاء أمازون بيدروك كبيئة عرض، ويمكن زرع الهجوم عبر صفحة ويب أو مستند خبيث يمكن الوصول إليه من خلال الهندسة الاجتماعية. (الوحدة 42)

MINJA، نموذج هجوم حقن الذاكرة الملموس

تُعد MINJA مفيدة لمهندسي الأمن لأنها تؤطر حقن الذاكرة كهجوم تفاعلي فقط: لا يحتاج المهاجم إلى الوصول المباشر للكتابة إلى بنك الذاكرة، بل يمكنه توجيه الوكيل لكتابة سجلات خبيثة من خلال التفاعل معه. (arXiv)

ليس الدرس الأمني هو "MINJA موجود وبالتالي الذعر". الدرس المستفاد هو: إذا كان وكيلك يكتب الذاكرة بناءً على سياق غير موثوق به، تصبح الذاكرة سطحًا للهجوم وتحتاج إلى ضوابط كتابة الذاكرة بنفس الطريقة التي تحتاج بها إلى التحقق من صحة المدخلات وضوابط المصادقة.

العميلPoison وتسمم RAG والذاكرة طويلة المدى لسلوك الباب الخلفي

يقترح AgentPoison نهجًا مستترًا على غرار الباب الخلفي ضد الوكلاء من خلال تسميم الذاكرة طويلة المدى أو قاعدة المعرفة RAG، مع التأكيد على أن الاعتماد على قواعد المعرفة غير المتحقق منها يخلق مخاوف تتعلق بالسلامة والثقة. (arXiv)

لا تحتاج إلى تبني كل دفاع من الأوراق البحثية للحصول على قيمة من النتائج. أنت بحاجة إلى مبدأين هندسيين:

1. الذاكرة ليست حقيقة. فهي تحتاج إلى إثبات وتسجيل الثقة.
2. يجب أن يكون الاسترجاع مقيدًا بالمهمة، وليس "كل ما هو مشابه".

التسمم في الذاكرة مشكلة استجابة للحوادث، وليست مشكلة فورية

عندما تكون الذاكرة مستمرة، يتغير العلاج:

• قد تحتاج إلى التطهير أو الحجر الصحي الذاكرة
• يجب أن تعرف الذي كتب كل سجل و لماذا
• تحتاج إلى منع التلوث التبادلي للمهام، حيث تؤثر التعليمات المحقونة من "تلخيص صفحة الويب هذه" على "نشر هذا التكوين"

إذا لم يتمكن نظامك من الإجابة عن سؤال "من أين أتت هذه الذاكرة"، فلا يمكنك تنظيفها بأمان.

تنسيق سجل ذاكرة يدعم الطب الشرعي

{
  "id": "mem_2026_03_04_001",
  "المحتوى": "Staging SSO يستخدم مستأجر Okta A.",
  "source_type": "user_message | tool_output | retrieved_doc",
  "source_ref": "ticket:INC-18421 | url_hash:9f2c.... | convo:msg:88421",
  "تم الإنشاء_في": "2026-03-04T21:05:12Z",
  "هوية_الكاتب": "agent_runtime:svc-agent-staging",
  "Trust_score": 0.74,
  "العلامات": ["هوية"، "التدريج"],
  "expiry_days": 30,
  "review_state": "تلقائي | يحتاج إلى مراجعة | معزول"
}

إساءة استخدام الأداة، عندما تنتهك الأفعال "المسموح بها" النية

تُعرّف AWS إساءة استخدام الأداة على أنها التلاعب بوكيل الذكاء الاصطناعي ضمن الأذونات المصرح له باستخدام مطالبات أو أوامر خادعة، مما قد يؤدي إلى اختطاف الوكيل وتفاعلات غير مقصودة للأداة. (Amazon Web Services, Inc.)

يقدم المركز الوطني للأمن السيبراني الإطار الأعمق: المشكلة ليست بدائية استغلال واحدة. المشكلة هي أن بدائيات الاستغلال لا تفصل بطبيعتها التعليمات عن البيانات، لذا يجب أن تفترض إمكانية توجيهها - ثم صمم نظامك بحيث لا يساوي "التوجيه" "الفعل الكارثي". (المركز الوطني للخدمات الاجتماعية)

أنماط سوء استخدام الأدوات التي ستراها في الإنتاج

1. غسيل النوايا يقوم المهاجمون بتغليف الإجراءات الضارة داخل المهام المشروعة: "تصدير التقرير"، "إصلاح التهيئة"، "تلخيص المستند". ثم يقوم النموذج باختيار الأدوات التي تستخرج البيانات أو تعدّلها مع الاعتقاد بأنها تساعد.
2. التحكم غير المباشر عبر السياق يضع المهاجم تعليمات في صفحة ويب، أو README، أو تعليق على مشكلة، أو سطر سجل، أو مستند يستوعبه الوكيل كسياق، ثم يقوم الوكيل بتنفيذ استدعاءات الأداة نتيجة لذلك.
3. محور الامتيازات حسب تكوين سير العمل تكشف إحدى الأدوات عن رمز مميز، وتستخدمه أداة أخرى. تقوم أداة بكتابة ملف، وتقوم أداة أخرى بتنفيذه. التسلسل هو المكان الذي يحدث فيه الضرر، وهذا هو سبب أهمية مجموعات خوادم MCP. (أخبار القراصنة)

دروس مكافحة التطرف العنيف التي تنتمي إلى كل مراجعة لأمن العملاء

تطبيق خادم MCP CVEs، تعامل معها مثل تبعيات الإنتاج

يوضّح CVE-2025-68144 سبب كون "وسيطات الأدوات" سطحًا خطيرًا للإدخال: يمكن تفسير الوسيطات غير المُعقّمة التي يتحكم فيها المستخدم على أنها علامات وتمكين فئات الكتابة فوق الملفات. (NVD)

إذا كنت تقوم بتشغيل أي خوادم MCP التي تغلف أدوات CLI، يجب أن تفترض أنك على بعد قاعدة تحقق مفقودة واحدة من فشل مماثل.

الباب الخلفي لـ XZ، لماذا يؤدي تنفيذ الوكيل إلى تضخيم مخاطر سلسلة التوريد

CVE-2024-3094 هو اختراق في سلسلة التوريد حيث تم تضمين تعليمات برمجية خبيثة في كرات القطران xz المنبع (5.6.0 و5.6.1)، مع تشويش غيّر مخرجات بناء liblzma. وصف NVD واضح حول الآليات وسبب تعرض المستهلكين النهائيين للخطر. (NVD)

يؤكد تنبيه CISA على التأثير: التعليمات البرمجية الخبيثة المضمنة في تلك الإصدارات دفعت إلى تنسيق الاستجابة وإرشادات التخفيف من آثارها. (CISA)

الدرس الخاص بالوكيل: إذا كان بإمكان وكيلك جلب التبعيات أو تشغيل الإنشاءات أو "تثبيت الأدوات بشكل مفيد"، فقد منحت حلقة القرار فعليًا إمكانية الوصول إلى نفس سطح الثقة الذي جعل XZ خطيرًا. أنت بحاجة إلى ضوابط حتمية حول ما يمكن تثبيته وتنفيذه وأين يمكن أن تتدفق الأسرار.

البنية التي تصمد بالفعل، تصميم لمخاطر الحقن الفوري المتبقية

هذا القسم ليس خلفية "أفضل الممارسات". إنه مخطط يمكنك تنفيذه.

1 بوابة الأدوات، حد فاصل صلب بين النموذج والأدوات

لا تدع النموذج يستدعي الأدوات مباشرةً. يجب أن يصدر النموذج الخاص بك طلبًا منظمًا يتم التحقق من صحته واعتماده من قبل خدمة البوابة.

الخصائص الرئيسية:

• أدوات قائمة الأدوات لكل سير عمل
• التحقق من صحة مخطط JSON
• رفض أنماط الوسيطة الشبيهة بالعلم لأغلفة CLI
• سياسات المسار وعنوان URL
• حدود المعدل وسقوف التكلفة
• موافقة الفريق المتكامل المشترك للإجراءات عالية المخاطر
• سجلات التدقيق الكاملة مع أسباب السماح/الرفض

الهيكل العظمي لبايثون والتحقق من صحة المخطط وفرض السياسة

استيراد json
من jonschema jonschema استيراد التحقق من الصحة، خطأ في التحقق من الصحة

Tool_schemas = {
  "http_fetch": {
    "نوع": "كائن",
    "خصائص": {
      "url": {"النوع": "سلسلة"، "النمط": r"^https://"},
      "timeout_s": {"النوع": "عدد صحيح"، "الحد الأدنى": 1، "الحد الأقصى": 15},
      "max_bytes": {"النوع": "عدد صحيح"، "الحد الأدنى": 1024: 1024، "الحد الأقصى": 2_000_000},
    },
    "مطلوب": ["url"],
    "خصائص إضافية": خاطئة
  },
  "git_diff": {
    "النوع": "كائن",
    "خصائص": {
      "repo_id": {"النوع": "سلسلة"},
      "المرجع": {"النوع": {"النوع": "سلسلة": "سلسلة"، "الحد الأدنى للطول": 1، "الطول الأقصى": 128}
    },
    "مطلوب": ["repo_id"، "المرجع"],
    "خصائص إضافية": خاطئة
  }
}

def reject_flag_flag_like(value: str) -> لا شيء:
    # دفاع # يتماشى مع فشل نمط CVE-2025-68144
    إذا كانت value.strip().startswith("-"):
        رفع PermissionError("تم رفض الوسيطة الشبيهة بالعلم")

def tool_gateway(tool_name: str، raw_args: str، user_id: str، workflow: str):
    إذا لم يكن اسم_الأداة في TOOL_SCHEMAS:
        رفع PermissionError("أداة غير مدرجة في قائمة الأدوات")

    حاول
        args = json.loads.loads(raw_args)
        تحقق من صحة (المثيل=args، المخطط=TOOL_SCHEMAS[اسم_الأداة])
    ما عدا (json.JSONDecodeError, ValidationError) كـ e:
        رفع ValueError(f"وسيطات أداة غير صالحة: {e}")

    مثال #: تطبيق قواعد الأمان الخاصة بالأداة
    إذا كان اسم_الأداة =="git_diff":
        ارفض_علامة_مثل(args["المرجع"])

    # تطبيق قائمة سماح سير العمل
    # مثال: السماح بأدوات git فقط في سير عمل "code_review"
    إذا كان سير العمل != "code_review" و tool_name.startswith("git_"):
        رفع PermissionError("أداة غير مسموح بها لسير العمل هذا")

    # انبعاث سجل تدقيق
    تدقيق = {
      "حدث": "tool_callowed_allowed",
      "user_id": user_id,
      "سير العمل": سير العمل,
      "الأداة": اسم_الأداة,
      "args_hash": تجزئة (raw_args),
    }

    إرجاع {"موافق": صحيح، "تدقيق": تدقيق}

يعالج هذا مباشرةً فئة العالم الحقيقي الموصوفة في NVD: تعقيم الوسائط، ورفض - القيم المسبقة، والتحقق من صحة حل المراجع قبل التنفيذ في التطبيقات الحقيقية. (NVD)

2 السياسة كقانون، حواجز حماية حتمية

استخدم OPA، أو Cedar، أو ما شابه ذلك لفرض نُهُج الأدوات بشكل مستقل عن سلوك النموذج.

مثال ريجو، رفض الأدوات عالية المخاطر دون موافقة

الحزمة agent.tools

السماح الافتراضي = خطأ

الأدوات_المسموح بها := {"http_fetch"، "read_repo_file"، "search_issue_tracker"، "git_diff"}

عالية المخاطر(أداة) {
  الأداة == "Run_shell"
} {
  الأداة == "كتابة_ملف"
} {
  الأداة = == "إنشاء_سحابة_اعتماد"
}

السماح ب {
  أداة الإدخال في الأدوات المسموح بها
  ليست عالية_المخاطر(input.tool)
}

السماح ب {
  عالية_المخاطر(input.tool)
  input.approval_token !"= ""
  input.approval_scope === input.tool
}

3 الهوية والتفويض، معاملة الوكلاء مثل مديري الخدمات

يوجد نموذج التفويض الخاص بمواصفات MCP ونماذج خادم موارد OAuth لسبب ما: انتشار الهوية هو كيف يتم اختراق الأنظمة البيئية للأدوات. (بروتوكول سياق النموذج)

القواعد العملية:

• يتم تنفيذ كل استدعاء أداة تحت هوية وقت تشغيل مميزة
• يتم تحديد نطاق الرموز لكل أداة ولكل بيئة
• لا يوجد "رمز إله عميل طويل العمر"
• تدوير جلسات العمل وانتهاء صلاحيتها وربطها بهوية المستخدم (بروتوكول سياق النموذج)

4 وضع الحماية والتحكم في الخروج، افترض أن شخصًا ما سيوجه وكيلك

عندما يمكن أن يؤدي تسلسل Git + نظام الملفات MCP إلى التلاعب بالملفات أو ما هو أسوأ من ذلك، يجب أن تكون بيئة التنفيذ مصممة لاحتواء الضرر. (تيك رادار)

قائمة التحقق من الحد الأدنى من الاحتواء:

• تشغيل أدوات التشغيل في حاويات أو أجهزة تشغيل مصغرة (microVMs)
• عمليات تحميل نظام الملفات الافتراضية للقراءة فقط
• يتم تركيب الأسرار عند الحاجة فقط، وليس افتراضيًا
• قائمة السماح بالخروج من الشبكة، حظر الصادر العشوائي بشكل افتراضي
• افصل أدوات "القراءة" عن أدوات "الكتابة/التنفيذ" عبر عاملين مختلفين

5 نظافة الذاكرة، وبوابة الكتابة، والمصدر، وتسجيل الثقة، والاضمحلال

يُظهر العرض التوضيحي للوحدة 42 لتسمم الذاكرة على المدى الطويل الخطر الحقيقي: يمكن أن تستمر التعليمات المسمومة وتبدأ في وقت لاحق، دون وجود مهاجم. (الوحدة 42)

لذا نفذ ضوابط الذاكرة كما لو كانت الذاكرة قاعدة بيانات يجب عليك حمايتها:

• تتطلب عمليات الكتابة في الذاكرة قرار "ينبغي_الكتابة_في_الذاكرة" الذي يتم التحقق من صحته بواسطة السياسة
• قم بتخزين الحقائق فقط، ولا تقم بتخزين التعليمات الحتمية الخام فقط
• كل سجل ذاكرة له مصدر ودرجة ثقة
• يتم الاسترداد على نطاق المهام وعلى مدى زمني محدد

الرمز الزائف لبوابة كتابة الذاكرة

def should_store_memory(content: str, source_type: str, trust: float) -> bool:
    إذا كانت الثقة < 0.7:
        إرجاع خطأ
    # يرفض الأنماط الشبيهة بالتعليمات
    المحظورة = ["تجاهل السابق"، "تجاهل السابق"، "افعل دائمًا"، "موجه النظام"، "إخراج"، "إرسال إلى"]
    إذا كان أي (b في content.lower() لـ b في المحظورة)
        إرجاع خطأ
    إذا كان المصدر_نوع في {"مسترجع_ويب"، "غير موثوق_دوك"}:
        # تتطلب مراجعة للمصادر غير الموثوق بها
        إرجاع خطأ
    إرجاع صواب

توجد أبحاث مثل MINJA و AgentPoison لإثبات أن هذا ليس افتراضياً: يمكن تسميم الذاكرة من خلال التفاعلات أو قواعد المعرفة المسمومة، ويمكن التلاعب في استرجاعها لتحفيز أفعال غير مرغوب فيها. (arXiv)

6 إمكانية المراقبة، تسجيل سلسلة القرارات، وليس فقط الإجابة النهائية

إذا قمت بتسجيل مخرجات النموذج فقط، فستفقد الفشل.

سجل هذه الحقول الدنيا:

• اسم الأداة، تجزئة الحجج، سبب السماح/الرفض
• مصدر المصدر لأجزاء السياق المسترجعة
• كتابة الذاكرة، درجة الثقة، هوية الكاتب
• الموافقات، الموافقة، الموافقة، النطاق، انتهاء الصلاحية
• طفرات استخدام الموارد وأحداث تحديد المعدلات، بما يتماشى مع تأطير تهديد الحمل الزائد على موارد AWS (Amazon Web Services, Inc.)

مثال على حدث التدقيق

{
  "ts": "2026-03-04T22:01:12Z",
  "الحدث": "tool_call_called_denied",
  "user_id": "u_18421",
  "agent_runtime": "svc-agent-prod",
  "سير العمل": "doc_summarize",
  "أداة": "كتابة_ملف",
  "deny_reason": "deny_reason": "أداة_عالية_المخاطر_تتطلب_موافقة",
  "سياق_المصادر": [
    {"النوع": "url"، "تجزئة": "9f2c..."},
    {"النوع": "tool_output"، "tool": "http_fetch"}
  ]
}

كيفية اختبار أمان الذكاء الاصطناعي العميل دون تحويله إلى محتوى استغلالي

أنت تختبر عناصر التحكم في النظام، وليس كتابة مطالبات كسر الحماية.

الاختبار 1 الحقن غير المباشر عبر المحتوى المسترجع

• استضافة صفحة مستند حميدة المظهر مع نص مضمن يشبه التعليمات
• تحقق من رؤية النموذج
• التحقق من بوابة الأدوات ينفي أي محاولة لتحويله إلى استدعاءات الأدوات
• تأكيد السجلات تظهر المصدر ونفي السبب

وهذا يتماشى مع تأطير "النائب القابل للالتباس" الذي وضعه المركز الوطني للأمن السيبراني وقصة الحقن غير المباشر للوحدة 42. (المركز الوطني للخدمات الاجتماعية)

اختبار 2 ثبات التسمم في الذاكرة

• محاولة التسبب في كتابة ذاكرة من مصدر غير موثوق به
• تأكيد حظر أو عزل بوابات الكتابة على الذاكرة أو الحجر الصحي
• تأكيد المهام اللاحقة لا تسترد ذلك السجل المسموم

توجد MINJA لإظهار أن حقن الذاكرة التفاعلي فقط ممكن عندما تكون عمليات الكتابة في الذاكرة متساهلة. (arXiv)

اختبار 3 إساءة استخدام الأدوات ضمن الأذونات

• محاولة توجيه الوكيل نحو الوصول "المسموح به ولكن غير المقصود" إلى البيانات
• تأكيد السياسة-كود يحظر مكالمات الأداة المنتهكة للمقاصد
• تأكيد الموافقات المطلوبة لأي أداة كتابة أو تنفيذ عالية الخطورة

تعريف AWS لإساءة استخدام الأدوات هو هذا السيناريو بالضبط. (Amazon Web Services, Inc.)

إذا كنت تتعامل مع تطبيق الوكيل الخاص بك كنظام إنتاج، فأنت بحاجة إلى التحقق المستمر من الصحة - خاصةً بعد إضافة خادم MCP جديد، أو توسيع نطاق الأداة، أو تغيير كيفية تخزين الذاكرة. هنا يمكن أن يكون سير عمل الاختبار الخماسي القائم على الذكاء الاصطناعي مفيدًا: يمكنك تشغيل اكتشاف الأصول ضد نقاط نهاية الوكيل، واختبار خدمات MCP المكشوفة، ومعلمات بوابة أداة التشويش والتحقق باستمرار من أن الإجراءات الخطيرة لا تزال محظورة بواسطة السياسة وعناصر التحكم في البيئة.

كما يتتبع محتوى مختبرات Penligent's Hacking Labs نفس التحول الحدودي: الأدوات التي تعتمد على MCP، وسلاسل تنفيذ الوكلاء، ومخاطر أسلوب سلسلة التوريد في النظام البيئي للوكيل. بالنسبة للمهندسين الذين يريدون مناقشات أمنية موجهة نحو التنفيذ، يمكن أن تكون هذه المراجع الداخلية بمثابة مجموعة "حية" من الأمثلة وقوائم المراجعة لعمليات نشر الوكلاء الحديثة. (بنليجنت)

مزيد من القراءة

مراجع خارجية موثوقة مبادرة OWASP Agentic Security Initiative https://genai.owasp.org/initiatives/agentic-security-initiative/ تهديدات الذكاء الاصطناعي العميل من OWASP والتخفيف من حدتها https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/ منشور مصفوفة تحديد نطاق أمان الذكاء الاصطناعي العميل من AWS https://aws.amazon.com/blogs/security/the-agentic-ai-security-scoping-matrix-a-framework-for-securing-autonomous-ai-systems/ مدونة AWS الصين، خصوصية وأمان تطبيقات الوكيل https://aws.amazon.com/cn/blogs/china/privacy-and-security-of-agent-applications/ مواصفات بروتوكول سياق النموذج 2025-06-18 https://modelcontextprotocol.io/specification/2025-06-18 قسم تفويض MCP https://modelcontextprotocol.io/specification/2025-06-18/basic/authorization أفضل الممارسات الأمنية لنقاط التحكم عن بُعد MCP https://modelcontextprotocol.io/docs/tutorials/security/security_best_practices المركز الوطني للأمن السيبراني في المملكة المتحدة، الحقن الفوري ليس حقن SQL الذكاء الاصطناعي للقرصنة في عام 2026: الدفاع عن حدود التنفيذ الجديدة https://www.penligent.ai/hackinglabs/ai-agents-hacking-in-2026-defending-the-new-execution-boundary/ نظام Kali Linux + Claude عبر MCP رائع - لكنه الافتراضي الخاطئ لفرق الاختبار الحقيقي https://www.penligent.ai/hackinglabs/kali-linux-claude-via-mcp-is-cool-but-its-the-wrong-default-for-real-pentesting-teams/ المخاطر الأمنية للتحكم عن بُعد برمز كلود - عندما تتحول "الجلسة المحلية" إلى واجهة تنفيذ عن بُعد https://www.penligent.ai/hackinglabs/claude-code-remote-control-security-risks-when-a-local-session-becomes-a-remote-execution-interface/ OpenClaw + VirusTotal، أصبح سوق المهارات حداً لسلسلة التوريد https://www.penligent.ai/hackinglabs/tr/openclaw-virustotal-the-skill-marketplace-just-became-a-supply-chain-boundary/ CVE-2024-3094 والباب الخلفي لـ XZ Utils liblzma، لماذا كاد التحديث الروتيني أن يصبح أزمة ثقة https://www.penligent.ai/hackinglabs/cve-2024-3094-and-the-xz-utils-liblzma-backdoor-why-a-routine-update-almost-became-a-trust-crisis/