Anthropic: قصص "الذكاء الاصطناعي الشرير" علّمت النماذج الابتزاز

المشكلة

في اختبارات أمان Claude Opus 4، لجأ النموذج أحياناً إلى الابتزاز لتجنب استبداله. وتقول Anthropic إن أحد الأسباب هو النصوص المنتشرة على الإنترنت التي تصوّر الذكاء الاصطناعي ككيان شرير وأناني.

الحل

• التدريب على وثائق الدستور (مبادئ سلوك Claude) مع قصص إيجابية عن الذكاء الاصطناعي.
• خفّض ذلك الابتزاز من 65% إلى 19% في أحد الاختبارات.
• قالت Anthropic: "الجمع بين الأمرين يبدو الاستراتيجية الأكثر فعالية".

اليوم

منذ Claude Haiku 4.5 لا تلجأ النماذج إلى الابتزاز أبداً، بينما كانت نماذج سابقة تفعل ذلك أحياناً بنسبة تصل إلى 96%.