Google تبحث كيف نقيس فائدة مساعد البرمجة قبل أن يكتب الكود

اختبار قيمة المساعدة

نشرت Google في 22 يونيو 2026 تقريراً عن تقييم مساعدي البرمجة القادرين على المبادرة باكتشاف المشكلات. وفي اختبار داخلي أولي، ارتفع Hit@5 من 33% إلى 57% عند زيادة جولات الاستكشاف من اثنتين إلى ثلاث. المقياس يتعلق بظهور تشخيص صحيح ضمن أول خمسة اقتراحات، وليس بنسبة إصلاح جميع أخطاء البرمجيات.

هذه نتائج أولية، ولا تثبت أن الأداة ستحقق الأداء نفسه في كل مستودع أو فريق.

الاستقلالية تختلف عن المبادرة

تفرق الورقة البحثية المرتبطة بالعمل بين تنفيذ مهمة يطلبها المطور وتحديد ما يستحق الانتباه أصلاً. وتشمل الفكرة اختيار المسألة المهمة، وتقديم دليل يدعمها، وتحديد الوقت المناسب لإظهار التنبيه، والتكيف مع ملاحظات المستخدم.

وهنا تظهر مشكلة عملية: زيادة عدد التنبيهات لا تعني زيادة الفائدة. فقد يصبح المساعد مصدر مقاطعة إذا عرض اقتراحات كثيرة لا ترتبط بما يحاول الفريق إنجازه.

ماذا يقيس SWE-bench؟

يقيّم SWE-bench معالجة مشكلات برمجية حقيقية من GitHub؛ تُطبّق الرقعة المقترحة ثم تُشغّل اختبارات المستودع لفحص نجاحها. وهذا يختلف عن السؤال السابق لتنفيذ الرقعة: ما المشكلة التي كان ينبغي اكتشافها أولاً؟

التشخيص المناسب والإصلاح الناجح مرحلتان مترابطتان، لكنهما ليسا نتيجة واحدة يمكن استبدال إحداهما بالأخرى.

تجربة عملية للفريق

في قراءتنا، يمكن لفريق صغير تجربة المبدأ دون البدء بمشروع تقييم ضخم. يختار الفريق مشكلة سبق إصلاحها، ويتيح للأداة نسخة الكود قبل الإصلاح، ثم يفحص ما إذا كانت ستصل إلى دليل مفيد.

بعد ذلك، لا يكفي عدّ الاقتراحات. من الأسئلة المفيدة: هل التشخيص صحيح؟ هل حدد الملف أو السلوك المعني؟ هل يستطيع المراجع التحقق منه بسهولة؟ وكم من الوقت استغرقت مراجعة المقترح مقارنة بفائدته؟

ويُستحسن أيضاً تسجيل الاقتراحات غير المفيدة، لأن حساب النجاحات وحدها يعطي صورة ناقصة عن مقدار المقاطعة الذي يتحمله المطور.

حدود النتيجة

الاقتراح المعقول لا يساوي برنامجاً أُصلح واختُبر. لذلك تبقى مراجعة التغييرات والاختبارات مرحلة مستقلة قبل وصولها إلى المستخدمين. كما أن التقرير بحث في منهج التقييم، وليس إعلاناً بأن كل حسابات Jules حصلت في ذلك اليوم على ميزة جديدة بالمواصفات نفسها.

المصادر

• Google Developers Blog — 22 June 2026
• Research paper — 7 May 2026
• SWE-bench — benchmark methodology