SWE-bench Lite

מה הוא מודד

קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי

מה הוא לא מודד

• אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.

הערות על המבחן

תת קבוצה קלה יותר של SWE-bench, בדיקה תוכניתית מול מבחני הריפוזיטורי.

תוצאות שנמדדו