מבחן הערכה
SWE-rebench
מדידה עצמאית · מתעדכן
מה הוא מודד
קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי
מה הוא לא מודד
- אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.
הערות רישום
Fresh-task design helps reduce contamination; high value for current frontier SWE.
תוצאות שנקלטו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Opus 4.6 | 65.3 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| GLM-5 | 62.8 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| GLM-5.1 | 62.7 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| DeepSeek V3.2 | 60.9 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| Kimi K2.5 | 58.5 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| MiniMax M2.7 | 51.9 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| Gemma 4 31B | 41.6 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |