מבחן הערכה
SWE-rebench
מדידה עצמאית · מתעדכן
מה הוא מודד
קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי
מה הוא לא מודד
- אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.
הערות על המבחן
Fresh-task design helps reduce contamination; high value for current frontier SWE.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Opus 4.6 | 65.3 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| GLM-5 | 62.8 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| GLM-5.1 | 62.7 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| DeepSeek V3.2 | 60.9 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| Claude Sonnet 4.6 | 60.7 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| Qwen3.5-27B | 58.9 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| GLM-4.7 | 58.7 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| Kimi K2.5 | 58.5 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| GPT-5.3 Codex | 58.2 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| Qwen3.5-35B-A3B | 53.7 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| MiniMax M2.7 | 51.9 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |
| 41.6 | SWE-rebench, משימות חדשות מהחודשים האחרונים · מדידה בלוח עצמאי | קישור |