מבחן הערכה
SWE-bench Verified
מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת
מה הוא מודד
קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי
מה הוא לא מודד
- אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.
הערות רישום
Core real-world software engineering signal. Record harness, agent scaffold and attempt budget.
תוצאות שנקלטו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Opus 5 | 96.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Fable 5 | 95.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.8 | 88.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.7 (Adaptive) | 87.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.7 | 83.5 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| DeepSeek V4 Pro 0813 | 80.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| MiniMax M3 | 80.5 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Inkling-Small | 80.2 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Gemini 3.5 Flash | 79.3 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Opus 4.6 | 78.7 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiMo-V2-Pro | 78.0 | SWE-bench Verified, pass@1 · מקור לא מאומת | קישור |
| Qwen3.7 Plus | 77.7 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Apodex 1.1 | 77.7 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Inkling | 77.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Muse Spark | 77.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Gemini 3 Pro | 77.4 | SWE-bench Verified, סוכן live-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| Qwen3.7 Max | 77.3 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Kimi K2.5 (Reasoning) | 76.8 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Kimi K2.6 | 76.7 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiniMax M2.5 | 75.8 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| MiniMax M2.7 | 75.4 | SWE-bench Verified, הרצה חיצונית · מקור לא מאומת | קישור |
| MiMo-V2-Omni | 74.8 | SWE-bench Verified, pass@1 · מקור לא מאומת | קישור |
| GLM-5.1 | 74.2 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Kimi K2.5 | 73.8 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| 73.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור | |
| GLM-5 | 72.8 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| DeepSeek V3.2 | 70.0 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| Qwen3.6 Plus | 57.9 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |