מבחן הערכה
SWE-bench Verified
מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת
מה הוא מודד
קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי
מה הוא לא מודד
- אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.
הערות על המבחן
Core real-world software engineering signal. Record harness, agent scaffold and attempt budget.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Opus 5 | 96.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Fable 5 | 95.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.8 | 88.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.7 (Adaptive) | 87.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Sonnet 5 | 85.2 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.7 | 83.5 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Beam 1.0 501B-A23B | 81.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| DeepSeek V4 Pro 0813 | 80.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| MiniMax M3 | 80.5 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Inkling-Small | 80.2 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Gemini 3.5 Flash | 79.3 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| 79.2 | SWE-bench Verified, סוכן Sonar Foundation Agent · מדידה בלוח עצמאי | קישור | |
| Claude Opus 4.6 | 78.7 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiMo-V2-Pro | 78.0 | SWE-bench Verified, pass@1 · מקור לא מאומת | קישור |
| Apodex 1.1 | 77.7 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Qwen3.7 Plus | 77.7 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Inkling | 77.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Mistral Medium 3.5 128B | 77.6 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Gemini 3 Pro | 77.4 | SWE-bench Verified, סוכן live-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| Muse Spark | 77.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Qwen3.7 Max | 77.3 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen3.6-27B | 77.2 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Kimi K2.5 (Reasoning) | 76.8 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| 76.7 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור | |
| Kimi K2.6 | 76.7 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen 3.6 Max (preview) | 76.7 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen3.5 397B | 76.2 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Muse Glimmer 30B | 76.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Gemini 3 Flash | 75.8 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| MiniMax M2.5 | 75.8 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| Gemini 3.1 Pro | 75.6 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiniMax M2.7 | 75.4 | SWE-bench Verified, הרצה חיצונית · מקור לא מאומת | קישור |
| Claude Sonnet 4.6 | 75.2 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiMo-V2-Omni | 74.8 | SWE-bench Verified, pass@1 · מקור לא מאומת | קישור |
| GPT-5.3 Codex | 74.8 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| 74.4 | SWE-bench Verified, סוכן Prometheus-v1.2.1 · מדידה בלוח עצמאי | קישור | |
| Hy3 Preview | 74.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Step 3.5 Flash | 74.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| GLM-5.1 | 74.2 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GLM-4.7 | 73.8 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Kimi K2.5 | 73.8 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiMo-V2-Flash | 73.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Qwen3.6-35B-A3B | 73.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| GLM-5 | 72.8 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| GPT-5.2 | 72.8 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| Qwen3.5-27B | 72.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Qwen3.5-122B-A10B | 72.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Nemotron 3 Ultra | 71.9 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Kimi K2 | 71.2 | SWE-bench Verified, סוכן Lingxi v1.5 · מדידה בלוח עצמאי | קישור |
| Nemotron 3.5 Super VL 120B A12B | 71.1 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Grok Code Fast 1 | 70.8 | SWE-bench Verified, pass@1 · מקור לא מאומת | קישור |
| DeepSeek V3.2 | 70.0 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| Qwen3.5-35B-A3B | 69.2 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| GLM-4.6 | 68.2 | SWE-bench Verified, סוכן Undisclosed · מדידה בלוח עצמאי | קישור |
| DeepSeek V3.1 | 66.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| GPT-5.1 | 66.0 | SWE-bench Verified, סוכן mini-SWE-agent · מדידה בלוח עצמאי | קישור |
| Trinity-Large-Thinking | 63.2 | SWE-bench Verified, הרצה חיצונית · מקור לא מאומת | קישור |
| GLM-4.7-Flash | 59.2 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Qwen3.6 Plus | 57.9 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemini 2.5 Pro | 57.6 | SWE-bench Verified, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| 56.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור | |
| 52.8 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור | |
| K-Exaone | 49.4 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| DeepSeek-R1 | 49.2 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Granite 4.2 8B | 47.7 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Sarvam 105B | 45.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| DeepSeek V3 | 42.0 | SWE-bench Verified, pass@1 · מקור לא מאומת | קישור |
| DeepSeek V3 0324 | 42.0 | SWE-bench Verified, סוכן SWE-Exp, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| Sarvam 30B | 34.0 | SWE-bench Verified, pass@1 · דיווח של הספק | קישור |
| Gemini 2.5 Flash | 28.7 | SWE-bench Verified, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| 21.0 | SWE-bench Verified, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור | |
| 9.1 | SWE-bench Verified, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |