מבחן הערכה
SWE-bench Pro
מדידה עצמאית · לוח השוואה
מה הוא מודד
קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי · כתיבת קוד עצמאית: כתיבת קוד בתוך תהליך רב שלבי עם כלים
מה הוא לא מודד
- אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.
הערות על המבחן
משימות הנדסה ארוכות יותר מ SWE-bench Verified, בריפוזיטוריז מסחריים.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Opus 5.5 | 89.9 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Claude Sonnet 5.5 | 81.3 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Claude Fable 5.1 | 81.2 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Claude Fable 5 | 80.0 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Claude Opus 5 | 79.2 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.8 | 69.2 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Ling 3.1 Flash | 68.7 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Beam 1.0 501B-A23B | 66.1 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Grok 4.5 | 64.7 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GPT-5.6 Sol | 64.6 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.7 (Adaptive) | 64.3 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GPT-5.6 Terra | 63.4 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Claude Sonnet 5 | 63.2 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GPT-5.6 Luna | 62.7 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen3.8-Flash-Next | 62.5 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GLM-5.2 | 62.1 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen3.8-27B | 61.7 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Muse Spark 1.1 | 61.5 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen3.7 Max | 60.6 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| MiniMax M3 | 59.0 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GPT-5.5 | 58.6 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Kimi K2.6 | 58.6 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GLM-5.1 | 58.4 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GPT-5.4 | 57.7 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen3.7 Plus | 57.6 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen 3.6 Max (preview) | 57.3 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| MiMo-V2.5-Pro | 57.2 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| 57.1 | SWE-bench Pro, pass@1 · מקור לא מאומת | קישור | |
| GPT-5.3 Codex | 56.8 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Ling 3.0 Flash | 56.6 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen3.6 Plus | 56.6 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Step 3.7 Flash | 56.3 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| MiniMax M2.7 | 56.2 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Inkling-Small | 55.9 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GPT-5.2 | 55.6 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| DeepSeek V4 Pro 0813 | 55.4 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Gemini 3.5 Flash | 55.1 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| GLM-5 | 55.1 | SWE-bench Pro, pass@1 · מקור לא מאומת | קישור |
| Inkling | 54.3 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Gemini 3.5 Flash-Lite | 54.2 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen3.6-27B | 53.5 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.6 | 53.4 | SWE-bench Pro, pass@1 · מקור לא מאומת | קישור |
| Muse Spark | 52.4 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Nemotron 3.5 Super VL 120B A12B | 51.8 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Muse Glimmer 30B | 51.2 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen3.5 397B | 50.9 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Kimi K2.5 | 50.7 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Qwen3.6-35B-A3B | 49.5 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |
| Granite 4.2 8B | 19.1 | SWE-bench Pro, pass@1 · דיווח של הספק | קישור |