מבחן הערכה
SWE-bench Multilingual
מדד משני
מה הוא מודד
קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי
מה הוא לא מודד
- אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.
הערות על המבחן
Useful for multilingual code/repository coverage; not a Hebrew-language benchmark.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Opus 5.5 | 93.9 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Claude Sonnet 5.5 | 90.3 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Claude Opus 5 | 89.5 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Claude Fable 5.1 | 89.1 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Ling 3.1 Flash | 88.5 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.8 | 84.4 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Qwen3.8-Flash-Next | 81.0 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Claude Sonnet 5 | 78.3 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Qwen3.7 Max | 78.3 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Beam 1.0 501B-A23B | 78.3 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Grok 4.5 | 78.0 | SWE-bench Multilingual, pass@1 · מקור לא מאומת | קישור |
| 77.5 | SWE-bench Multilingual, pass@1 · מקור לא מאומת | קישור | |
| Kimi K2.6 | 76.7 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| MiniMax M2.7 | 76.5 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| DeepSeek V4 Pro 0813 | 76.2 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Qwen3.7 Plus | 75.8 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Qwen3.6 Plus | 73.8 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Gemini 3 Flash | 72.7 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| Ling 3.0 Flash | 72.4 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Claude Opus 4.6 | 72.0 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| MiMo-V2-Flash | 71.7 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Qwen3.6-27B | 71.3 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| 70.7 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור | |
| GLM-5 | 69.7 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| Qwen3.5 397B | 69.3 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Gemini 3 Pro | 68.7 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| MiniMax M2.5 | 68.3 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| Nemotron 3.5 Super VL 120B A12B | 67.7 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Nemotron 3 Ultra | 67.7 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| Kimi K2.5 | 67.3 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| Qwen3.6-35B-A3B | 67.2 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| GPT-5.2 | 66.7 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| DeepSeek V3.2 | 59.0 | SWE-bench Multilingual, סוכן mini-SWE-agent, הרצה שאומתה · מדידה בלוח עצמאי | קישור |
| Kimi K2 | 47.3 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |
| 36.5 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור | |
| Granite 4.2 8B | 30.8 | SWE-bench Multilingual, pass@1 · דיווח של הספק | קישור |