מבחן הערכה
ProgramBench
מדד משני
מה הוא מודד
קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי
מה הוא לא מודד
- אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Opus 5 | 93.0 | ProgramBench · דיווח של הספק | קישור |
| Claude Opus 5.5 | 91.2 | ProgramBench · דיווח של הספק | קישור |
| Claude Fable 5.1 | 87.6 | ProgramBench · דיווח של הספק | קישור |
| Step 5 Preview | 80.5 | ProgramBench · דיווח של הספק | קישור |
| Claude Sonnet 5.5 | 79.7 | ProgramBench · דיווח של הספק | קישור |
| Kimi K3 | 77.8 | ProgramBench · דיווח של הספק | קישור |
| GLM-5.2 | 63.7 | ProgramBench · דיווח של הספק | קישור |
| Muse Wonder Full | 59.0 | ProgramBench · דיווח של הספק | קישור |
| Kimi K2.7 Code | 53.6 | ProgramBench · דיווח של הספק | קישור |
| Muse Wonder | 50.0 | ProgramBench · דיווח של הספק | קישור |
| DeepSeek V4.1 Flash 1017 | 29.1 | ProgramBench · דיווח של הספק | קישור |
| MiMo-V2.6-Pro | 26.5 | ProgramBench · דיווח של הספק | קישור |
| MiMo-V2.6-Flash | 26.0 | ProgramBench · דיווח של הספק | קישור |
| GLM-5.3 | 19.0 | ProgramBench · דיווח של הספק | קישור |