מבחן הערכה
Terminal-Bench 2.1
בבדיקהזיקה מסחרית מוצהרת
מה הוא מודד
עבודה בשורת פקודה: עבודה בשורת פקודה מקצה לקצה · כתיבת קוד עצמאית: כתיבת קוד בתוך תהליך רב שלבי עם כלים
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
הערות על המבחן
New and practical. Infrastructure sensitivity means exact environment and trials are mandatory.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| GPT-5.6 Sol | 91.9 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| DeepSeek V4.1 Flash 1017 | 90.6 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| MiMo-V2.6-Pro | 89.9 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Gemini 3.8 Flash | 89.4 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Kimi K3 | 88.3 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| GLM-5.3 | 88.2 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| DeepSeek V4 Pro 0813 | 87.9 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| MiMo-V2.6-Flash | 87.6 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| GPT-5.6 Terra | 87.4 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Gemini 3.7 Flash | 85.8 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Step 5 Preview | 85.0 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| GPT-5.6 Luna | 84.7 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Claude Fable 5 | 84.3 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| GLM-5.3-Flash | 84.3 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Grok 4.5 | 83.3 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Muse Spark 1.2 | 82.9 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Ling 3.1 Flash | 81.2 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| GLM-5.2 | 81.0 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Claude Sonnet 5 | 80.4 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Beam 1.0 501B-A23B | 80.1 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Muse Spark 1.1 | 80.0 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Gemini 3.5 Flash | 76.2 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Claude Opus 4.8 | 74.6 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Qwen3.8-27B | 73.0 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Apodex 1.1 | 70.8 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Quasar 438B | 69.3 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Nemotron 3.5 Super VL 120B A12B | 66.7 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| MiniMax M3 | 66.0 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Inkling-Small | 64.7 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Inkling | 63.8 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Step 3.7 Flash | 59.5 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Nemotron 3 Ultra | 56.4 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Gemini 3.5 Flash-Lite | 54.0 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Muse Glimmer 30B | 51.7 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| Nemotron 3.5 Bolt 74B-A9B | 51.0 | Terminal-Bench 2.1 · דיווח של הספק | קישור |
| 23.5 | Terminal-Bench 2.1 · דיווח של הספק | קישור | |
| Granite 4.2 8B | 20.6 | Terminal-Bench 2.1 · דיווח של הספק | קישור |