מבחן הערכה
JobBench
מדד משניהערכה על ידי מודל אחר
מה הוא מודד
תוצרים מקצועיים: תוצרי עבודה מקצועיים שלמים · ביצוע משימות מרובות שלבים: ביצוע משימה רב שלבית מקצה לקצה
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
- הציון נקבע בהערכה על ידי מודל אחר ולכן משקלו מוגבל בתוך היכולת.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Muse Wonder Full | 75.3 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Muse Wonder | 70.5 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| MiMo-V2.6-Pro | 62.0 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Muse Spark Open | 61.8 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| MiMo-V2.6-Flash | 61.2 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Step 5 Preview | 59.0 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Qwen3.8-Flash-Next | 55.7 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Muse Spark 1.1 | 54.7 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Kimi K3 | 52.9 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Claude Opus 4.7 (Adaptive) | 45.9 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| GPT-5.5 | 42.7 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| GPT-5.4 | 38.9 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Claude Sonnet 4.6 | 36.9 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Claude Opus 4.6 | 36.7 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| GPT-5.2 | 34.3 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| GPT-5.3 Codex | 33.7 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Qwen3.8-27B | 33.4 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| 32.3 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור | |
| MiniMax M2.5 | 14.8 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Gemini 3 Flash | 11.4 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Gemini 3 Pro | 11.4 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Kimi K2.5 | 8.7 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| 8.5 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |