מבחן הערכה
JobBench
מדד משניהערכה על ידי מודל אחר
מה הוא מודד
תוצרים מקצועיים: תוצרי עבודה מקצועיים שלמים · ביצוע משימות מרובות שלבים: ביצוע משימה רב שלבית מקצה לקצה
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
- הציון נקבע בהערכה על ידי מודל אחר ולכן משקלו מוגבל בתוך היכולת.
תוצאות שנקלטו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Qwen3.8-Flash-Next | 55.7 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Muse Spark 1.1 | 54.7 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Kimi K3 | 52.9 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| Claude Opus 4.7 (Adaptive) | 45.9 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| GPT-5.5 | 42.7 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| GPT-5.4 | 38.9 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Claude Opus 4.6 | 36.7 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Qwen3.8-27B | 33.4 | JobBench, משימות עבודה אמיתיות · דיווח של הספק | קישור |
| MiniMax M2.5 | 14.8 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Gemini 3 Pro | 11.4 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |
| Kimi K2.5 | 8.7 | JobBench, משימות עבודה אמיתיות · מדידה בלוח עצמאי | קישור |