מבחן הערכה
Agents' Last Exam
מדד משני
מה הוא מודד
ביצוע משימות מרובות שלבים: ביצוע משימה רב שלבית מקצה לקצה · מחקר ברשת: חיפוש, איסוף ואימות מידע מקוון
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| GPT-6 Astra | 59.3 | Agents' Last Exam · דיווח של הספק | קישור |
| GPT-6 Sol | 56.4 | Agents' Last Exam · דיווח של הספק | קישור |
| Qwen3.8-Flash-Next | 51.2 | Agents' Last Exam · דיווח של הספק | קישור |
| Qwen3.8-27B | 42.9 | Agents' Last Exam · דיווח של הספק | קישור |
| Gemini 4 Argon | 39.5 | Agents' Last Exam · דיווח של הספק | קישור |
| DeepSeek V4.1 Flash 1017 | 35.4 | Agents' Last Exam · דיווח של הספק | קישור |
| MiMo-V2.6-Pro | 31.6 | Agents' Last Exam · דיווח של הספק | קישור |
| MiniMax M3.1 Flash | 29.6 | Agents' Last Exam · דיווח של הספק | קישור |
| Step 5 Preview | 29.5 | Agents' Last Exam · דיווח של הספק | קישור |
| GLM-5.3 | 28.5 | Agents' Last Exam · דיווח של הספק | קישור |
| MiMo-V2.6-Flash | 27.6 | Agents' Last Exam · דיווח של הספק | קישור |
| Gemini 3.7 Flash | 26.3 | Agents' Last Exam · דיווח של הספק | קישור |
| GLM-5.3-Flash | 26.3 | Agents' Last Exam · דיווח של הספק | קישור |
| DeepSeek V4 Pro 0813 | 25.7 | Agents' Last Exam · דיווח של הספק | קישור |