מבחן הערכה
Humanity's Last Exam (HLE)
מדידה עצמאית · לוח השוואההערכה על ידי מודל אחרזיקה מסחרית מוצהרת
מה הוא מודד
ידע וחשיבה: ידע רב תחומי ויכולת חשיבה על שאלות מורכבות · הבנת תמונות ומסמכים חזותיים: קריאה והבנה של תמונות, שקפים ותרשימים לצד טקסט
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
- הציון נקבע בהערכה על ידי מודל אחר ולכן משקלו מוגבל בתוך היכולת.
הערות על המבחן
Strong frontier signal; judge-based components must be labeled and capped.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Fable 5.1 | 65.0 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Opus 5 | 64.7 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Opus 5.5 | 64.4 | Humanity's Last Exam, ללא כלים · דיווח של הספק | קישור |
| Muse Spark 1.1 | 62.1 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Opus 4.8 | 57.9 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Sonnet 5 | 57.4 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Sonnet 5.5 | 56.9 | Humanity's Last Exam, ללא כלים · דיווח של הספק | קישור |
| Apodex 1.1 | 56.1 | Humanity's Last Exam · דיווח של הספק | קישור |
| Kimi K3 | 56.0 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Opus 4.7 (Adaptive) | 54.7 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Opus 4.6 | 53.0 | Humanity's Last Exam · דיווח של הספק | קישור |
| GPT-5.5 | 52.2 | Humanity's Last Exam · דיווח של הספק | קישור |
| GPT-5.4 | 52.1 | Humanity's Last Exam · דיווח של הספק | קישור |
| Muse Spark | 50.4 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Sonnet 4.6 | 49.0 | Humanity's Last Exam · דיווח של הספק | קישור |
| MiMo-V2.5-Pro | 48.0 | Humanity's Last Exam · דיווח של הספק | קישור |
| Inkling-Small | 47.8 | Humanity's Last Exam · דיווח של הספק | קישור |
| Step 5 Preview | 46.5 | Humanity's Last Exam · דיווח של הספק | קישור |
| Inkling | 46.0 | Humanity's Last Exam · דיווח של הספק | קישור |
| Claude Haiku 5.5 | 45.9 | Humanity's Last Exam, ללא כלים · דיווח של הספק | קישור |
| Gemini 3.1 Pro | 45.4 | Humanity's Last Exam, ללא כלים · מקור לא מאומת | קישור |
| MiniMax M3.1 Flash | 43.4 | Humanity's Last Exam, ללא כלים · דיווח של הספק | קישור |
| DeepSeek V4 Pro 0813 | 42.7 | Humanity's Last Exam · דיווח של הספק | קישור |
| DeepSeek V4.1 Flash 1017 | 42.6 | Humanity's Last Exam · דיווח של הספק | קישור |
| 41.5 | Humanity's Last Exam · דיווח של הספק | קישור | |
| Qwen3.7 Max | 41.4 | Humanity's Last Exam · דיווח של הספק | קישור |
| GLM-5.2 | 40.5 | Humanity's Last Exam · דיווח של הספק | קישור |
| Gemini 3.5 Flash | 40.2 | Humanity's Last Exam · דיווח של הספק | קישור |
| 37.7 | Humanity's Last Exam · דיווח של הספק | קישור | |
| Ling 3.1 Flash | 37.4 | Humanity's Last Exam · דיווח של הספק | קישור |
| Beam 1.0 501B-A23B | 36.0 | Humanity's Last Exam, ללא כלים · דיווח של הספק | קישור |
| Qwen3.8-Flash-Next | 35.9 | Humanity's Last Exam · דיווח של הספק | קישור |
| Kimi K2.6 | 34.7 | Humanity's Last Exam · דיווח של הספק | קישור |
| Qwen3.7 Plus | 34.7 | Humanity's Last Exam · דיווח של הספק | קישור |
| GLM-5.1 | 31.0 | Humanity's Last Exam · דיווח של הספק | קישור |
| 30.8 | Humanity's Last Exam · מקור לא מאומת | קישור | |
| Qwen3.8-27B | 30.8 | Humanity's Last Exam · דיווח של הספק | קישור |
| GLM-5 | 30.5 | Humanity's Last Exam · דיווח של הספק | קישור |
| Kimi K2.5 | 30.1 | Humanity's Last Exam · דיווח של הספק | קישור |
| Nemotron 3.5 Super VL 120B A12B | 29.2 | Humanity's Last Exam · דיווח של הספק | קישור |
| Qwen3.6 Plus | 28.8 | Humanity's Last Exam · דיווח של הספק | קישור |
| Qwen3.5 397B | 28.7 | Humanity's Last Exam · דיווח של הספק | קישור |
| MiniMax M2.7 | 28.0 | Humanity's Last Exam · מקור לא מאומת | קישור |
| Nemotron 3 Ultra | 26.7 | Humanity's Last Exam · דיווח של הספק | קישור |
| 26.5 | Humanity's Last Exam · דיווח של הספק | קישור | |
| Nemotron 3.5 Bolt 74B-A9B | 25.3 | Humanity's Last Exam, ללא כלים · דיווח של הספק | קישור |
| GLM-4.7 | 24.8 | Humanity's Last Exam · דיווח של הספק | קישור |
| Qwen3.6-27B | 24.0 | Humanity's Last Exam · דיווח של הספק | קישור |
| Ling 3.0 Flash | 22.7 | Humanity's Last Exam · דיווח של הספק | קישור |
| Qwen3.6-35B-A3B | 21.4 | Humanity's Last Exam · דיווח של הספק | קישור |
| Gemini 2.5 Pro | 18.8 | Humanity's Last Exam · דיווח של הספק | קישור |
| Gemma 4 26B A4B | 17.2 | Humanity's Last Exam · דיווח של הספק | קישור |
| DeepSeek V3.1 (Reasoning) | 15.9 | Humanity's Last Exam · דיווח של הספק | קישור |
| 10.5 | Humanity's Last Exam, ללא כלים · דיווח של הספק | קישור | |
| Kimi K2 | 4.7 | Humanity's Last Exam · דיווח של הספק | קישור |