מבחן הערכה
MMLU-Pro
מדידה עצמאית · לוח השוואה
מה הוא מודד
ידע וחשיבה: ידע רב תחומי ויכולת חשיבה על שאלות מורכבות
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
הערות על המבחן
More discriminative and prompt-stable successor/reference to MMLU; still public/static.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Qwen3.7 Max | 89.6 | MMLU-Pro · דיווח של הספק | קישור |
| 89.5 | MMLU-Pro · מקור לא מאומת | קישור | |
| Qwen3.6 Plus | 88.5 | MMLU-Pro · דיווח של הספק | קישור |
| Qwen3.7 Plus | 88.5 | MMLU-Pro · דיווח של הספק | קישור |
| Qwen3.5 397B | 87.8 | MMLU-Pro · דיווח של הספק | קישור |
| DeepSeek V4 Pro 0813 | 87.5 | MMLU-Pro · דיווח של הספק | קישור |
| Kimi K2.5 | 87.1 | MMLU-Pro · דיווח של הספק | קישור |
| Kimi K2.5 (Reasoning) | 87.1 | MMLU-Pro · דיווח של הספק | קישור |
| Nemotron 3 Ultra | 86.8 | MMLU-Pro · דיווח של הספק | קישור |
| Qwen3.5-122B-A10B | 86.7 | MMLU-Pro · דיווח של הספק | קישור |
| Qwen3.6-27B | 86.2 | MMLU-Pro · דיווח של הספק | קישור |
| Qwen3.5-27B | 86.1 | MMLU-Pro · דיווח של הספק | קישור |
| GLM-5 | 85.7 | MMLU-Pro · מקור לא מאומת | קישור |
| Qwen3.5-35B-A3B | 85.3 | MMLU-Pro · דיווח של הספק | קישור |
| 85.2 | MMLU-Pro · דיווח של הספק | קישור | |
| Qwen3.6-35B-A3B | 85.2 | MMLU-Pro · דיווח של הספק | קישור |
| MiMo-V2-Flash | 84.9 | MMLU-Pro · מקור לא מאומת | קישור |
| DeepSeek V3.1 (Reasoning) | 84.8 | MMLU-Pro · דיווח של הספק | קישור |
| GLM-4.7 | 84.3 | MMLU-Pro · מקור לא מאומת | קישור |
| DeepSeek-R1 | 84.0 | MMLU-Pro · דיווח של הספק | קישור |
| DeepSeek V3.1 | 83.7 | MMLU-Pro · דיווח של הספק | קישור |
| Trinity-Large-Thinking | 83.4 | MMLU-Pro, הרצה חיצונית · מקור לא מאומת | קישור |
| Gemma 4 26B A4B | 82.6 | MMLU-Pro · דיווח של הספק | קישור |
| Claude Opus 4.6 | 82.0 | MMLU-Pro · מקור לא מאומת | קישור |
| Exaone 4.0 32B | 81.8 | MMLU-Pro · דיווח של הספק | קישור |
| Sarvam 105B | 81.7 | MMLU-Pro · דיווח של הספק | קישור |
| 81.6 | MMLU-Pro · דיווח של הספק | קישור | |
| Kimi K2 | 81.1 | MMLU-Pro · דיווח של הספק | קישור |
| MiniMax M2.7 | 80.8 | MMLU-Pro, הרצה חיצונית · מקור לא מאומת | קישור |
| Sarvam 30B | 80.0 | MMLU-Pro · דיווח של הספק | קישור |
| Claude Sonnet 4.6 | 79.2 | MMLU-Pro · מקור לא מאומת | קישור |
| Nemotron 3 Nano Omni 30B A3B | 77.3 | MMLU-Pro · דיווח של הספק | קישור |
| Celeris-1 | 75.9 | MMLU-Pro · דיווח של הספק | קישור |
| DeepSeek V3 | 75.9 | MMLU-Pro · מקור לא מאומת | קישור |
| 75.2 | MMLU-Pro, הרצה חיצונית · דיווח של הספק | קישור | |
| Granite 4.2 8B | 74.0 | MMLU-Pro · דיווח של הספק | קישור |
| Granite-4.0-H-1B | 32.9 | MMLU-Pro · דיווח של הספק | קישור |
| Granite-4.0-H-350M | 14.4 | MMLU-Pro · דיווח של הספק | קישור |
| Granite-4.0-350M | 12.1 | MMLU-Pro · דיווח של הספק | קישור |