מבחן הערכה
MMMU-Pro
מדידה עצמאית · לוח השוואה
מה הוא מודד
הבנת תמונות ומסמכים חזותיים: קריאה והבנה של תמונות, שקפים ותרשימים לצד טקסט
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
הערות על המבחן
Core multimodal reference; verify exact ACL canonical URL in adapter metadata.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Gemini 3.1 Pro | 83.9 | MMMU-Pro · מקור לא מאומת | קישור |
| Gemini 3.5 Flash | 83.6 | MMMU-Pro · דיווח של הספק | קישור |
| GPT-5.6 Sol | 83.0 | MMMU-Pro · דיווח של הספק | קישור |
| Kimi K3 | 81.6 | MMMU-Pro · דיווח של הספק | קישור |
| GPT-5.4 | 81.2 | MMMU-Pro · דיווח של הספק | קישור |
| GPT-5.5 | 81.2 | MMMU-Pro · דיווח של הספק | קישור |
| Gemini 3 Pro | 81.0 | MMMU-Pro · דיווח של הספק | קישור |
| GPT-5.6 Terra | 80.7 | MMMU-Pro · דיווח של הספק | קישור |
| Muse Spark | 80.4 | MMMU-Pro · דיווח של הספק | קישור |
| GPT-5.2 | 79.5 | MMMU-Pro · דיווח של הספק | קישור |
| Kimi K2.6 | 79.4 | MMMU-Pro · דיווח של הספק | קישור |
| Qwen3.5 397B | 79.0 | MMMU-Pro · דיווח של הספק | קישור |
| Qwen3.7 Plus | 79.0 | MMMU-Pro · דיווח של הספק | קישור |
| Qwen3.6 Plus | 78.8 | MMMU-Pro · דיווח של הספק | קישור |
| Kimi K2.5 | 78.5 | MMMU-Pro · דיווח של הספק | קישור |
| Kimi K2.5 (Reasoning) | 78.5 | MMMU-Pro · דיווח של הספק | קישור |
| GPT-5.6 Luna | 78.4 | MMMU-Pro · דיווח של הספק | קישור |
| MiniMax M3 | 78.1 | MMMU-Pro · דיווח של הספק | קישור |
| Claude Opus 4.6 | 77.3 | MMMU-Pro · דיווח של הספק | קישור |
| 76.9 | MMMU-Pro · דיווח של הספק | קישור | |
| Qwen3.5-122B-A10B | 76.9 | MMMU-Pro · דיווח של הספק | קישור |
| 76.6 | MMMU-Pro · דיווח של הספק | קישור | |
| Step 5 Preview | 76.0 | MMMU-Pro · דיווח של הספק | קישור |
| Qwen3.6-27B | 75.8 | MMMU-Pro · דיווח של הספק | קישור |
| Qwen3.6-35B-A3B | 75.3 | MMMU-Pro · דיווח של הספק | קישור |
| Qwen3.5-35B-A3B | 75.1 | MMMU-Pro · דיווח של הספק | קישור |
| Qwen3.5-27B | 75.0 | MMMU-Pro · דיווח של הספק | קישור |
| Inkling-Small | 74.0 | MMMU-Pro · דיווח של הספק | קישור |
| Muse Glimmer 30B | 74.0 | MMMU-Pro · דיווח של הספק | קישור |
| Gemma 4 26B A4B | 73.8 | MMMU-Pro · דיווח של הספק | קישור |
| Inkling | 73.5 | MMMU-Pro · דיווח של הספק | קישור |
| 70.6 | MMMU-Pro · מקור לא מאומת | קישור | |
| 66.1 | MMMU-Pro · דיווח של הספק | קישור | |
| Command A+ | 63.0 | MMMU-Pro · דיווח של הספק | קישור |