מבחן הערכה
IFBench
מדידה עצמאית · לוח השוואה
מה הוא מודד
עמידה בהוראות: ביצוע מדויק של דרישות פורמט ואילוצים
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
הערות על המבחן
Preferred instruction-following benchmark for frontier ranking; deterministic verification.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Inkling-Small | 82.2 | IFBench · דיווח של הספק | קישור |
| Nemotron 3 Ultra | 81.7 | IFBench · דיווח של הספק | קישור |
| Qwen3.8-Flash-Next | 81.3 | IFBench · דיווח של הספק | קישור |
| Inkling | 79.8 | IFBench · דיווח של הספק | קישור |
| Beam 1.0 501B-A23B | 79.6 | IFBench · דיווח של הספק | קישור |
| Qwen3.8-27B | 79.5 | IFBench · דיווח של הספק | קישור |
| Granite 4.2 8B | 79.3 | IFBench · דיווח של הספק | קישור |
| Qwen3.7 Max | 79.1 | IFBench · דיווח של הספק | קישור |
| Qwen3.7 Plus | 79.1 | IFBench · דיווח של הספק | קישור |
| Mercury 2.5 | 77.0 | IFBench · דיווח של הספק | קישור |
| Muse Glimmer 30B | 77.0 | IFBench · דיווח של הספק | קישור |
| Qwen3.5 397B | 76.5 | IFBench · דיווח של הספק | קישור |
| Qwen3.6 Plus | 75.8 | IFBench · דיווח של הספק | קישור |
| Ling 3.0 Flash | 74.5 | IFBench · דיווח של הספק | קישור |
| Nemotron 3 Nano Omni 30B A3B | 74.2 | IFBench · דיווח של הספק | קישור |
| 72.9 | IFBench · דיווח של הספק | קישור | |
| Mercury 2 | 71.3 | IFBench · דיווח של הספק | קישור |
| Nemotron 3.5 Super VL 120B A12B | 70.9 | IFBench · דיווח של הספק | קישור |
| LFM2.5-2.6B | 59.2 | IFBench · דיווח של הספק | קישור |
| 58.0 | IFBench · מקור לא מאומת | קישור | |
| LFM2.5-8B-A1B | 56.5 | IFBench · דיווח של הספק | קישור |
| Solar Pro 3 | 55.8 | IFBench · דיווח של הספק | קישור |
| Trinity-Large-Thinking | 52.3 | IFBench · דיווח של הספק | קישור |