מבחן הערכה
IFEval
מדד משניזיקה מסחרית מוצהרת
מה הוא מודד
עמידה בהוראות: ביצוע מדויק של דרישות פורמט ואילוצים
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
הערות על המבחן
Reproducible and useful, but older/narrower than IFBench; commercial affiliation disclosed.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Qwen3.5-27B | 95.0 | IFEval · דיווח של הספק | קישור |
| Qwen3.7 Plus | 94.6 | IFEval · דיווח של הספק | קישור |
| Qwen3.6 Plus | 94.3 | IFEval · דיווח של הספק | קישור |
| Qwen3.7 Max | 94.3 | IFEval · דיווח של הספק | קישור |
| Kimi K2.5 | 93.9 | IFEval · מקור לא מאומת | קישור |
| Qwen3.5-122B-A10B | 93.4 | IFEval · דיווח של הספק | קישור |
| GLM-5 | 92.6 | IFEval · מקור לא מאומת | קישור |
| Qwen3.5 397B | 92.6 | IFEval · דיווח של הספק | קישור |
| Qwen3.5-35B-A3B | 91.9 | IFEval · דיווח של הספק | קישור |
| LFM2.5-8B-A1B | 91.8 | IFEval · דיווח של הספק | קישור |
| 90.9 | IFEval · מקור לא מאומת | קישור | |
| Kimi K2 | 89.8 | IFEval · דיווח של הספק | קישור |
| 88.6 | IFEval · דיווח של הספק | קישור | |
| DeepSeek V3 | 86.1 | IFEval · מקור לא מאומת | קישור |
| Sarvam 105B | 84.8 | IFEval · דיווח של הספק | קישור |
| DeepSeek-R1 | 83.3 | IFEval · דיווח של הספק | קישור |
| Celeris-1 | 80.8 | IFEval · דיווח של הספק | קישור |
| Granite-4.0-H-1B | 78.5 | IFEval · דיווח של הספק | קישור |
| Granite-4.0-H-350M | 61.6 | IFEval · דיווח של הספק | קישור |
| Granite-4.0-350M | 55.4 | IFEval · דיווח של הספק | קישור |