מבחן הערכה
OSWorld
מדידה עצמאית · לוח השוואה
מה הוא מודד
הפעלת מחשב: עבודה בממשק של מערכת הפעלה ואפליקציות · ביצוע משימות מרובות שלבים: ביצוע משימה רב שלבית מקצה לקצה
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
הערות על המבחן
Record OS image, environment version, scaffold and attempts exactly.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Fable 5 | 85.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Qwen3.8-27B | 84.3 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Claude Opus 4.8 | 83.4 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Gemini 3.6 Flash | 83.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| MiMo-V2.6-Pro | 82.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Claude Sonnet 5 | 81.2 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| MiMo-V2.6-Flash | 80.8 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Muse Spark 1.1 | 80.8 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-5.5 | 78.7 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Gemini 3.5 Flash | 78.4 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Claude Opus 4.7 (Adaptive) | 78.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-5.4 | 75.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Claude Opus 4.6 | 74.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Gemini 3.5 Flash-Lite | 74.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Qwen3.7 Plus | 73.3 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Kimi K2.6 | 73.1 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-6 Astra | 72.6 | OSWorld 2.0 · דיווח של הספק | קישור |
| Claude Sonnet 4.6 | 72.1 | OSWorld-Verified, הפעלת מערכת הפעלה · מדידה בלוח עצמאי | קישור |
| 72.1 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור | |
| Claude Opus 5 | 70.6 | OSWorld 2.0 · דיווח של הספק | קישור |
| MiniMax M3 | 70.1 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Gemini 4 Argon | 69.2 | OSWorld 2.0 · דיווח של הספק | קישור |
| 66.3 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור | |
| Muse Glimmer 30B | 65.9 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-5.3 Codex | 64.7 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Kimi K2.5 | 63.3 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Kimi K2.5 (Reasoning) | 63.3 | OSWorld-Verified, הפעלת מערכת הפעלה · מדידה בלוח עצמאי | קישור |
| GPT-5.6 Sol | 62.6 | OSWorld 2.0 · דיווח של הספק | קישור |
| Qwen3.5 397B | 62.2 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| MiniMax M3.1 Flash | 61.7 | OSWorld 2.0 · דיווח של הספק | קישור |
| GPT-6 Sol | 60.5 | OSWorld 2.0 · דיווח של הספק | קישור |
| Gemini 3.8 Flash | 59.0 | OSWorld 2.0 · דיווח של הספק | קישור |
| Qwen3.5-122B-A10B | 58.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Qwen3.5-27B | 56.2 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Qwen3.5-35B-A3B | 54.5 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-5.6 Terra | 50.2 | OSWorld 2.0 · דיווח של הספק | קישור |
| Claude Opus 5.5 | 48.7 | OSWorld 2.0 · דיווח של הספק | קישור |
| Gemini 3.7 Flash | 47.9 | OSWorld 2.0 · דיווח של הספק | קישור |
| GPT-5.2 | 47.3 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-5.6 Luna | 45.6 | OSWorld 2.0 · דיווח של הספק | קישור |
| Claude Fable 5.1 | 41.7 | OSWorld 2.0 · דיווח של הספק | קישור |
| 39.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור | |
| Qwen3.8-Flash-Next | 19.4 | OSWorld 2.0 · דיווח של הספק | קישור |
| Claude Opus 4.7 | 13.9 | OSWorld 2.0 · מדידה בלוח עצמאי | קישור |