מבחן הערכה
OSWorld
מדידה עצמאית · לוח השוואה
מה הוא מודד
הפעלת מחשב: עבודה בממשק של מערכת הפעלה ואפליקציות · ביצוע משימות מרובות שלבים: ביצוע משימה רב שלבית מקצה לקצה
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
הערות רישום
Record OS image, environment version, scaffold and attempts exactly.
תוצאות שנקלטו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Fable 5 | 85.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Qwen3.8-27B | 84.3 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Claude Opus 4.8 | 83.4 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Gemini 3.6 Flash | 83.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Muse Spark 1.1 | 80.8 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-5.5 | 78.7 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Gemini 3.5 Flash | 78.4 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Claude Opus 4.7 (Adaptive) | 78.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-5.4 | 75.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Gemini 3.5 Flash-Lite | 74.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Claude Opus 4.6 | 74.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Qwen3.7 Plus | 73.3 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Kimi K2.6 | 73.1 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Claude Opus 5 | 70.6 | OSWorld 2.0 · דיווח של הספק | קישור |
| MiniMax M3 | 70.1 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| GPT-5.6 Sol | 62.6 | OSWorld 2.0 · דיווח של הספק | קישור |
| GPT-5.6 Terra | 50.2 | OSWorld 2.0 · דיווח של הספק | קישור |
| GPT-5.6 Luna | 45.6 | OSWorld 2.0 · דיווח של הספק | קישור |
| GPT-5.4 nano | 39.0 | OSWorld-Verified, הפעלת מערכת הפעלה · דיווח של הספק | קישור |
| Qwen3.8-Flash-Next | 19.4 | OSWorld 2.0 · דיווח של הספק | קישור |
| Claude Opus 4.7 | 13.9 | OSWorld 2.0 · מדידה בלוח עצמאי | קישור |