Muse Spark 1.1
מודל סגור של מטא עם חלון הקשר של 1,000K טוקנים. ציון האיכות הכולל שלו במבחני ההערכה עומד על 66.0.
כל תוצאות המבחנים (19)
הבנה חזותית
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| CharXiv | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 88.4 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: ScreenSpot Pro · OfficeQA Pro · MathVision · ERQA · ZeroBench · VideoMMMU
שימוש בכלים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| MCP Atlas | מדד משני לפי דיווח היצרן | 88.1 | 0.42 | קישור למקור |
| Toolathlon | מדד משני לפי דיווח היצרן | 75.6 | 0.42 | קישור למקור |
לא נמצאו תוצאות עבור: Berkeley Function Calling Leaderboard (BFCL) V4 · Claw-Eval
עבודה בשורת פקודה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Terminal-Bench 2.0 | מדידה עצמאית · מתעדכן לפי דיווח היצרן | 80.0 | 0.85 | קישור למקור |
לא נמצאו תוצאות עבור: Terminal-Bench 3.0
ביצוע משימות מרובות שלבים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Terminal-Bench 2.0 | מדידה עצמאית · מתעדכן לפי דיווח היצרן | 80.0 | 0.85 | קישור למקור |
| OSWorld | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 80.8 | 0.72 | קישור למקור |
| MCP Atlas | מדד משני לפי דיווח היצרן | 88.1 | 0.42 | קישור למקור |
| Toolathlon | מדד משני לפי דיווח היצרן | 75.6 | 0.42 | קישור למקור |
| JobBench | מדד משניהערכה על ידי מודל אחר לפי דיווח היצרן | 54.7 | 0.42 | קישור למקור |
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 84.9 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: Berkeley Function Calling Leaderboard (BFCL) V4 · Terminal-Bench 3.0 · AndroidWorld · WideResearch · Agents' Last Exam · AutomationBench · MLE-bench · Gert Labs · Claw-Eval
הפעלת מחשב
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| OSWorld | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 80.8 | 0.72 | קישור למקור |
| WebArena-Verified | מדד משני לפי דיווח היצרן | 69.0 | 0.42 | קישור למקור |
לא נמצאו תוצאות עבור: ScreenSpot Pro · AndroidWorld
מחקר ברשת
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| WebArena-Verified | מדד משני לפי דיווח היצרן | 69.0 | 0.42 | קישור למקור |
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 84.9 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: WideResearch · Agents' Last Exam · BrowseComp
ניתוח נתונים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| LiveBench | מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת לוח עצמאי | 66.0 | 1.00 | קישור למקור |
| CharXiv | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 88.4 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench Data Analysis
דיוק עובדתי
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| SimpleQA Verified | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לוח עצמאי | 57.8 | 0.40 | קישור למקור |
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 84.9 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: SimpleQA
כתיבת קוד עצמאית
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| LiveBench | מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת לוח עצמאי | 66.0 | 1.00 | קישור למקור |
| Terminal-Bench 2.0 | מדידה עצמאית · מתעדכן לפי דיווח היצרן | 80.0 | 0.85 | קישור למקור |
| SWE-bench Pro | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 61.5 | 0.72 | קישור למקור |
| DeepSWE | מדד משני לפי דיווח היצרן | 53.3 | 0.42 | קישור למקור |
לא נמצאו תוצאות עבור: Terminal-Bench 3.0 · LiveBench Agentic Coding · CursorBench · Vibe Code Bench
עמידה בהוראות
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| LiveBench | מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת לוח עצמאי | 66.0 | 1.00 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench Instruction Following · IFBench · IFEval · MAXIFE
שפה וניסוח
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| LiveBench | מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת לוח עצמאי | 66.0 | 1.00 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench Language · Hebrew LLM Leaderboard · מבחן העברית של האתר · Global-MMLU (GMMLU) · INCLUDE · MMLU-ProX
מתמטיקה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| LiveBench | מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת לוח עצמאי | 66.0 | 1.00 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench Mathematics · AIME 2026 · HMMT Feb 2026 · MATH Level 5 · MathVision · FrontierMath v2
ידע וחשיבה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| LiveBench | מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת לוח עצמאי | 66.0 | 1.00 | קישור למקור |
| Humanity's Last Exam (HLE) | מדידה עצמאית · לוח השוואההערכה על ידי מודל אחרזיקה מסחרית מוצהרת לפי דיווח היצרן | 62.1 | 0.33 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench Reasoning · MMLU-Pro · GPQA / GPQA Diamond · SuperGPQA · MMLU-Redux
הבנת תמונות ומסמכים חזותיים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Humanity's Last Exam (HLE) | מדידה עצמאית · לוח השוואההערכה על ידי מודל אחרזיקה מסחרית מוצהרת לפי דיווח היצרן | 62.1 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: MMMU-Pro · MMMU
קוד ופיתוח תוכנה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| LiveBench | מדידה עצמאית · מתעדכןזיקה מסחרית מוצהרת לוח עצמאי | 66.0 | 1.00 | קישור למקור |
| SciCode | מדידה עצמאית · לוח השוואה לוח עצמאי | 58.8 | 0.85 | קישור למקור |
| SWE-bench Pro | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 61.5 | 0.72 | קישור למקור |
| DeepSWE | מדד משני לפי דיווח היצרן | 53.3 | 0.42 | קישור למקור |
לא נמצאו תוצאות עבור: SWE-bench Verified · SWE-rebench · LiveCodeBench · Aider Polyglot · LiveBench Coding · LiveBench Agentic Coding · MirrorCode · SWE-bench Lite · CursorBench · SWE-bench Multilingual · Vibe Code Bench · NL2Repo · FrontierCode 1.1 · ProgramBench
בריאות ורפואה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| HealthBench | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 59.3 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: MedXpertQA
חשיבה מדעית
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| SciCode | מדידה עצמאית · לוח השוואה לוח עצמאי | 58.8 | 0.85 | קישור למקור |
לא נמצאו תוצאות עבור: GPQA / GPQA Diamond · SuperGPQA · CritPt
חשיבה פיננסית
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Finance Agent v2 | מדידה בתחום · בהסתייגותהערכה על ידי מודל אחרזיקה מסחרית מוצהרת לפי דיווח היצרן | 57.2 | 0.59 | קישור למקור |
תהליכים פיננסיים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Finance Agent v2 | מדידה בתחום · בהסתייגותהערכה על ידי מודל אחרזיקה מסחרית מוצהרת לפי דיווח היצרן | 57.2 | 0.59 | קישור למקור |
תוצרים מקצועיים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| JobBench | מדד משניהערכה על ידי מודל אחר לפי דיווח היצרן | 54.7 | 0.42 | קישור למקור |
לא נמצאו תוצאות עבור: Gert Labs
מסמכים ארוכים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| MRCR 1M | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 54.1 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: LongBench v2