מערכת שנבדקה
Step 3.7 Flash
נבדק כמודל APIמודל פתוחStepFun
מודל פתוח של StepFun עם חלון הקשר של 256K טוקנים. ציון האיכות הכולל שלו במבחני ההערכה עומד על 43.5.
ציונים לפי יכולת
דיוק עובדתי
כיסוי 28%
92.8
מחקר ברשת
כיסוי 30%
84.3
ביצוע משימות מרובות שלבים
כיסוי 26%
62.3
עבודה בשורת פקודה
כיסוי 43%
59.5
כתיבת קוד עצמאית
כיסוי 24%
58.0
שימוש בכלים
כיסוי 32%
57.3
תוצרים מקצועיים
כיסוי 44%
51.6
קוד ופיתוח תוכנה
כיסוי 11%
47.5
חשיבה מדעית
כיסוי 28%
40.0
תוצאות
כל תוצאות המבחנים (10)
דיוק עובדתי
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 92.8 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: SimpleQA · SimpleQA Verified
מחקר ברשת
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| BrowseComp | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 75.8 | 0.34 | קישור למקור |
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 92.8 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: WebArena-Verified · WideResearch · Agents' Last Exam
ביצוע משימות מרובות שלבים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Terminal-Bench 2.0 | מדידה עצמאית · מתעדכן לפי דיווח היצרן | 59.5 | 0.85 | קישור למקור |
| Toolathlon | מדד משני לפי דיווח היצרן | 49.5 | 0.42 | קישור למקור |
| Gert Labs | מדד משני · בהסתייגותהערכה על ידי מודל אחרזיקה מסחרית מוצהרת לוח עצמאי | 51.6 | 0.40 | קישור למקור |
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 92.8 | 0.34 | קישור למקור |
| Claw-Eval | מדד משני · בהסתייגות לפי דיווח היצרן | 67.1 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: Berkeley Function Calling Leaderboard (BFCL) V4 · Terminal-Bench 3.0 · OSWorld · MCP Atlas · AndroidWorld · WideResearch · Agents' Last Exam · AutomationBench · JobBench · MLE-bench
עבודה בשורת פקודה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Terminal-Bench 2.0 | מדידה עצמאית · מתעדכן לפי דיווח היצרן | 59.5 | 0.85 | קישור למקור |
לא נמצאו תוצאות עבור: Terminal-Bench 3.0
כתיבת קוד עצמאית
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Terminal-Bench 2.0 | מדידה עצמאית · מתעדכן לפי דיווח היצרן | 59.5 | 0.85 | קישור למקור |
| SWE-bench Pro | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 56.3 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench · Terminal-Bench 3.0 · LiveBench Agentic Coding · CursorBench · Vibe Code Bench · DeepSWE
שימוש בכלים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Toolathlon | מדד משני לפי דיווח היצרן | 49.5 | 0.42 | קישור למקור |
| Claw-Eval | מדד משני · בהסתייגות לפי דיווח היצרן | 67.1 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: Berkeley Function Calling Leaderboard (BFCL) V4 · MCP Atlas
תוצרים מקצועיים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| Gert Labs | מדד משני · בהסתייגותהערכה על ידי מודל אחרזיקה מסחרית מוצהרת לוח עצמאי | 51.6 | 0.40 | קישור למקור |
לא נמצאו תוצאות עבור: JobBench
קוד ופיתוח תוכנה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| SciCode | מדידה עצמאית · לוח השוואה לוח עצמאי | 40.0 | 0.85 | קישור למקור |
| SWE-bench Pro | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 56.3 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench · SWE-bench Verified · SWE-rebench · LiveCodeBench · Aider Polyglot · LiveBench Coding · LiveBench Agentic Coding · MirrorCode · SWE-bench Lite · CursorBench · SWE-bench Multilingual · Vibe Code Bench · NL2Repo · DeepSWE · FrontierCode 1.1 · ProgramBench
חשיבה מדעית
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| SciCode | מדידה עצמאית · לוח השוואה לוח עצמאי | 40.0 | 0.85 | קישור למקור |
לא נמצאו תוצאות עבור: GPQA / GPQA Diamond · SuperGPQA · CritPt
מערכות נוספות
להשוואה
Apodex 1.1Celeris-1ChatGPTClaudeClaude CodeClaude Fable 5Claude Fable 5.1Claude Haiku 5.5Claude Opus 4.6Claude Opus 4.7Claude Opus 4.7 (Adaptive)Claude Opus 4.8Claude Opus 5Claude Opus 5.5Claude Sonnet 4.6Claude Sonnet 5Claude Sonnet 5.5Command A+CursorDeepSeek-R1DeepSeek R1 Distill Qwen 32BDeepSeek V3DeepSeek V3 0324DeepSeek V3.1DeepSeek V3.1 (Reasoning)DeepSeek V3.2DeepSeek V4.1 Flash 1017DeepSeek V4 Flash Vision ExpDeepSeek V4 Pro 0813DevinExaone 4.0 32BGemini 2.5 FlashGemini 2.5 ProGemini 3.1 ProGemini 3.5 FlashGemini 3.5 Flash-LiteGemini 3.6 FlashGemini 3.7 FlashGemini 3.8 FlashGemini 3 FlashGemini 3 ProGemini 4 ArgonGeminiNano Banana 2.1Gemma 4 26B A4BGitHub CopilotGLM-4.5-AirGLM-4.6GLM-4.7GLM-4.7-FlashGLM-5GLM-5.1GLM-5.2GLM-5.3GLM-5.3-FlashGLM 5.3 PrimeGLM-5-TurboGLM-5V-TurboGPT-5.1GPT-5.2GPT-5.3 CodexGPT-5.4GPT-5.5GPT-5.6 LunaGPT-5.6 SolGPT-5.6 TerraGPT-6.1 SolGPT-6.1 TerraGPT-6.1 Terra ProGPT-6 AstraGPT-6 LunaGPT-6 SolGranite-4.0-350MGranite-4.0-H-1BGranite-4.0-H-350MGranite 4.2 8BGrok 4Grok 4.1 FastGrok 4.1 Fast (Reasoning)Grok 4.3Grok 4.5Grok 4.6Grok 4.7Grok 4 Fast (Reasoning)GrokGrok Code Fast 1Hy3Hy3 PreviewInklingInkling-SmallInstinctK-ExaoneKimi K2.6Kimi K2Kimi K2.5Kimi K2.5 (Reasoning)Kimi K2.7 CodeKimi K3LFM2.5-2.6BLFM2.5-8B-A1BLing 2.6 FlashLing 3.0 FlashLing 3.0 Flash VLLing 3.1 FlashManusMercury 2Mercury 2.5Meta AIMicrosoft CopilotMiMo-V2.5-ProMiMo-V2.6-FlashMiMo-V2.6-ProMiMo-V2-FlashMiMo-V2-OmniMiMo-V2-ProMiniMax M2.5MiniMax M2.7MiniMax M3MiniMax M3.1 FlashMistral Large 2Mistral Large 3Mistral Large 4Le ChatMistral Medium 3Mistral Medium 3.5 128BMistral Small 4Muse Glimmer 30BMuse SparkMuse Spark 1.1Muse Spark 1.2Muse Spark OpenMuse WonderMuse Wonder FullNemotron 3.5 Bolt 74B-A9BNemotron 3.5 LightningNemotron 3.5 Super VLNemotron 3.5 Super VL 120B A12BNemotron 3 Nano Omni 30B A3BNemotron 3 UltraNova ProCodexDotsPerplexityPhi-4Quasar 438BQwen3.5-122B-A10BQwen3.5-27BQwen3.5-35B-A3BQwen3.5 397BQwen3.6-27BQwen3.6-35B-A3BQwen 3.6 Max (preview)Qwen3.6 PlusQwen3.7 FlashQwen3.7 MaxQwen3.7 PlusQwen3.8 2.4T A95BQwen3.8-27BQwen3.8 FlashQwen3.8-Flash-NextQwen3.8 Max PrimeQwen3.8 Omni FlashBeam 1.0 501B-A23BSarvam 105BSarvam 30BSolar Pro 2Solar Pro 3Step 3.5 FlashStep 5 PreviewSwitchyardTrinity-Large-Thinking