Mercury 2
מודל סגור של Inception עם חלון הקשר של 128K מילים. ציון האיכות הכולל שלו במבחני ההערכה עומד על 48.1.
כל תוצאות המבחנים (7)
ידע וחשיבה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| GPQA / GPQA Diamond | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 73.6 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench · LiveBench Reasoning · MMLU-Pro · Humanity's Last Exam (HLE) · SuperGPQA · MMLU-Redux
עמידה בהוראות
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| IFBench | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 71.3 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench · LiveBench Instruction Following · IFEval · MAXIFE
חשיבה מדעית
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| GPQA / GPQA Diamond | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 73.6 | 0.72 | קישור למקור |
| SciCode | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 38.4 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: SuperGPQA · CritPt
קוד ופיתוח תוכנה
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| LiveCodeBench | מדידה עצמאית · מתעדכן לפי דיווח היצרן | 67.3 | 0.85 | קישור למקור |
| SciCode | מדידה עצמאית · לוח השוואה לפי דיווח היצרן | 38.4 | 0.72 | קישור למקור |
לא נמצאו תוצאות עבור: LiveBench · SWE-bench Verified · SWE-rebench · Aider Polyglot · LiveBench Coding · LiveBench Agentic Coding · MirrorCode · SWE-bench Pro · SWE-bench Lite · CursorBench · SWE-bench Multilingual · Vibe Code Bench · NL2Repo · DeepSWE · FrontierCode 1.1 · ProgramBench
ביצוע משימות מרובות שלבים
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 34.0 | 0.34 | קישור למקור |
| WideResearch | מדד משניהערכה על ידי מודל אחר לפי דיווח היצרן | 92.3 | 0.11 | קישור למקור |
לא נמצאו תוצאות עבור: Berkeley Function Calling Leaderboard (BFCL) V4 · Terminal-Bench 2.0 · Terminal-Bench 3.0 · OSWorld · MCP Atlas · Toolathlon · AndroidWorld · Agents' Last Exam · AutomationBench · JobBench · MLE-bench · Gert Labs · Claw-Eval
מחקר ברשת
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 34.0 | 0.34 | קישור למקור |
| WideResearch | מדד משניהערכה על ידי מודל אחר לפי דיווח היצרן | 92.3 | 0.11 | קישור למקור |
לא נמצאו תוצאות עבור: WebArena-Verified · Agents' Last Exam · BrowseComp
דיוק עובדתי
| מבחן הערכה | סטטוס | ציון | משקל | מקור |
|---|---|---|---|---|
| DeepSearchQA | מדד משני · בהסתייגותזיקה מסחרית מוצהרת לפי דיווח היצרן | 34.0 | 0.34 | קישור למקור |
לא נמצאו תוצאות עבור: SimpleQA · SimpleQA Verified