דף מקצוע
תוכנה ו IT
כתיבת קוד, דיבאגינג, סקירת קוד, תיקון ריפוזיטורי ועבודה עם סוכנים.
משקלים
אילו יכולות באמת חשובות
קוד ופיתוח תוכנה
17 מדדים אפשריים ברישום
61%
ידע וחשיבה
7 מדדים אפשריים ברישום
11%
שימוש בכלים
4 מדדים אפשריים ברישום
9%
ביצוע משימות מרובות שלבים
15 מדדים אפשריים ברישום
8%
עמידה בהוראות
5 מדדים אפשריים ברישום
6%
מסמכים ארוכים
2 מדדים אפשריים ברישום
6%
מוצגות רק יכולות שקיימת עבורן מדידה במאגר.
מובילים
המערכות המתאימות ביותר לפי המדדים
מגבלות
איפה הנתונים חלשים
- קוד ופיתוח תוכנה, כיסוי 37%. חסרים: SWE-rebench · LiveCodeBench · Aider Polyglot
- ידע וחשיבה, כיסוי 44%. חסרים: LiveBench Reasoning · MMLU-Pro · SuperGPQA
- שימוש בכלים, כיסוי 35%. חסרים: Berkeley Function Calling Leaderboard (BFCL) V4 · Claw-Eval
- ביצוע משימות מרובות שלבים, כיסוי 37%. חסרים: Berkeley Function Calling Leaderboard (BFCL) V4 · Terminal-Bench 2.0 · AndroidWorld
- עמידה בהוראות, כיסוי 26%. חסרים: LiveBench Instruction Following · IFBench · IFEval
- מסמכים ארוכים, כיסוי 0%. חסרים: LongBench v2 · MRCR 1M
מקצועות נוספים
