דף מקצוע

תוכנה ו IT

כתיבת קוד, דיבאגינג, סקירת קוד, תיקון ריפוזיטורי ועבודה עם סוכנים.

משקלים

אילו יכולות באמת חשובות

קוד ופיתוח תוכנה
17 מדדים אפשריים ברישום
61%
ידע וחשיבה
7 מדדים אפשריים ברישום
11%
שימוש בכלים
4 מדדים אפשריים ברישום
9%
ביצוע משימות מרובות שלבים
15 מדדים אפשריים ברישום
8%
עמידה בהוראות
5 מדדים אפשריים ברישום
6%
מסמכים ארוכים
2 מדדים אפשריים ברישום
6%

מוצגות רק יכולות שקיימת עבורן מדידה במאגר.

מובילים

המערכות המתאימות ביותר לפי המדדים

מגבלות

איפה הנתונים חלשים

  • קוד ופיתוח תוכנה, כיסוי 37%. חסרים: SWE-rebench · LiveCodeBench · Aider Polyglot
  • ידע וחשיבה, כיסוי 44%. חסרים: LiveBench Reasoning · MMLU-Pro · SuperGPQA
  • שימוש בכלים, כיסוי 35%. חסרים: Berkeley Function Calling Leaderboard (BFCL) V4 · Claw-Eval
  • ביצוע משימות מרובות שלבים, כיסוי 37%. חסרים: Berkeley Function Calling Leaderboard (BFCL) V4 · Terminal-Bench 2.0 · AndroidWorld
  • עמידה בהוראות, כיסוי 26%. חסרים: LiveBench Instruction Following · IFBench · IFEval
  • מסמכים ארוכים, כיסוי 0%. חסרים: LongBench v2 · MRCR 1M
מקצועות נוספים

המשך עיון