מתודולוגיה

איך מחושב הציון

המערכת אינה שואלת מודל איזה מודל הכי טוב. היא מנהלת מאגר מדדים גרסתי, מחשבת ציונים באופן דטרמיניסטי, ומסבירה מה ידוע, מה לא ידוע ועד כמה ההמלצה מבוססת.

שלב א

ציון יכולת

CapabilityScore(system, capability) = Σ(w_b × score_b) / Σ(w_b available)
  • נתון חסר אינו מקבל אפס ואינו מוחלף בממוצע, הוא רק מקטין את הכיסוי.
  • משקל מצטבר של מדדים שנשפטים בידי מודל מוגבל ל25% בתוך היכולת.
  • מדדים שמודדים כמעט אותו דבר אינם נספרים פעמיים: איחוד לפי הגדרת מדד, גרסה ופרוטוקול.
שלב ב

התאמה למקצוע

ProfessionFit(system, profession) = Σ(W_c × CapabilityScore) / Σ(W_c available)

כמות המדדים שפורסמו על מודל תלויה בספק ולא באיכות המודל, ולכן סף ההמלצה נקבע יחסית לכיסוי הטוב ביותר שקיים בפועל באותה השוואה, עם רצפה מוחלטת שמונעת דירוג על סמך רשומה בודדת. מתחת לסף מוצג „אין מספיק מדדים כדי לדרג בביטחון”.

ציון שנשען על מעט מדדים נמשך לעבר ממוצע הקבוצה, כדי שמודל לא יעלה לראש בזכות מספר קטן של תוצאות נוחות. כשההפרש בין מקומות קטן מרזולוציית המדד, המערכות מסומנות כ„צמודים”.

מדדים שבודקים תוצר מקצועי שלם משמשים לאימות תוקף חיצוני בלבד, ולא כמדד נוסף באותה סכימה. בנוסף נקלט LiveBench, לוח עצמאי שמריץ את כל המודלים על אותה סוללת משימות, ולכן הוא משמש עוגן השוואתי בין מודלים שמפרסמים כמויות שונות של תוצאות.

משקלים

סטטוס ברישום ומשקל ראייתי

סטטוסמשקלמדדים ברישום
מדידה עצמאית · מתעדכן1.0018
מדידה עצמאית · עברית1.001
מדידה עצמאית · לוח השוואה0.8518
מדידה בתחום0.855
מדידה בתחום · בהסתייגות0.705
מדידה עצמאית · הערכה על ידי מודל אחר, במשקל מוגבל0.501
מדד משני0.5031
מדד משני · עברית0.455
מדד משני · בהסתייגות0.4016
מדד משני מתעדכן · בהסתייגות0.351
גרסה ישנה0.109
בבדיקה0.007
נתוני שירות0.001
נתוני שירות · בהסתייגות0.001

משקל אפס פירושו שהמדד מתועד ברישום אך אינו משפיע על ציון: מדדים בבדיקה ומדדים תפעוליים.

עברית וישראל

שתי שכבות נפרדות

כיסוי ההקשר הישראלי עדיין חלקי. הציון אינו בודק באופן מקיף חוק ישראלי, מיסוי, רפואה, רגולציה או מידע עדכני בישראל.

ציון העברית וציון ההקשר הישראלי מוצגים תמיד בנפרד ואינם נכנסים לציון ההתאמה המקצועית ולא לסולם המדדים: מדדי שפה אינם מודדים את המשימה המקצועית עצמה. הם מוצגים כנתון נלווה לכל מערכת, ורק כאשר קיימת עבורם מדידה בפועל.

מה לא נכנס לציון

מחיר, מהירות והעדפת משתמשים

  • מחיר וזמן תגובה הם נתוני תפעול. הם מוצגים בטאב נפרד ואינם משנים את ציון האיכות.
  • העדפת משתמשים היא אות לאיכות נתפסת, לא הוכחה לדיוק. משקלה מוגבל.
  • ציונים שדווחו על ידי היצרן עצמו אינם נחשבים מדידה עצמאית.
מקורות

על מה נשענים הנתונים

מקור טקסונומיית מקצועות
הלמ״ס, סיווג משלחי היד

Profession-deliverable benchmarks such as GDPval validate external validity and do not get naively added as duplicate capability evidence.