איך אנחנו מחשבים את הציונים

כל מבחן הערכה משויך ליכולת שהוא בודק, למשל כתיבת קוד, חשיבה, עמידה בהוראות או עבודה עם כלים. עבור כל יכולת אנחנו מחברים את התוצאות הרלוונטיות לממוצע משוקלל.

• נתון חסר לא הופך לאפס. הוא פשוט לא נכנס לחישוב ומקטין את כיסוי הנתונים.
• לא סופרים את אותה תוצאה פעמיים. מבחנים חופפים או גרסאות של אותו מבחן מטופלים יחד.
• הערכה באמצעות מודל מקבלת משקל מוגבל. כך הציון אינו תלוי יותר מדי בשיקול דעת של מודל אחר.

CapabilityScore(system, capability) = Σ(w_b × score_b) / Σ(w_b available)

לכל מקצוע יש שילוב אחר של יכולות חשובות. בכתיבת תוכנה, למשל, קוד ופתרון בעיות יקבלו משקל גבוה יותר. בתפקידים אחרים ייתכן שמסמכים, מחקר או עמידה בהוראות יהיו חשובים יותר. ציון ההתאמה מחבר את ציוני היכולות לפי המשקל שנקבע לכל מקצוע.

משקל המקצוע הוא נקודת הפתיחה, והמשימה שנבחרה יכולה לעדכן אותו. כך "הבנת תמונות ומסמכים" יכולה להיות רלוונטית לעבודה שיווקית כללית, אך לקבל משקל קטן יותר במחקר שוק, שבו מחקר ברשת הוא היכולת המרכזית. ההתאמה הזו משנה את סדר החשיבויות בלבד, ואינה מוסיפה נתוני מדידה או משנה את ציוני היכולות עצמם.

מה קורה כשאין מספיק נתונים?

לא כל מערכת נבדקת באותה כמות של מבחנים. לכן כל ציון מוצג יחד עם כיסוי הנתונים ורמת הביסוס שלו. כשיש מעט מדי נתונים, המערכת אינה מציגה המלצה בטוחה. גם ציון שמבוסס על מספר קטן של תוצאות עובר תיקון שמרני, כדי שתוצאה בודדת וחזקה לא תספיק כדי להקפיץ מודל לראש הדירוג.

ProfessionFit(system, profession, task) = Σ(W_c(task) × CapabilityScore) / Σ(W_c(task) available)

מבחנים שמעריכים תוצר מקצועי שלם, כמו GDPval, משמשים אותנו לבדיקה נוספת של הדירוג. הם אינם נספרים שוב אם הם מודדים יכולות שכבר נכללו בציון.

ל LiveBench שני תפקידים נפרדים אצלנו. רכיבים מסוימים שלו יכולים להשתתף בציוני היכולות לפי המיפוי במאגר, ובנוסף התוצאה הכוללת משמשת לבדיקת עקביות חיצונית. כאשר אותו מידע כבר נכנס לציון היכולת, הוא אינו מקבל משקל נוסף בשכבת האימות, ולכן אין ספירה כפולה של אותה תוצאה.

שיפוט באמצעות מודל

בחלק מהמבחנים, ובראשם מבחן העברית, מודל AI משמש כשופט. תוצאות כאלה מסומנות כהערכה באמצעות מודל, מקבלות משקל מוגבל, ואינן קובעות לבדן את סדר הדירוג. ציון שנשען רק על שיפוט מודל אינו מוצג כמדד רשמי לפני כיול מול בדיקה אנושית.

מדידה עצמאית ועדכנית מקבלת משקל גבוה יותר ממדד משני, גרסה ישנה או הערכה שנשענת על מודל אחר. מקור שנמצא עדיין בבדיקה יכול להופיע באתר, אבל אינו משפיע על הציון.

משקל אפס פירושו שהמבחן מתועד אצלנו אך אינו משפיע על הציון: מבחנים שעדיין בבדיקה ונתוני שירות כמו מחיר וזמינות.

מודל יכול לכתוב עברית מצוינת ועדיין לטעות בחוק, במיסוי, ברגולציה או בפרטים עדכניים על ישראל. לכן אנחנו מודדים עברית והיכרות עם ההקשר הישראלי בנפרד.

ציון העברית נשען על מקורות פתוחים ועל מבחן עברית של AI Benchmark. המבחן כולל 25 משימות בתחומים כמו כתיבה, תקינות לשונית, סיכום, תרגום והבנת הנקרא. התשובות נבדקות לפי קריטריונים קבועים של שטף, תקינות והתאמה למשימה. כשמערכת לא נבדקה בעברית, היא מוצגת ללא ציון עברית, ולא מקבלת על כך ציון נמוך.

נכון להיום, הכיסוי של ההקשר הישראלי עדיין חלקי. לכן הוא מוצג כמידע נלווה ואינו משפיע על סדר הדירוג.

• מחיר ומהירות מוצגים בנפרד כדי לעזור בבחירה, אך אינם מעלים או מורידים את ציון האיכות.
• תוצאות שמערכת כלשהי מפרסמת על עצמה יכולות להופיע כמקור מידע, אך אינן נחשבות אצלנו למדידה עצמאית.