סדרת מבחנים
מבחן העברית החזותית של האתר
מדידה עצמאית · עבריתהערכה על ידי מודל אחר
מה הוא מודד
טקסט עברי בתוך תמונה: רינדור עברית תקינה בתמונה: אותיות נכונות, סדר נכון, בלי היפוך · טקסט קריא בתוך תמונה: רינדור אותיות ומילים תקינות בתוך התמונה
מה הוא לא מודד
- אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.
- הציון נקבע בהערכה על ידי מודל אחר ולכן משקלו מוגבל בתוך היכולת.
הערות על המבחן
קבוצה קבועה של בקשות ליצירת תמונה עם טקסט עברי: שלט, כותרת, אריזה וכרזה. התמונה נשפטת על ידי מודל ראייה אחד לפי מדריך קבוע: תקינות אותיות, סדר נכון, בלי היפוך או שיבוש, והתאמה לבקשה. רץ פעם בשבוע על מנועי התמונה שזמינים לנו.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| GPT Image 2 | 98.9 | מבחן העברית החזותית של האתר, 16 מתוך 16 משימות, שיפוט ראייה לפי מדריך קבוע | קישור |
| Gemini 3 Pro Image | 97.7 | מבחן העברית החזותית של האתר, 16 מתוך 16 משימות, שיפוט ראייה לפי מדריך קבוע | קישור |
| Gemini 3.1 Flash Image | 96.5 | מבחן העברית החזותית של האתר, 16 מתוך 16 משימות, שיפוט ראייה לפי מדריך קבוע | קישור |
| GPT Image 1 mini | 88.7 | מבחן העברית החזותית של האתר, 16 מתוך 16 משימות, שיפוט ראייה לפי מדריך קבוע | קישור |