מבחן הערכה

DeepSearchQA

מדד משני · בהסתייגותזיקה מסחרית מוצהרת

מה הוא מודד

מחקר ברשת: חיפוש, איסוף ואימות מידע מקוון · ביצוע משימות מרובות שלבים: ביצוע משימה רב שלבית מקצה לקצה · דיוק עובדתי: נכונות עובדתית, הימנעות מהמצאות והתבססות על מקור

מה הוא לא מודד

  • אין לגזור ממנו יכולת בתחומים שלא נכללו במשימות שלו.

הערות על המבחן

900 multi-step information-seeking tasks across 17 fields with verifiable answer sets; useful for deep-research capability, vendor affiliation disclosed.

תוצאות שנמדדו

מערכתציוןפרוטוקולמקור
Claude Opus 595.0DeepSearchQA · דיווח של הספקקישור
Kimi K395.0DeepSearchQA · דיווח של הספקקישור
Claude Opus 4.893.1DeepSearchQA · דיווח של הספקקישור
Step 3.7 Flash92.8DeepSearchQA · דיווח של הספקקישור
Kimi K2.692.5DeepSearchQA · דיווח של הספקקישור
Apodex 1.192.4DeepSearchQA · דיווח של הספקקישור
Muse Spark 1.184.9DeepSearchQA · דיווח של הספקקישור
Beam 1.0 501B-A23B80.5DeepSearchQA · דיווח של הספקקישור
Kimi K2.577.1DeepSearchQA · דיווח של הספקקישור
Muse Spark74.8DeepSearchQA · דיווח של הספקקישור
Muse Glimmer 30B74.6DeepSearchQA · דיווח של הספקקישור
Claude Opus 4.673.7DeepSearchQA · מקור לא מאומתקישור
GPT-5.473.6DeepSearchQA · מקור לא מאומתקישור
Gemini 3.1 Pro69.7DeepSearchQA · מקור לא מאומתקישור
Mercury 234.0DeepSearchQA · דיווח של הספקקישור
Mercury 2.534.0DeepSearchQA · דיווח של הספקקישור