מבחן הערכה
SciCode
מדידה עצמאית · לוח השוואה
מה הוא מודד
קוד ופיתוח תוכנה: כתיבת קוד נכון ועבודה בריפוזיטורי אמיתי · חשיבה מדעית: שאלות מדעיות ברמת מומחה
מה הוא לא מודד
- אינו בודק איכות עיצוב מערכת, אבטחה או תחזוקתיות לאורך זמן.
תוצאות שנמדדו
| מערכת | ציון | פרוטוקול | מקור |
|---|---|---|---|
| Claude Opus 5.5 | 66.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Fable 5.1 | 63.1 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemini 4 Argon | 61.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Fable 5 | 61.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Sonnet 5.5 | 61.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiMo-V2.6-Pro | 60.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Muse Wonder | 60.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemini 3.7 Flash | 59.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Muse Spark | 59.7 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Step 5 Preview | 58.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Muse Spark 1.1 | 58.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemini 3.1 Pro | 58.7 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Muse Spark Open | 58.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GPT-5.6 Sol | 57.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Muse Spark 1.2 | 57.4 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemini 3.8 Flash | 56.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GPT-6 Astra | 56.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Opus 5 | 56.4 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GPT-6.1 Sol | 55.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Haiku 5.5 | 55.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GPT-5.6 Terra | 55.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GPT-6 Luna | 54.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Opus 4.7 | 54.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Sonnet 5 | 54.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Mistral Large 4 | 54.2 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemini 3.5 Flash | 53.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GPT-5.6 Luna | 53.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Claude Opus 4.8 | 53.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Kimi K2.6 | 53.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemini 3.6 Flash | 53.4 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| DeepSeek V4.1 Flash 1017 | 51.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GLM-5.3-Flash | 51.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiMo-V2.6-Flash | 51.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| DeepSeek V4 Pro 0813 | 51.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiMo-V2.5-Pro | 50.2 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiniMax M2.7 | 50.1 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| 49.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור | |
| Inkling-Small | 49.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen3.7 Max | 49.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Beam 1.0 501B-A23B | 49.2 | SciCode, פתרון תת בעיות מדעיות בקוד · דיווח של הספק | קישור |
| Kimi K2.5 | 49.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Kimi K2.7 Code | 47.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiniMax M3 | 47.1 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen 3.6 Max (preview) | 47.0 | SciCode, פתרון תת בעיות מדעיות בקוד · דיווח של הספק | קישור |
| 46.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור | |
| Claude Sonnet 4.6 | 46.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen3.8-27B | 46.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemini 2.5 Pro | 46.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen3.7 Plus | 46.1 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GLM-4.7 | 45.1 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GLM-5.1 | 44.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Muse Glimmer 30B | 43.6 | SciCode, פתרון תת בעיות מדעיות בקוד · דיווח של הספק | קישור |
| 43.4 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור | |
| Gemini 3.5 Flash-Lite | 41.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Ling 3.0 Flash | 41.2 | SciCode, פתרון תת בעיות מדעיות בקוד · דיווח של הספק | קישור |
| Qwen3.6 Plus | 40.7 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Trinity-Large-Thinking | 40.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Nemotron 3 Ultra | 40.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Gemma 4 26B A4B | 40.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Step 3.7 Flash | 40.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| DeepSeek V3 0324 | 39.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| DeepSeek V3.2 | 38.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Mercury 2 | 38.7 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Command A+ | 38.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Mercury 2.5 | 38.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| GLM-4.6 | 38.4 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| DeepSeek-R1 | 38.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| DeepSeek V3.1 | 38.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen3.6-27B | 37.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Mistral Large 2 | 36.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen3.6-35B-A3B | 36.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Granite 4.2 8B | 36.1 | SciCode, פתרון תת בעיות מדעיות בקוד · דיווח של הספק | קישור |
| DeepSeek V3 | 35.8 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Qwen3.5-122B-A10B | 35.6 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| 33.1 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור | |
| Nemotron 3 Nano Omni 30B A3B | 32.0 | SciCode, פתרון תת בעיות מדעיות בקוד · דיווח של הספק | קישור |
| 31.4 | SciCode, פתרון תת בעיות מדעיות בקוד · דיווח של הספק | קישור | |
| Qwen3.5-35B-A3B | 29.3 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| MiMo-V2-Flash | 25.9 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| Solar Pro 3 | 25.5 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |
| 17.0 | SciCode, הרצה עצמאית · מדידה בלוח עצמאי | קישור |