OpenAI-მ SWE-Bench Pro ბენჩმარქის რეკომენდაცია გააუქმა
OpenAI-ის შიდა აუდიტმა აჩვენა, რომ SWE-Bench Pro ბენჩმარქის ამოცანების თითქმის მესამედი წუნდებულია, რის გამოც კომპანიამ დეველოპერებისთვის მისი გამოყენების რეკომენდაცია გააუქმა.
ვრცლად →AI ბენჩმარკებიდა AI ინსტრუმენტები
AI ამბების ყველა სტატია, რომელიც ეხება თემებს AI ბენჩმარკები და AI ინსტრუმენტები — ორივე მიმართულება ერთ გვერდზე, განახლებადი ახალი მასალის გამოქვეყნებისთანავე.
6 სტატია
SpaceXAI-მ Grok 4.5 გამოუშვა — იაფია Opus-ზე, ბენჩმარქები შერეულია
SpaceXAI-მ გამოუშვა Grok 4.5 — პირველი მოდელი, გაწვრთნილი Cursor-ის მონაცემებზე, რომლის ფასიც Anthropic-ის Opus 4.8-ზე გაცილებით დაბალია, თუმცა საკუთარი ბენჩმარქები შერეულ სურათს იძლევა.
ვრცლად →Mistral-მა Leanstral 1.5 გამოუშვა — მათემატიკური თეორემებისა და კოდის ვერიფიკაციის ავტომატიზაცია
Mistral-ის ახალი ღია კოდის მოდელი Lean 4-ში ფორმალურ ვერიფიკაციას ავტომატიზებს: miniF2F-ზე 100%, კომპლექსური თეორემების 87% ამოხსნილი, 5 უცნობი შეცდომა კოდბაზებში — ამოცანაზე $4-ად.
ვრცლად →რა არის AI ბენჩმარქი — და საიდან ვიცით, რომ ერთი მოდელი მეორეზე მართლა უკეთესია?
AI ბენჩმარქი სტანდარტიზებული ტესტია, რომელიც სხვადასხვა AI მოდელის შედარების საშუალებს იძლევა. აი, რას ზომავს ყველაზე გავრცელებული ბენჩმარქები — და რატომ არ ყვება ქულები სრულ სიმართლეს.
ვრცლად →ByteDance-მ Doubao Seed 2.1 წარადგინა — ამბობს, GPT-5.5-ს agent-ურ ამოცანებში ეჯიბრება
ByteDance-მა 23 ივნისს Doubao Seed 2.1 Pro და Turbo გამოუშვა — კომპანია ამბობს, რომ ახალი მოდელები კოდირებისა და agent-ური ამოცანების ბენჩმარკებზე ლიდერობენ და GPT-5.5-ს ეჯიბრებიან.
ვრცლად →Zhipu AI-ის GLM-5.2 კოდირებაში GPT-5.5-ს სჯობს — ფასი კი ექვსჯერ ნაკლებია
ჩინური AI ლაბორატორია Zhipu AI-მ MIT-ლიცენზიით გამოუშვა GLM-5.2 — 753 მილიარდი პარამეტრის ღია მოდელი, რომელიც OpenAI-ის GPT-5.5-ს პროგრამირების ტესტებში სჯობს და ფასადაც მნიშვნელოვნად იაფია.
ვრცლად →