OpenAI-მ გააუქმა რეკომენდაცია, რომ დეველოპერები SWE-Bench Pro-ს — ფართოდ გავრცელებულ ბენჩმარქს, რომელიც აფასებს, რამდენად კარგად ართმევს AI მოდელები თავს რეალურ საკოდირებო ამოცანებს — ენდობოდნენ. მიზეზი შიდა აუდიტია, რომელმაც აჩვენა, რომ ბენჩმარქის ამოცანების თითქმის მესამედი წუნდებულია, აცხადებს კომპანია.
რა აჩვენა აუდიტმა
SWE-Bench Pro მოდელებს ამოწმებს GitHub-ის საკითხებიდან და pull request-ებიდან აღებულ საკოდირებო ამოცანებზე — მოწმდება, გადის თუ არა შემოთავაზებული გამოსწორება ტესტებს სხვა ფუნქციონალის დარღვევის გარეშე. OpenAI-მ შექმნა ავტომატური შემოწმების სისტემა, რომელმაც 731 ამოცანიდან 200 (27.4%) წუნდებულად მონიშნა. შემდგომმა ადამიანურმა შემოწმებამ პრობლემები 249 ამოცანაში (34.1%) აღმოაჩინა.
OpenAI-ის თანახმად, ხარვეზები რამდენიმე განმეორებად ნიმუშს მისდევს: ტესტები, რომლებიც ამოწმებენ დაუზუსტებელ იმპლემენტაციურ დეტალებს; ამოცანის აღწერილობები, სადაც გამოტოვებულია მოთხოვნები, რომელთა გამოცნობაც მოდელს არ შეუძლია; დაბალი დაფარვის ტესტები, რომლებიც არასრულ გამოსწორებასაც კი ატარებენ; და აღწერილობები, რომლებიც მოდელს მცდარი მიდგომისკენ მიმართავენ.
რატომ იშლება ბენჩმარქი
OpenAI ამბობს, რომ ძირითადი პრობლემა ამოცანების წარმომავლობაშია. SWE-Bench Pro-ს ამოცანები აღებულია რეალური GitHub-ის საკითხებიდან, რომლებიც დამხმარეებმა ადამიანი კონტრიბუტორებისთვის, ხანგრძლივი მიმოწერის ფარგლებში დაწერეს — და არა იზოლირებული შეფასებისთვის. ტესტები, რომლებიც კოდის მიმოხილვისას კონკრეტული პაჩის შესამოწმებლად დაიწერა, ხშირად გაცილებით მკაცრია, ვიდრე ამოცანის თავდაპირველი აღწერილობა მოითხოვდა.
კომპანიამ ასევე აღნიშნა, რომ მოდელების შედეგები ამ ბენჩმარქზე რვა თვეში 23.3%-იანი წარმატების მაჩვენებლიდან 80.3%-მდე გაიზარდა — ტემპი, რომელიც, მისი თქმით, ~70%-იან „ხმაურის ჭერს“ უახლოვდება, რაც ართულებს იმის გარკვევას, მოდელები რეალურად უმჯობესდებიან თუ უბრალოდ ტესტების ხარვეზებს იყენებენ.
რას გვირჩევს OpenAI
SWE-Bench Pro-ს შემდგომი შესწორების ნაცვლად, OpenAI მოუწოდებს დარგს, შექმნას ახალი საკოდირებო ბენჩმარქები გამოცდილი პროგრამული უზრუნველყოფის დეველოპერების მონაწილეობითა და თავიდანვე ძლიერი ადამიანური ზედამხედველობით, ხოლო აქამდე SWE-Bench Pro-ს არსებულ შედეგებს სკეპტიკურად მოეკიდოს.