Thinking Machines Lab-მა, რომლის დამფუძნებელიც OpenAI-ის ყოფილი ტექნიკური დირექტორი მირა მურატია, 30 ივლისს Inkling-Small გამოუშვა — საკუთარი პირველი ღია წონების მოდელის, Inkling-ის, გამოშვებიდან ორი კვირის შემდეგ. კომპანიის გამოქვეყნებული მონაცემების თანახმად, ახალი მოდელი პასუხის გენერირებისას გამოთვლების გაცილებით მცირე ნაწილს მოიხმარს, თუმცა რამდენიმე ტესტში დიდ „ძმას" სჯობნის ან ეთანასწორება.
პატარა მოდელი, შედარებადი შედეგები
Inkling-Small მეჩხერი Mixture-of-Experts არქიტექტურის ტრანსფორმერია — სულ 276 მილიარდი პარამეტრით, თუმცა თითოეული ტოკენისთვის მხოლოდ 12 მილიარდი პარამეტრი აქტიურდება, რაც თავდაპირველი Inkling-ის 41 მილიარდი აქტიური პარამეტრის დაახლოებით მეოთხედია. თითოეული ტოკენი 42 დეკოდერ ფენაზე 256 „ექსპერტიდან" 6-სა და ორ საერთო ექსპერტში მარშრუტდება; მოდელი აღიქვამს ტექსტს, სურათებსა და აუდიოს, ხოლო პასუხად გამოსცემს ტექსტს — მსჯელობის ხილული ტოკენებით.
მიუხედავად უფრო მცირე აქტიური მოცულობისა, Inkling-Small-მა Humanity’s Last Exam ტესტში 31.6% დააფიქსირა (Inkling-ის 29.7%-ის საპირისპიროდ), ხოლო SWE-Bench Verified ტესტში — 80.2% (77.6%-ის საპირისპიროდ), Thinking Machines Lab-ის მონაცემებით. კომპანიის თქმით, ცოდნის მოცულობითა და ფაქტების გახსენებით Inkling კვლავ წინ არის — აქ დიდ პარამეტრთა რაოდენობას მნიშვნელობა აქვს. უსაფრთხოების ტესტში — StrongREJECT-ში, რომელიც ამოწმებს, უარყოფს თუ არა მოდელი აშკარად საზიანო მოთხოვნებს — ორივე მოდელმა თითქმის ერთნაირი შედეგი აჩვენა: სხვაობა ნახევარ პროცენტულ პუნქტზე ნაკლებია.
მაინც არა ლეპტოპისთვის
მოდელს აქვს თავისუფალი Apache 2.0 ლიცენზია, წონები გამოქვეყნებულია Hugging Face-ზე, ხოლო დამატებით ხელმისაწვდომია დახვეწა (fine-tuning) კომპანიის Tinker პლატფორმის მეშვეობით. კონტექსტის ფანჯარა 1 მილიონ ტოკენამდე აღწევს. თუმცა „პატარა" პირობითია: სრული სიზუსტის ვერსიას 600 გბ-ზე მეტი საერთო GPU მეხსიერება სჭირდება, ხოლო შეკუმშულ NVFP4 ვერსიასაც კი — მინიმუმ 180 გბ, რაც დაახლოებით ორი Nvidia H200 ბარათის ტოლფასია. Thinking Machines Lab-მა მოდელი Nvidia-ს GB300 NVL72 სისტემებზე გაწვრთნა.
გამოშვება აგრძელებს იმ სტრატეგიას, რომელსაც სტარტაპი 2025 წლიდან მისდევს — მურატიმ ის OpenAI-ის რამდენიმე ყოფილ მკვლევართან ერთად დააფუძნა: მოწინავე დონის შედეგები ღია ლიცენზიის წონებთან ერთად, დახურული API-ების ნაცვლად. კომპანიის თქმით, ეს მიდგომა მიზნად ისახავს „ადამიანის ნების და განსჯის გაფართოებას".