Thinking Machines Lab-მა, სტარტაპმა, რომელიც OpenAI-ის ყოფილმა მთავარმა ტექნოლოგიების დირექტორმა მირა მურატიმ დააარსა, ოთხშაბათს საკუთარი პირველი AI მოდელი გამოუშვა. მოდელს Inkling ჰქვია და წარმოადგენს ღია წონების სისტემას, რომლის ჩამოტვირთვა, მოდიფიცირება და საკუთარ ინფრასტრუქტურაზე გაშვება ნებისმიერ დეველოპერს შეუძლია — ეს კომპანიის განზრახული საპირისპირო მიდგომაა OpenAI-ის, Anthropic-ისა და Google-ის დახურულ, გამოწერაზე დაფუძნებულ წამყვან მოდელებთან შედარებით.
რა არის Inkling
Inkling არის ექსპერტთა ნარევის (Mixture of Experts) არქიტექტურის ტრანსფორმერი 975 მილიარდი პარამეტრით, საიდანაც ნებისმიერი კონკრეტული ამოცანისთვის მხოლოდ დაახლოებით 41 მილიარდი პარამეტრი აქტიურდება — მიდგომა, რომელიც დიდი მოდელების გაშვებას აიაფებს. მოდელის ტექნიკური ბარათის მიხედვით, თითოეული ტოკენი 66 ფენის მასშტაბით 256-დან 6 სპეციალიზებულ ექსპერტსა და 2 საერთო ექსპერტში მიემართება, ხოლო კონტექსტის ფანჯარა 1 მილიონ ტოკენამდე აღწევს. მოდელი გაწვრთნილია ტექსტის, სურათების, აუდიოსა და ვიდეოს ერთობლივ მონაცემებზე და შეუძლია ამ სამივე ტიპის შეყვანის გაგება, თუმცა ამჟამად მხოლოდ ტექსტურ პასუხებს გასცემს. წონები გამოქვეყნებულია Apache 2.0 ლიცენზიით და ხელმისაწვდომია Hugging Face-ზე ჩამოსატვირთად, ხოლო წვდომა შესაძლებელია Tinker-ისა და მესამე მხარის პლატფორმების — Together AI, Fireworks, Modal, Databricks და Baseten-ის მეშვეობითაც.
Thinking Machines პირდაპირ აღიარებს, რომ Inkling რეიტინგებში ლიდერი არ არის. კომპანიის საკუთარი მასალები მას აღწერს, როგორც „არც ერთ დღეს ხელმისაწვდომ ყველაზე ძლიერ მოდელს — არც ღიას და არც დახურულს შორის“, ის უფრო მორგებადი საფუძვლის სახით არის პოზიციონირებული. კომპანიამ ასევე გამოუშვა Inkling-Small — 276 მილიარდპარამეტრიანი წინასწარი ვერსია 12 მილიარდი აქტიური პარამეტრით, რომელიც ზოგიერთ ტესტში დიდ მოდელს არ ჩამორჩება ან სჯობს კიდეც.
განსხვავებული ფსონი
გამოშვება ამოწმებს სტარტაპის ძირითად თეზისს — რომ მოდელები, რომელთა მორგებაც ორგანიზაციებს საკუთარ მონაცემებზე შეუძლიათ, ბევრ რეალურ ამოცანაში ერთი ზომის ყველასთვის მოდელებს აჯობებენ. კომპანია მიუთითებს თანამშრომლობაზე Bridgewater Associates-თან, სადაც ღია მოდელის მორგებამ საკუთრივ ფინანსურ ექსპერტიზაზე, მოხსენებების მიხედვით, ფინანსური მსჯელობის ტესტში 84.7%-ს მიაღწია — შედარებადი დახურული ალტერნატივების ღირებულების მხოლოდ მცირე ნაწილად. კომპანიის ძირითადი შემოსავლის წყარო თავად მოდელი კი არა, არამედ მისი fine-tuning პლატფორმა Tinker-ია, რომელიც ამჟამად დროებით ფასდაკლებას სთავაზობს Inkling-ის მორგებით დაინტერესებულ დეველოპერებს.
Thinking Machines-მა ბაზარზე გასვლას დაარსებიდან დაახლოებით ცხრა თვეში მიაღწია — გაცილებით მოკლე ვადაში, ვიდრე OpenAI-სა და Anthropic-ს პირველი წამყვანი პროდუქტების გამოსაშვებად დასჭირდათ. მოდელის ტექნიკური ბარათი ასეთი სისტემებისთვის დამახასიათებელ შეზღუდვებზეც მიუთითებს — ჰალუცინაციის ტენდენციაზე, ინსტრუქციების შესრულებაში ხანდახან დაშვებულ ხარვეზებზე და წვრთნის მონაცემების ვადის ზღვარზე, ასევე შესაძლო დემოგრაფიულ და ენობრივ მიკერძოებაზე.