საბაზისო მოდელი არის დიდი ხელოვნური ინტელექტის სისტემა, გაწვრთნილი მონაცემთა ფართო მასივზე — ტექსტზე, სურათებზე, კოდზე ან ამათგან რამდენიმეზე ერთდროულად — ისე, რომ ერთი გაწვრთნილი მოდელი შემდეგ ადვილად მოერგოს ბევრ სხვადასხვა ამოცანას, ნაცვლად იმისა, რომ თავიდანვე მხოლოდ ერთი კონკრეტული ამოცანისთვის იყოს აგებული. GPT, Gemini, Claude და Llama ყველა საბაზისო მოდელია; ასეთივეა სურათების გენერატორები, როგორიცაა Stable Diffusion, და კოდის დასაწერად სპეციალურად აგებული მოდელების მზარდი რიცხვი. დიდი ენობრივი მოდელი (LLM) უბრალოდ ამ ოჯახის ტექსტზე ორიენტირებული შტოა: ყოველი LLM საბაზისო მოდელია, მაგრამ ყოველი საბაზისო მოდელი არ არის LLM.
რა ხდის მოდელს „საბაზისოს“
სტენფორდის მკვლევრებმა ეს ტერმინი 2021 წლის აგვისტოში, ანგარიშში “On the Opportunities and Risks of Foundation Models”, შემოიღეს — სიტყვა „საბაზისო“ ისეთი ალტერნატივების ნაცვლად აირჩიეს, როგორიცაა „წინასწარგაწვრთნილი მოდელი“, რადგან ის ზუსტად აღწერდა კონკრეტულ იდეას: ეს მოდელები ერთხელ, დიდ მასშტაბზე გაიწვრთნებიან და შემდეგ ემსახურება საფუძვლად, რომელზეც ბევრი დამოუკიდებელი აპლიკაცია შენდება.
ორი რამ განსაზღვრავს საბაზისო მოდელს. პირველი — ის სწავლობს ფართო, ძირითადად არაეტიკეტირებული მონაცემებიდან თვითზედამხედველობითი სწავლების (self-supervised learning) გზით — მოდელი თავად აწარმოებს სასწავლო სიგნალს, მაგალითად, გარშემომცველი კონტექსტიდან დამალული სიტყვის გამოცნობით, ნაცვლად იმისა, რომ ადამიანებმა მილიონობით მაგალითს ხელით მიაწერონ ლეიბლები. მეორე — შედეგად მიღებული მოდელი საკმარისად ზოგადია, რომ მოერგოს დავალებების ფართო სპექტრს — თარგმანს, შეჯამებას, კოდის დაწერას, სურათის აღწერას — თავიდან გადაწვრთნის გარეშე.
ყოველი მანქანური სწავლების მოდელი არ არის საბაზისო. სპამის ფილტრი, გაწვრთნილი ერთი ვიწრო ამოცანისთვის, საბაზისო მოდელი არ არის — ის არასდროს ყოფილა განკუთვნილი სხვა რაიმეს გასაკეთებლად. მოდელს „საბაზისოს“ სწორედ მისი მასშტაბი და ზოგადობა ხდის — რაც მას ბევრი ცალკეული პროდუქტის საფუძვლად ქცევის საშუალებას აძლევს.
რით განსხვავდება LLM-ისგან?
დიდი ენობრივი მოდელი წინასწარმეტყველებს ენას — შემდეგ სიტყვას, წინადადებას თუ პასუხს საუბარში. ეს ყოველ LLM-ს საბაზისო მოდელად აქცევს, მაგრამ კატეგორია გაცილებით ფართოა. ის ასევე მოიცავს მოდელებს, გაწვრთნილებს მხოლოდ სურათებზე, ხმაზე, ვიდეოზე, ცილების სტრუქტურებზე ან რობოტების სენსორულ მონაცემებზე, და მულტიმოდალურ მოდელებს, როგორიცაა Gemini ან GPT-4o, რომლებიც ტექსტს, სურათებსა და ხმას ერთდროულად „კითხულობენ“. ტექსტზე ორიენტირებულ ამ შტოს უფრო დეტალურად ჩვენი დიდი ენობრივი მოდელის ახსნა მოიცავს.
წინასწარი წვრთნიდან ადაპტაციამდე
საბაზისო მოდელის შექმნა ორ ეტაპად ხდება. წინასწარი წვრთნა (pretraining) ძვირი ეტაპია: ლაბორატორია მოდელს აჭმევს უზარმაზარ, ფართო მონაცემთა ნაკრებს და აძლევს საშუალებას, ისწავლოს ზოგადი კანონზომიერებები — რაც ყველაზე დიდი მოდელებისთვის შეიძლება ასეულობით მილიონ დოლარამდე დაჯდეს. ადაპტაცია იაფი ეტაპია: უკვე გაწვრთნილი იგივე მოდელი შემდეგ შეიძლება დაზუსტდეს (fine-tuning), მოირგოს ადამიანური უკუკავშირი, ან უბრალოდ API-ის საშუალებით მიეცეს მითითება კონკრეტული ამოცანის შესასრულებლად — ერთი საბაზისო მოდელი ასე იქცევა ჩატბოტად, მომხმარებელთა მომსახურების აგენტად ან კოდირების ასისტენტად, თავიდან გაწვრთნის გარეშე.
სწორედ ეს განმეორებითი გამოყენება დგას მთელი მიდგომის ეკონომიკური ლოგიკის უკან. ზოგიერთი ლაბორატორია საბაზისო მოდელებს Mixture of Experts არქიტექტურითაც აგებს — ქსელს ყოფს სპეციალიზებულ ქვექსელებად ისე, რომ ერთი მოთხოვნისთვის მხოლოდ მათი ნაწილი აქტიურდება — რაც ძალიან დიდ მოდელს საკმარისად იაფს ხდის, რომ რეალურად გაეშვას.
რატომ აქვს ამას მნიშვნელობა
დღეს თითქმის მთელი AI ინდუსტრია რამდენიმე საბაზისო მოდელზეა აგებული. ჩატბოტები, საძიებო ასისტენტები, კოდირების ინსტრუმენტები და სურათების გენერატორები ძირითადად თხელი აპლიკაციებია, გახვეული რამდენიმე ათეული საბაზისო მოდელის გარშემო, რომლებსაც ერთეული ლაბორატორიები ქმნიან — და ეს დიდწილად იმის მიზეზიცაა, თუ რატომ ტრიალებს ინდუსტრიის ესოდენი დისკუსია იმის გარშემო, ვინ აკონტროლებს ამ მოდელებს და უნდა იყოს თუ არა მათი წონები ღია თუ დახურული. მარეგულირებლებმაც შეამჩნიეს ეს: EU AI Act ამავე კატეგორიას არეგულირებს „ზოგადი დანიშნულების AI მოდელის“ (general-purpose AI model) სახელით და დამატებით ვალდებულებებს აწესებს მას შემდეგ, რაც მოდელი გარკვეულ გამოთვლით ზღვარს გადააჭარბებს.
სიახლეებში
ორი ბოლოდროინდელი გამოშვება ცხადყოფს ამ კატეგორიის მუშაობას პრაქტიკაში. Poolside-მა გამოუშვა Laguna S 2.1 — კოდირებისთვის აგებული საბაზისო მოდელი, რომელიც Mixture of Experts დიზაინის წყალობით გაცილებით დიდ კონკურენტებს ეჯიბრება კოდირების ბენჩმარკებზე (იხ. ჩვენი რეპორტაჟი). დაახლოებით იმავე დროს, Nvidia-ს ჯენსენ ჰუანგმა წერილის გარშემო დაახლოებით 50 კომპანია გააერთიანა — წერილი ეწინააღმდეგება ღია წონების საბაზისო მოდელებზე შეზღუდვების დაწესებას (იხ. ჩვენი რეპორტაჟი).
წყაროები: Bommasani et al., “On the Opportunities and Risks of Foundation Models” (Stanford CRFM, 2021); EU AI Act (რეგულაცია (EU) 2024/1689), მუხლი 3(63).