AI მოდელის გაწვრთნა სამ განსხვავებულ ეტაპად ხდება, რომელთაგან თითოეული სხვადასხვა რამეს ასწავლის მოდელს. ამ ეტაპების გაგება ხსნის, საიდან მოდის ფრონტიერ AI-ის ღირებულება და რატომ იქცევა მოდელი ისე, როგორც იქცევა.
ეტაპი 1: წინასწავლება — ენის სწავლება ინტერნეტიდან
პირველ ეტაპს წინასწავლება (pre-training) ჰქვია, და ეს ყველაზე მასიური ეტაპია. მოდელს ტექსტის უზარმაზარი მოცულობა ეჩვენება — ვებ-გვერდები, წიგნები, კოდი, სამეცნიერო სტატიები — და ის ვარჯიშობს თითოეული გამოთქმის შემდეგი სიტყვის პროგნოზირებაში. ეს მარტივად ჟღერს, მაგრამ ასეულობით მილიარდი სიტყვის მასშტაბზე რაღაც გასაოცარი ხდება: მოდელი იწყებს გრამატიკის, ფაქტების, მსჯელობის ნიმუშების და იდეებს შორის კავშირების სწავლებას — ყოველგვარი პირდაპირი პროგრამირების გარეშე.
ამ მიდგომას თვითზედამხედველური სწავლება (self-supervised learning) ჰქვია: სწავლების ეტიკეტები (სწორი პასუხი) თავად მონაცემებიდან მოდის — წინადადების შემდეგი სიტყვა — ამდენად ადამიანის ანოტაცია საჭირო არ არის. მოდელს არ ეუბნებიან, რა უნდა იფიქროს; ის ადამიანური ცოდნის კოლოსალური ნაჭრის სტატისტიკურ ნიმუშებს სწავლობს.
წინასწავლება ხარჯების უდიდეს ნაწილს ახმარს. ფრონტიერ მოდელის გასაწვრთნელად ათასობით სპეციალიზებული AI ჩიპია საჭირო, რომელიც კვირებს ან თვეებს მუშაობს; GPT-4-კლასის მოდელის გამოთვლითი ხარჯი დაახლოებით $100 მილიონია, ახალი ფრონტიერ მოდელებისთვის კი ეს რამდენიმე ასეულ მილიონამდე ან მეტამდე მიდის.
წინასწავლების შედეგი ბაზისური მოდელია: სისტემა, რომელიც ნაირ-ნაირ ტექსტს ლაღად ასრულებს და უამრავ რამეს იცის, მაგრამ ინსტრუქციების, კითხვების ან საუბრის ცნება არ გააჩნია.
ეტაპი 2: ინსტრუქციების სწავლება — ბრძანებების შესრულება
ბაზისური მოდელი ჩათბოტი არ არის. ის წინადადებებს შეავსებს, მაგრამ კითხვებზე სანდოდ ვერ უპასუხებს ან ინსტრუქციებს ვერ შეასრულებს. მეორე ეტაპი — ზედამხედველი fine-tuning (ინსტრუქციების სწავლება) — ამ ხარვეზს ხსნის.
ადამიანი ტრეინერები ათასობით სანიმუშო საუბარს წერენ: კითხვა ან ამოცანა, შეწყვილებული იდეალური პასუხთან. მოდელი ამ კარგად შერჩეულ მაგალითებზე ვარჯიშობს — სწავლობს, რომ სამოტივაციო წერილის მოთხოვნაზე სამოტივაციო წერილი უნდა გამოიღოს, და არა — ლიტერალური წინადადების გაგრძელება. ეს ეტაპი გაცილებით ნაკლებ გამოთვლით სიმძლავრეს საჭიროებს, ვიდრე წინასწავლება, მაგრამ მაგალითების ხარისხი გადამწყვეტია.
ინსტრუქციების სწავლების შემდეგ მოდელი გაცილებით სასარგებლო ხდება — მაგრამ ისევ ცდება, შეუსაბამოდ იქცევა, და ყოველთვის ისე არ მოქმედებს, როგორც მომხმარებელს ელოდა.
ეტაპი 3: გასწორება — ადამიანების ნამდვილი სურვილების სწავლება
მესამე ეტაპი — ხშირად RLHF (Reinforcement Learning from Human Feedback — ადამიანური უკუკავშირით განმტკიცებული სწავლება) — ის ფარული ელემენტია, რომელიც ქმნის სხვაობას შესაძლებელ მოდელსა და ისეთ მოდელს შორის, რომელსაც ადამიანები სიამოვნებით იყენებენ.
პროცესი ორ ნაბიჯს მოიცავს. ჯერ ადამიანი შეფასებლები ათასობით შემთხვევაში ადარებენ მოდელის ორ განსხვავებულ პასუხს ერთსა და იმავე კითხვაზე — რომელი უკეთესია: უფრო სასარგებლო, უფრო ზუსტი, უფრო უსაფრთხო? ეს შეფასებები გამოიყენება ჯილდოს მოდელის (reward model) გასაწვრთნელად — მცირე ქსელი, რომელიც სწავლობს განჭვრიტოს, რომელ პასუხებს ანიჭებენ ადამიანები უპირატესობას. შემდეგ მთავარი ენის მოდელი ივარჯიშებს განმტკიცებული სწავლების მეშვეობით, რათა შეიმუშავოს პასუხები, რომელიც ჯილდოს მოდელზე მაღალ ქულებს იღებს. ეს, ფაქტობრივად, ადამიანის განსჯისგან სწავლებაა — მასშტაბურად.
Anthropic-მა ამ მიდგომაზე ძირითადი ადრეული ნაშრომი 2022 წელს გამოაქვეყნა. ეს ChatGPT-ის, Claude-ის, Gemini-ს და სხვა საუბრის AI სისტემების უკან მდგარი მთავარი ტექნიკაა. ვარიანტები, როგორიცაა Constitutional AI (Anthropic-ის მიდგომა) და RLAIF, ადამიანი შეფასებლების მოთხოვნას ამცირებენ — გამოყენებული პრინციპების ნაკრების ან AI სისტემის მეშვეობით — რაც გასწორების პროცესის შემდგომ მასშტაბირებას შესაძლებელს ხდის.
გასწორება ანიჭებს მოდელს მის ხასიათს: ტენდენციას, იყოს სასარგებლო, მავნე მოთხოვნაზე უარი თქვას, გაურკვევლობა გამოხატოს. ამ ეტაპის გარეშე გაწვრთნილი მოდელი ბევრ რამეს ხვდება, მაგრამ არაეთიკური და არასანდოა. მნიშვნელოვანია: მოდელი, რომელიც სხვის მოდელის შესაძლებლობებს არასანქცირებული დისტილაციის გზით კოპირებს, ცოდნას იღებს — მაგრამ გასწორების ვარჯიშს ვერ — სწორედ ამიტომ ითვლება ასეთი კოპია უსაფრთხოების რისკად.
რატომ ღირს ვარჯიში მილიარდობით
ფრონტიერ AI-ის ვარჯიში ძვირია, რადგან სამივე ეტაპი დიდ გამოთვლით სიმძლავრეს, მაღალხარისხიან მონაცემებს და ადამიანურ შრომას მოითხოვს. წინასწავლება გამოთვლის ხარჯებს ჭამს; ინსტრუქციების სწავლება და RLHF ადამიანური შრომის ხარჯებს. ანოტატორების გუნდმა უნდა გადახედოს, დაალაგოს სასურველობის მიხედვით და დაწეროს სანიმუშო პასუხები — ეს შეფერხება ვერც ერთ ოდენობის ტექნიკა ვერ გვერდს უვლის.
როდესაც AI კომპანია ამბობს, რომ მოდელი ვარჯიშშია, ჩვეულებრივ წინასწავლების ეტაპი ჯერ კიდევ გრძელდება. ეს ყველაზე ხანგრძლივი ნაწილია; ინსტრუქციების სწავლება და გასწორება მომდევნოა. ფრონტიერ მოდელისთვის სრული პიპლაინი რამდენიმე თვეს შეიძლება განგრძობდეს.
სიახლეებში
Meta-ს AI-ის ხელმძღვანელმა ახლახანს განაცხადა, რომ კომპანიის ვარჯიშში მყოფი მოდელი, კოდური სახელით Watermelon, უკვე მიაღწია OpenAI-ს GPT-5.5-ის მსგავს შესაძლებლობებს — სანამ ვარჯიში დასრულდებოდა. ეს განცხადება ნათლად აჩვენებს, რამდენად მწვავეა კონკურენცია კომპანიებს შორის ვარჯიშის ეტაპზევე. წაიკითხეთ სრული სტატია: Meta-ს AI-ის ხელმძღვანელი: ვარჯიშში მყოფი Watermelon მოდელი GPT-5.5-ს გაუტოლდა.
ხშირად დასმული კითხვები
ყველა AI მოდელი ამ სამ ეტაპს გადის?
თანამედროვე საუბრის AI-ების უმეტესობა — კი, თუმცა ზუსტი მეთოდები და პროპორციები განსხვავდება. პატარა ან სპეციალიზებული მოდელები ეტაპებს შეიძლება გამოტოვებდნენ. გასაქვეყნებლად გათავისუფლებული ღია წონების მოდელები ხშირად სრული გასწორების ეტაპის გარეშეა.
რა სხვაობაა ვარჯიშსა და fine-tuning-ს შორის?
წინასწავლება ნულიდან ვარჯიშია მასიურ მონაცემებზე. Fine-tuning უკვე გაწვრთნილი მოდელიდან იწყება და ვარჯიშს უფრო პატარა, კონკრეტულ მასალაზე გრძელდება. ინსტრუქციების სწავლება და RLHF ორივე fine-tuning-ის ფორმაა.
შეიძლება მოდელის fine-tuning-ი თვითონ?
დიახ — ბევრი ღია წონების მოდელი (მაგ. Meta-ს Llama ოჯახი) შეიძლება სამომხმარებლო ან ღრუბლოვან ტექნიკაზე fine-tuning-ით გაიუმჯობესოს. კონკრეტული ამოცანისთვის პატარა მოდელის სწავლება უმეტეს დეველოპერთათვის მისაწვდომია. ფრონტიერ მოდელის ნულიდან წინასწავლება კი — არა: ამ მასშტაბის ტექნიკური ინფრასტრუქტურა სჭირდება.
რატომ გაუარესდება ხანდახან AI მოდელი განახლების შემდეგ?
გასწორება ოპტიმიზაციის პროცესია, და შესაძლებელია გადატრენინგება — მოდელი იმდენად ფრთხილი ან ვიწრო მეტრიკაზე ფოკუსირებული ხდება, რომ ზოგადი შესაძლებლობები ვარდება. ამ მოვლენას ზოგჯერ alignment tax (გასწორების ხარჯი) ეწოდება, და ის კვლევის აქტიური სფეროა.