AI კომპანიები სულ უფრო ხშირად აღწერენ თავიანთ უმსხვილეს მოდელებს, როგორც „სპარსს“ (sparse) ან Mixture of Experts არქიტექტურაზე აგებულს — დიზაინს, რომელიც მოდელს საშუალებას აძლევს, შეინახოს უზარმაზარი მოცულობის ცოდნა, მაგრამ ერთი პასუხისთვის მისი მხოლოდ მცირე ნაწილი გამოიყენოს. MoE-ის გაგება ხსნის ერთ რეალურ საიდუმლოს AI სიახლეებში: როგორ ახერხებს კომპანია ასობით მილიარდპარამეტრიანი მოდელის გამოშვებას და, ამის მიუხედავად, გაცილებით იაფად მიყიდვას, ვიდრე „მცირე“ კონკურენტების ფასია.
რა არის Mixture of Experts სინამდვილეში
ჩვეულებრივი, „მკვრივი“ (dense) ნეირონული ქსელი ყოველ თავის პარამეტრს იყენებს ყოველი შეყვანილი მონაცემისთვის. თუ მოდელს 70 მილიარდი პარამეტრი აქვს, ყველა ეს 70 მილიარდი გარკვეულ სამუშაოს ასრულებს თითოეულ სიტყვაზე, რომელსაც წერთ. Mixture of Experts (MoE) მოდელი კი თავის უმეტეს შრეებს ყოფს მრავალ პატარა ქვექსელად — მათ „ექსპერტებს“ უწოდებენ, რომელთა რაოდენობა რვიდან რამდენიმე ასეულამდე მერყეობს — და ამატებს პატარა „როუტერ“ ქსელს, რომელიც თითოეული ტოკენისთვის წყვეტს, რომელმა ექსპერტებმა უნდა დაამუშაონ კონკრეტული მონაცემი. დანარჩენები ამ ეტაპზე უბრალოდ არ ჩართულან.
ეს იდეა დღევანდელ ჩატბოტებზე გაცილებით ადრეა დაბადებული. Google-ის მკვლევრებმა სპარსული, კარიბჭით მართვადი (sparsely-gated) Mixture-of-Experts შრე ჯერ კიდევ 2017 წელს აღწერეს — ისინი ენობრივ მოდელს 100 მილიარდ პარამეტრს გადააჭარბებდნენ გამოთვლების მხოლოდ მცირედი ზრდით. Google-ის Switch Transformer-მა 2021 წელს ეს მიდგომა კიდევ უფრო განავითარა, ხოლო Mistral AI-ის Mixtral მოდელებმა 2023 წელს ის ღია წონების მოდელების მთავარ ნაკადში შემოიტანეს. მას შემდეგ MoE თითქმის ნაგულისხმევ არქიტექტურად იქცა უმსხვილესი მასშტაბის მოდელებისთვის, რადგან ის კონკრეტულ პრობლემას წყვეტს — როგორ გავზარდოთ მოდელის ჯამური ცოდნა მისი გაშვების ღირებულების პარალელური ზრდის გარეშე.
როგორ მუშაობს როუტინგი სინამდვილეში
ტრანსფორმერზე — თითქმის ყველა თანამედროვე ჩატბოტის საფუძველში მდგარ არქიტექტურაზე — დაფუძნებულ მოდელში სტანდარტული feed-forward შრეები იცვლება MoE ბლოკებით. თითოეული ბლოკი შეიცავს ექსპერტების ერთობლიობასა და მსუბუქ როუტერს. მოდელის მიერ დამუშავებულ ყოველ ტოკენზე როუტერი აფასებს ყველა ექსპერტს და ააქტიურებს მხოლოდ რამდენიმეს (ჩვეულებრივ ორს, ზოგჯერ რვამდე); მათი შედეგები ერთიანდება და გადაეცემა შემდეგ შრეს. რადგან სხვადასხვა ექსპერტი ვარჯიშის დროს, როგორც წესი, სპეციალიზდება — ზოგი კოდისკენ იხრება, ზოგი კი კონკრეტულ ენაზე ან მსჯელობის სტილზე — როუტერი ფაქტობრივად თითოეული ტოკენისთვის მორგებულ ქვემოდელს აწყობს.
სწორედ ამიტომ აღწერენ MoE მოდელებს ერთი რიცხვის ნაცვლად ორით: ჯამური პარამეტრებითა და აქტიური პარამეტრებით. მაგალითად, Z.ai-ის GLM-5.2 აშენებულია დაახლოებით 750 მილიარდი ჯამური პარამეტრით, გადანაწილებული ასობით ექსპერტს შორის, თუმცა ერთი ტოკენისთვის მხოლოდ დაახლოებით 40 მილიარდი ააქტიურდება. DeepSeek-V3 იმავე პრინციპს იმეორებს, უფრო მცირე მასშტაბით — 671 მილიარდი ჯამური პარამეტრი, 37 მილიარდი აქტიური თითო ტოკენზე. ორივე შემთხვევაში მოდელი, შენახული ცოდნის თვალსაზრისით, გაცილებით მსხვილი მკვრივი მოდელივით იქცევა, თუმცა მისი გაშვება უჯდება დაახლოებით იმდენივე, რამდენიც მისი ზომის მცირე ნაწილს დაუჯდებოდა.
რატომ აქვს ამას მნიშვნელობა
AI მოდელების გავარჯიშებასა და გაშვებას გამოთვლითი სიმძლავრე ზღუდავს, ხოლო გამოთვლა ძვირი ღირს. მკვრივი მოდელი, რომელსაც GLM-5.2-ის ჯამური სიმძლავრის მიღწევა სურდა, ყოველ მოთხოვნაზე ყველა 750 მილიარდ პარამეტრს გაუშვებდა — რაც შესაბამისად გაზრდიდა GPU-ის დროსა და ელექტროენერგიის ხარჯს ყოველ პასუხზე. MoE წყვეტს ამ კავშირს ჯამურ სიმძლავრესა და გაშვების ღირებულებას შორის — ეს პირდაპირი მიზეზია იმისა, რომ ბოლო პერიოდის რამდენიმე ღია წონების მოდელმა შეძლო დასავლურ წამყვან სისტემებთან ბენჩმარქებში გათანაბრება, ტოკენის ფასის მხოლოდ მცირე ნაწილის გადახდით. ეს არ არის AI-ის ფასწარმოქმნის ერთადერთი ფაქტორი, მაგრამ ერთ-ერთი ყველაზე ნათელი არქიტექტურული მიზეზია იმისა, რომ „უფრო დიდი“ მოდელი ავტომატურად არ ნიშნავს უფრო ძვირად გამოსაყენებელს.
სიახლეებში
Z.ai-ის GLM-5.2 — რომელიც აქ გავშუქეთ მისი გამოშვებისას — ერთ-ერთი ნათელი მაგალითია: დაახლოებით 744 მილიარდპარამეტრიანი Mixture of Experts მოდელი, გამოშვებული ღია წონებით, რომელიც მსოფლიოს წამყვან AI სისტემებს შორისაა, თუმცა ფასდება GPT-5.5-ის ტოკენის ფასის დაახლოებით მეექვსედად. GLM მოდელების ოჯახის შესახებ მეტი ინფორმაციისთვის იხილეთ ჩვენი განმარტება GLM-ის შესახებ.
ხშირად დასმული კითხვები
Mixture of Experts მოდელი იგივეა, რაც რამდენიმე ცალკეული AI მოდელის ერთდროულად გაშვება?
არა. ყველა ექსპერტი ერთი გავარჯიშებული ქსელის ნაწილია, საერთო შრეებით, ემბედინგებითა და ვარჯიშის პროცესით. როუტერი მხოლოდ წყვეტს, რომელი შიდა გზები დაამუშავებენ თითოეულ ტოკენს — ის დამოუკიდებელ მოდელებს შორის არ გადართავს.
MoE მოდელს უფრო ჭკვიანს ხდის, თუ უბრალოდ იაფად გაშვებადს?
ძირითადად — უფრო იაფსა და სწრაფს, მოცემული შესაძლებლობის დონისთვის. MoE მოდელს საშუალებას აძლევს, შეინახოს მეტი ჯამური ცოდნა ინფერენსის ხარჯის შესაბამისი ზრდის გარეშე, თუმცა ხარისხის ზრდა თავად დამატებითი სიმძლავრის გამოსადეგობიდან მოდის, და არა თავად როუტინგის მექანიზმიდან.
რომელი AI მოდელები იყენებენ დღეს Mixture of Experts-ს?
უმეტესობა ფრონტიერ-კლასის და ეფექტურობაზე ორიენტირებული ღია წონების მოდელებისა, მათ შორის GLM-5.2, DeepSeek-V3 და Mistral-ის Mixtral ოჯახი, სხვებთან ერთად.
შემიძლია MoE მოდელის ჩემს ტექნიკაზე გაშვება?
ღია წონების MoE მოდელების ჩამოტვირთვა და ლოკალურად გაშვება შესაძლებელია, თუმცა, რადგან სრული პარამეტრების ნაკრები მაინც უნდა ჩაიტვირთოს მეხსიერებაში, თუნდაც მისი მხოლოდ ნაწილი აქტიურდებოდეს თითო ტოკენზე, ასეთ მოდელებს, როგორც წესი, უფრო მეტი RAM ან VRAM სჭირდებათ, ვიდრე იმავე აქტიური ზომის მკვრივ მოდელს.
წყაროები: Noam Shazeer და თანაავტორები, „Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer“ (2017); NVIDIA-ს Mixture of Experts ტერმინის განმარტება; DeepSeek-V3 ტექნიკური ანგარიში (arXiv:2412.19437); Z.ai / Hugging Face-ის GLM-5.2 მოდელის დოკუმენტაცია.