ყოველ ჯერზე, როცა AI ჩატბოტი კითხვას პასუხობს, ის ორ სრულიად განსხვავებულ ამოცანას ასრულებს: ჯერ კითხულობს და აანალიზებს მოთხოვნას, შემდეგ კი პასუხს სიტყვა-სიტყვად აგენერირებს. დანაწილებული ინფერენსი (disaggregated inference) არის მიდგომა, როცა ეს ორი ამოცანა ერთი ჩიპის ნაცვლად ცალ-ცალკე, სპეციალიზებულ აპარატურაზე სრულდება — რადგან ეს ორი ეტაპი კომპიუტერს სრულიად საპირისპირო გზით ტვირთავს და იშვიათია ჩიპი, რომელიც ორივე ამოცანაში ერთნაირად კარგია.
პასუხის ორი ნახევარი
AI-ის პასუხის გენერაცია ორ ეტაპად მიმდინარეობს, რომლებსაც ჩვეულებრივ პრეფილს (prefill) და დეკოდს (decode) უწოდებენ.
პრეფილი ხდება მაშინვე, როცა მოთხოვნა შემოდის: მოდელი კითხულობს მთელ შეყვანილ ტექსტს — კითხვას, თანდართულ დოკუმენტებს, საუბრის ისტორიას — და გარდაქმნის მას შიდა რიცხვით წარმოდგენად, ამასთანავე ქმნის ე.წ. key-value (KV) ქეშს. ეს ეტაპი ძლიერად პარალელიზებადია, რადგან მთელი მოთხოვნა ერთდროულადაა ხელმისაწვდომი, ამიტომ მას ძირითადად სჭირდება დიდი გამოთვლითი სიმძლავრე.
დეკოდი მოდის შემდეგ: მოდელი პასუხს თოკენ-თოკენად აწარმოებს, და თითოეული ახალი თოკენი დამოკიდებულია წინაზე, ამიტომ ეს პროცესი ისე ვერ პარალელიზდება, როგორც პრეფილი. ის დამოკიდებულია მზარდი KV ქეშის მეხსიერებაში განმეორებით წაკითხვა-ჩაწერაზე, ამიტომ მას ზღუდავს არა გამოთვლის სისწრაფე, არამედ მონაცემთა გადატანის სისწრაფე.
მარტივად რომ ვთქვათ: პრეფილი გამოთვლაზეა დამოკიდებული, დეკოდი კი — მეხსიერების გამტარუნარიანობაზე. ორივეს ერთსა და იმავე GPU-ზე გაშვება ნიშნავს, რომ ჩიპი ერთი ეტაპისთვის ზედმეტად „ძლიერია“, მეორესთვის კი — არასაკმარისი.
სამუშაოს გადანაწილება ჩიპებზე
დანაწილებული ინფერენსი პრეფილსა და დეკოდს ცალკეულ, თითოეული ამოცანისთვის მორგებულ აპარატურულ პულებზე ანაწილებს და KV ქეშს სწრაფი ინტერკონექტის მეშვეობით გადააქვს ერთიდან მეორეზე. ეს მიდგომა ინდუსტრიაში Nvidia-მ გაავრცელა თავისი Dynamo სერვის-პროგრამული უზრუნველყოფით, ხოლო ჩინურმა ლაბორატორია DeepSeek-მა საჯაროდ განაცხადა, რომ მისი საწარმოო DeepSeek-V3 და R1 მოდელები პრეფილსა და დეკოდს ცალკეულ GPU-კლასტერებზე უკვე მაშინ ასრულებდნენ, როცა ეს პრაქტიკა ღია კოდის სერვის-ხელსაწყოებში ჯერ არც კი იყო მხარდაჭერილი.
ახალია ის, რომ ეს გამიჯვნა ორ განსხვავებულ ტიპის AI ჩიპსა და ორ სხვადასხვა კომპანიას შორის ხდება. 23 ივლისს AMD-მ და Cerebras-მა გამოაცხადეს ერთობლივი სისტემა, სადაც პრეფილს AMD-ის Helios სერვერული სტელაჟები ასრულებენ — აწყობილი მისივე Instinct GPU-ებზე — დეკოდს კი Cerebras-ის ვეივერ-სქეილი (wafer-scale) ჩიპი ასრულებს, რომელიც ასობით ცალკეული ჩიპის ნაცვლად მთელი სილიციუმის ვეივერისგან იჭრება. იმის გამო, რომ Cerebras-ის უზარმაზარი ჩიპი მოდელის წონებს თავად ჩიპზე ინახავს ცალკეული მეხსიერების მოდულების ნაცვლად, მას შეუძლია მეხსიერებაზე მომთხოვნი დეკოდის ეტაპი უჩვეულოდ დაბალი დაყოვნებით მოემსახუროს. AMD-ისა და Cerebras-ის თანახმად, ეს კომბინაცია ვატზე ხუთჯერ მეტ გენერირებულ ტოკენს იძლევა, ვიდრე მხოლოდ Cerebras-ის აპარატურაზე მუშაობისას.
კომპრომისი
დანაწილება უფასოდ არ მოდის. ერთი მოთხოვნის ორ მანქანაზე გაყოფა ნიშნავს, რომ KV ქეშმა ქსელში იმდენად სწრაფად უნდა იმოძრაოს, რომ დაყოვნებამ მოგებული სისწრაფე არ გააქროს — ამიტომაც ეს სისტემები დამოკიდებულია მაღალგამტარუნარიან ინტერკონექტებზე ჩვეულებრივი ქსელის ნაცვლად და ამიტომაც მიდგომა მხოლოდ იმ მასშტაბზე იხდის თავს, სადაც მონაცემთა ცენტრი მილიონობით მოთხოვნას ემსახურება, და არა ცალკეულ დესქტოპ GPU-ზე.
რატომ აქვს მნიშვნელობა
AI-ის ბუმის დიდი ნაწილის განმავლობაში ყველაზე ძვირი ეტაპი ახალი მოდელების წვრთნა იყო. ეს იცვლება: უკვე გაწვრთნილი მოდელების გაშვება ყოველდღიურად მილიარდობით მოთხოვნაზე პასუხის გასაცემად — ანუ ინფერენსი — ახლა AI კომპანიებისთვის თავად წვრთნაზე უფრო დიდი და სწრაფად მზარდი ხარჯია. ინფერენსის მომსახურებაში ნებისმიერი ეფექტურობის მოგება პირდაპირ აისახება ან მომხმარებლისთვის დაბალ ფასებში, ან კომპანიების მარჟაში — და სწორედ ამიტომ ეძებენ ჩიპების მწარმოებლები მუდმივად ახალ აპარატურულ კომბინაციებს.
დანაწილება ასევე ცვლის კონკურენციას AI-ის აპარატურის ბაზარზე. ის ასუსტებს არგუმენტს, რომ ერთი ტიპის ჩიპი ყველაფერს თავად უნდა აკეთებდეს, და ადგილს უთმობს სპეციალიზებულ გადაწყვეტებს — მაგალითად, ვეივერ-სქეილ ჩიპს, რომელიც განსაკუთრებით კარგია დეკოდში, ან ჩიპს, რომელიც მხოლოდ პრეფილისთვისაა მორგებული — რომლებსაც ინფერენსის ბაზრის წილის მოპოვება შეუძლიათ საერთო დანიშნულების GPU-სთან ყველა მაჩვენებელში გატოლების გარეშეც. ნაწილობრივ ამიტომაც წარმოაჩენენ AMD და Cerebras თავიანთ ერთობლივ სისტემას Nvidia-ს ალტერნატივად — კომპანიისა, რომელიც დღემდე წვრთნისა და ინფერენსის ჩიპების უმეტესობას აწვდის ბაზარს.
სიახლეებში
AMD-მ და Cerebras-მა თავიანთი ერთობლივი ინფერენსის სისტემისა და მისი წარმადობის მაჩვენებლების დეტალები ივლისის განცხადებაში გაასაჯაროვეს, რომელიც AMD-მ ინდუსტრიის ერთ-ერთ უმსხვილეს ინფრასტრუქტურულ შესაძლებლობად შეაფასა.