Vision-language-action (VLA) მოდელი — ეს არის AI სისტემა, რომელიც კამერის გამოსახულებასა და ჩვეულებრივ ენაზე გაცემულ ინსტრუქციას იღებს და პირდაპირ რობოტის ფიზიკურ მოძრაობებად გარდაქმნის — მაგალითად, ბრძანება „აიღე წითელი ჭიქა" პირდაპირ ხელისა და დამჭერის მოძრაობად გარდაიქმნება, ერთი მთლიანი მოდელის ფარგლებში, ხელით დაწერილი პროგრამების ჯაჭვის ნაცვლად.
ცალკეული სისტემებიდან ერთ მოდელამდე
რობოტები ტრადიციულად შედგებოდნენ ცალკეული, ხელით შექმნილი საფეხურებისგან: ხედვის სისტემა ცნობდა ობიექტებს, დამგეგმავი წყვეტდა, რა უნდა გაკეთებულიყო, ხოლო კონტროლერი ამ გეგმას ძრავის ბრძანებებად აქცევდა. თითოეული საფეხური მორგებული იყო ვიწრო წრის ობიექტებსა და ამოცანებზე, ამიტომ რობოტს იშვიათად შეეძლო რაიმეს გაკეთება იმის მიღმა, რისთვისაც კონკრეტულად იყო მომზადებული.
Vision-language-action მოდელი ამ ჯაჭვს ერთ მოდელში აერთიანებს. მასში გამოყენებულია იგივე ტრანსფორმერული არქიტექტურა, რომელიც დიდ ენობრივ მოდელებშია გამოყენებული, თუმცა ტექსტის ნაცვლად ის რობოტის მოქმედებების ნაკადს გამოსცემს — სახსრების კუთხეებს, მანიპულატორის პოზიციას, დამჭერის ბრძანებას — პირდაპირ იმის მიხედვით, რასაც ხედავს და რასაც ეუბნებიან.
როგორ მუშაობს
VLA მოდელი ორ ურთიერთდაკავშირებულ საფეხურად მუშაობს. პირველ ეტაპზე, ხედვა-ენის საბაზისო მოდელი — ხშირად ეს არსებული მულტიმოდალური მოდელის ადაპტირებული ვერსიაა — კამერის გამოსახულებასა და ტექსტურ ინსტრუქციას ერთ საერთო წარმოდგენად აქცევს, რომელიც აღწერს, „რა ხდება და რა უნდა გაკეთდეს ამასთან დაკავშირებით." მეორე ეტაპზე, მოქმედების დეკოდერი ამ წარმოდგენას რობოტის ბრძანებად გარდაქმნის, და მთელი ციკლი წამში რამდენჯერმე მეორდება, რათა რობოტმა გარემოს ცვლილებებზე დროულად შეძლოს რეაგირება.
სხვადასხვა მოდელი ამ ბოლო საფეხურს განსხვავებულად წყვეტს. Google DeepMind-ის RT-2, რომელიც 2023 წლის ივლისში წარადგინეს როგორც პირველი მნიშვნელოვანი VLA მოდელი, რობოტის მოძრაობის თითოეულ განზომილებას 256 დისკრეტულ მნიშვნელობად ყოფდა და მათ ისევე წინასწარმეტყველებდა, როგორც ენობრივი მოდელი სიტყვებს წინასწარმეტყველებს. Physical Intelligence-ის π0 მოდელმა კი, რომელიც 2024 წლის ბოლოს გამოვიდა, გამოიყენა flow matching — ტექნიკა, რომელიც დიფუზიის მოდელების ნათესავია და AI სურათების გენერაციაშიც გამოიყენება — რათა წამში 50-ჯერამდე გლუვი, უწყვეტი მოძრაობა გამოეცა, რაც მნიშვნელოვანია ისეთი ამოცანებისთვის, როგორიცაა თეთრეულის დაკეცვა ან კაბელის შეერთება.
სწრაფად განვითარებადი სფერო
RT-2-ის შემდეგ სფერო სწრაფად განვითარდა. OpenVLA, რომელიც 2024 წლის ივნისში სტენფორდის უნივერსიტეტის ხელმძღვანელობით, ბერკლის, Toyota Research Institute-ის, Google DeepMind-ისა და Physical Intelligence-ის მონაწილეობით გამოვიდა, 7-მილიარდ-პარამეტრიანი მოდელია, გაწვრთნილი მილიონზე მეტ დემონსტრაციულ ეპიზოდზე, 22 სხვადასხვა რობოტის მონაწილეობით — და სრულად ღიაკოდიანია, ანუ ნებისმიერს შეუძლია მისი ჩამოტვირთვა და დამატებით გაწვრთნა. Nvidia-მ 2025 წლის მარტში წარადგინა Isaac GR00T N1 — რომელსაც პირველ ღია საბაზისო მოდელად აცხადებენ ჰუმანოიდ რობოტებისთვის — ხოლო იმავე თვეს Google DeepMind-მა გამოუშვა Gemini Robotics, აგებული Gemini 2.0-ზე, სადაც ფიზიკური მოქმედება ტექსტთან ერთად პირდაპირ გამოსატან მონაცემად იქცა.
რატომ აქვს მნიშვნელობა
რადგან VLA მოდელი წვრთნას გადის ინტერნეტის მასშტაბის სურათებისა და ტექსტის მონაცემებზე, რობოტული დემონსტრაციების პარალელურად, მას შეუძლია განაზოგადოს ობიექტებსა და ფორმულირებებზე, რომლებიც წვრთნისას საერთოდ არ უნახავს — ყოველი ამოცანისთვის ხელით დაწერილი ახალი პროგრამის საჭიროების გარეშე. სწორედ ეს განზოგადების უნარია დღევანდელი ფიზიკური AI-ისა და ჰუმანოიდ რობოტების ტალღის მთავარი დაპირება — მანქანები, რომლებიც ჩვეულებრივ სახლებსა და საწყობებში უნდა მუშაობდნენ და არა ქარხნის ფიქსირებულ, წინასწარ განსაზღვრულ სივრცეში.
ამას თან ახლავს აპარატურული გამოწვევაც. „დაინახე-გადაწყვიტე-იმოქმედე" ციკლის იმ სისწრაფით გაშვება, რომ რობოტმა რეალურ დროში მოასწროს რეაგირება, სერიოზულ გამოთვლით სიმძლავრეს მოითხოვს — და ეს გამოთვლა თავად რობოტზე უნდა ხდებოდეს, შორეულ სერვერზე კი არა. ჩიპების მწარმოებლებმაც შეამჩნიეს ეს ტენდენცია: სპეციალურად ამ დატვირთვისთვის შექმნილი მოდულები ახლა ჩაშენებული გამოთვლების ბაზარზე კონკურენციის ერთ-ერთი მთავარი ველია.
სიახლეებში
AMD-ის ნაბიჯი ამ მიმართულებით — რომელსაც ჩვენი მასალა Kria AI Robotics Developer Platform-ის შესახებ აღწერს — აცხადებს, რომ ახალ აპარატურაზე მთლიანი vision-language-action ციკლი 100 მილიწამზე ნაკლებ დროში სრულდება — პირდაპირი გამოწვევა Nvidia-ს Jetson მოდულებისთვის, რომლებიც აქამდე უმეტეს VLA-ზე დაფუძნებულ რობოტებს ამუშავებდნენ.