Google DeepMind-მა 30 ივლისს წარადგინა Gemini Robotics ER 2 — თავისი „განსახიერებული მსჯელობის" (embodied reasoning) მოდელის განახლებული ვერსია, რომელიც რობოტებისთვის მაღალი დონის დაგეგმვის შრედ მუშაობს: ამუშავებს ცოცხალ ვიდეოს, აკვირდება დავალების პროგრესს და კოორდინაციას უწევს რამდენიმე რობოტს შორის დავალებების გადაცემას — ამის შესახებ აცხადებს Google DeepMind.
სტატიკური კადრებიდან ცოცხალ ვიდეომდე
წინა ვერსია, ER 1.6, ძირითადად სტატიკურ სურათებზე მუშაობდა. ER 2 კი უწყვეტ ვიდეოს იღებს ძირითად შემავალ მონაცემად — რაც რობოტს საშუალებას აძლევს, სცენა დროში აღიქვას, ცალკეული კადრების ნაცვლად. ამას ორი ფუნქცია უწყობს ხელს: უწყვეტი პროგრესის კლასიფიკაცია, რომელიც აფასებს, დავალება რამდენად არის დასრულებული (20%-იანი ინტერვალებით), და „მომენტის მოძებნა", რომელიც პოულობს ზუსტად იმ კადრს, სადაც მნიშვნელოვანი მოვლენა მოხდა. Google DeepMind-ის თანახმად, „მომენტის მოძებნა" 91.3%-იან სიზუსტეს აღწევს, ხოლო პროგრესის კლასიფიკაცია სწორია შემთხვევების 57.4%-ში — მოკრძალებული მაჩვენებელი, თუმცა მკვეთრი ნახტომი ER 1.6-თან შედარებით.
უფრო სწრაფი დაგეგმვა და მეტი რობოტის ერთობლივი მუშაობა
მოდელი მონაცემებს Gemini Live API-ის მეშვეობით ღებულობს ნაკადის სახით, რაც მას საშუალებას აძლევს, შემდეგი ნაბიჯი დაგეგმოს მანამ, სანამ რობოტი წინა ნაბიჯს ასრულებს — ნაცვლად იმისა, რომ ნაბიჯებს შორის შეჩერდეს. Google DeepMind-ის განცხადებით, ეს ორმხრივი დაყოვნება წამზე ნაკლებამდე ამცირებს — დაახლოებით ოთხჯერ უფრო სწრაფად, ვიდრე ადრე. ER 2 ასევე მართავს დაბალი დონის ხედვა-ენა-მოქმედების (vision-language-action, VLA) მოდელებს — სპეციალიზებულ სისტემებს, რომლებიც გეგმას ძრავის ბრძანებებად გარდაქმნიან — და საჭიროებისას შეუძლია გარე ხელსაწყოების, მაგალითად საძიებო სისტემის, გამოძახებაც.
ახალი ფუნქცია — მრავალი რობოტის თანამშრომლობა — სხვადასხვა მწარმოებლის რობოტებს საშუალებას აძლევს, ერთი დავალების საერთო სემანტიკური გაგება გაიზიარონ და მისი ნაწილები ერთმანეთს გადასცენ. დემონსტრაციაზე Apptronik-ის ჰუმანოიდმა Apollo 2-მა და Franka-ს მანიპულატორმა F3 Duo-მ ერთი გეგმის მიხედვით იმუშავეს, ხოლო Boston Dynamics-ის Spot-მა ხმოვან ბრძანებაზე ნივთები მოიტანა. ბრენდებს შორის ამგვარი კოორდინაცია სცილდება იმას, რაც Figure AI-ის ჰუმანოიდურმა რობოტებმა აქამდე საწარმოო ხაზზე აჩვენეს, სადაც თითოეული რობოტი ჯერ კიდევ საკუთარ, დამოუკიდებელ სისტემაზე მუშაობს.
Gemini Robotics ER 2 უკვე ხელმისაწვდომია Gemini API-სა და Google AI Studio-ს მეშვეობით, ხოლო Gemini Enterprise Agent Platform-ში კერძო წინასწარი წვდომის რეჟიმშია.