ონ-დივაის AI ნიშნავს ხელოვნური ინტელექტის მოდელების გაშვებას პირდაპირ ფიზიკურ მოწყობილობაზე — სმარტფონზე, ლეპტოპზე, ჭკვიანი საათზე ან ჩაშენებულ ჩიპზე — ნაცვლად იმისა, რომ მონაცემები დისტანციური ღრუბლოვანი სერვერებისთვის გაიგზავნოს. ონ-დივაის AI-ის გამოყენებისას თქვენი ინფორმაცია მოწყობილობის ფარგლებს არ სცდება — ყველა გამოთვლა ხდება თქვენს ხელთ არსებულ ტექნიკაზე.
ეს განსხვავდება ღრუბლოვანი AI-სგან, სადაც მოთხოვნა ინტერნეტით გადადის მონაცემთა ცენტრში, სერვერები ამუშავებენ მას და შედეგი ბრუნდება. ღრუბლოვანი მოდელები ძლიერი შეიძლება იყოს, მაგრამ ინტერნეტ-კავშირი სჭირდება, ლატენტობას ამატებს და გადაცემისას მონაცემებთან დაკავშირებულ რისკებს ქმნის.
როგორ მუშაობს ონ-დივაის AI
დიდი AI მოდელის სმარტფონზე ჩასატეველად სამი ძირითადი კომპრესიის ტექნიკა გამოიყენება.
კვანტიზაცია გარდაქმნის მოდელის წონებს მაღალი სიზუსტის 32-ბიტიანი ფორმატიდან INT8 ან INT4-ში — 4-8-ჯერ ამცირებს მეხსიერების მოხმარებას სიზუსტის მნიშვნელოვანი შეწირვის გარეშე.
პრუნინგი (ქლემვა) შლის ზედმეტ წონებს, რომლებიც მოდელის შედეგზე ნაკლებ გავლენას ახდენენ — ზოგ შემთხვევაში პარამეტრების 70-90%-ის ამოღება შესაძლებელია ხარისხის სერიოზული გაუარესების გარეშე.
ცოდნის დისტილაცია ვარჯიშობს მცირე მოდელს, რომ გაიმეოროს უფრო დიდის ქცევა — ამ გზით შესაძლებლობები გადადის პარამეტრების გაზრდის გარეშე.
შედეგად მიღებული მოდელები გაიშვება NPU (Neural Processing Unit) — ნეირული დამუშავების სპეციალიზებულ ჩიპებზე, რომლებიც ოპტიმიზებულია AI ინფერენსისთვის. Apple-ის A18 ჩიპის Neural Engine 35 ტრილიონ ოპერაციას წამში ასრულებს (TOPS), Qualcomm-ის Hexagon NPU Snapdragon 8 Elite-ში — 45 TOPS-ს — CPU-ზე 9-ჯერ ეფექტიანად.
რატომ არის მნიშვნელოვანი
კონფიდენციალურობა: მონაცემები მოწყობილობიდან გარეთ არ გადის. ეს განსაკუთრებით მნიშვნელოვანია სენსიტიური კონტექსტებისთვის — ჯანმრთელობის ჩანაწერები, პირადი მიმოწერა, ფინანსები. Apple Intelligence ამ მიდგომას ასე აღწერს: ცნობიერია თქვენი პირადი ინფორმაციის შესახებ — მისი შეგროვების გარეშე.
სისწრაფე: ონ-დივაის ინფერენსი 10-15 მილიწამს სჭირდება. ღრუბლოვანი მიმოსვლა საშუალოდ 50-400 მილიწამია. რეალური დროის პროგრამები — ცოცხალი ხმოვანი თარგმანი, გაძლიერებული რეალობა, ავტოდასრულება — ონ-დივაის სიჩქარეს მოითხოვს.
ოფლაინ-წვდომა: ინტერნეტ-კავშირი საჭირო არ არის. ონ-დივაის AI ფუნქციები მეტროში, თვითმფრინავში ან სუსტი სიგნალის ზონებში მუშაობს.
ღირებულება: მოდელის ჩამოტვირთვის შემდეგ ყოველი გამოთვლა მხოლოდ ბატარეის ენერგიას მოიხმარს — ღრუბლოვანი API-ების ტოკენ-საფასურზე გაცილებით იაფია.
რა გაქვთ უკვე ჯიბეში
ბოლო თაობის სამომხმარებლო მოწყობილობები ონ-დივაის AI-ს სტანდარტულად და უფასოდ მოიცავს:
- Apple Intelligence (iPhone 15 Pro/Max, iPhone 16+, iPad M1+-ით, Mac M1+-ით): ტექსტის ინსტრუმენტები, ჭკვიანი შეტყობინებები, სურათების რედაქტირება, ცოცხალი თარგმანი — ყველა უფასოა iOS 26 და macOS Tahoe 26-ის ფარგლებში.
- Google Gemini Nano (Pixel 9, Pixel 10): Google-ის ყველაზე პატარა Gemini მოდელი პირდაპირ Pixel-ის ტექნიკაზე გაიშვება. Pixel 10-ის Tensor G5 ჩიპი Gemini Nano-ს 2.6-ჯერ უფრო სწრაფად აშვებს, ნახევარი ენერგიით.
- Samsung Galaxy AI (Galaxy S25 სერია, Snapdragon 8 Elite): 350 მილიონ-პარამეტრიანი მოდელი Hexagon NPU-ზე 92 ტოკენს ამუშავებს წამში. ძირითადი ფუნქციები უფასოა.
რისი გამოყენება შეიძლება დეველოპერებმა
ყველაზე ხელმისაწვდომი საწყისი წერტილი — Liquid AI-ს LFM2.5-230M, 230 მილიონ-პარამეტრიანი მცირე ენობრივი მოდელი, რომელიც Hugging Face-ზე ღია წონებით არის ხელმისაწვდომი (უფასო ჩამოტვირთვა). მიუხედავად მცირე ზომისა, LFM2.5-230M მონაცემების ექსტრაქციის ამოცანებში 4-ჯერ დიდ მოდელებს სჯობს. Galaxy S25 Ultra-ს CPU-ზე 213 ტოკენს ამუშავებს წამში, Raspberry Pi 5-ზე — 42-ს — GPU-ის გარეშე. თავსებადია llama.cpp, MLX, ONNX Runtime, LM Studio და vLLM-თან.
სხვა გამოჩენილი მცირე ენობრივი მოდელები: Meta-ს Llama 3.2-1B, Google Gemma 3 და Microsoft Phi-4.
სიახლეებში
Liquid AI-ს LFM2.5-230M-ის გამოშვება — დღეს ჩვენს სიახლეებში გაშუქებული — კარგად ასახავს ტენდენციას: სასარგებლო AI, რომელიც Raspberry Pi-ზეც მუშაობს და ოთხჯერ დიდ კონკურენტებს სჯობს.
ხშირად დასმული კითხვები
შეუძლია ონ-დივაის AI-ს ღრუბლოვანი AI-ის ხარისხის გათანაბრება?
ყოველდღიური ამოცანებისთვის — სარეზიუმო, თარგმანი, ავტოდასრულება, ჭკვიანი პასუხები — ონ-დივაის მოდელები კარგ შედეგს იძლევა. რთული დასაბუთების, კოდის გენერაციის ან გრძელი ტექსტისთვის ღრუბლოვანი მასშტაბის მოდელები ჯერ კიდევ უპირატეს პოზიციაშია.
რომელი მოწყობილობები მხარს უჭერს ონ-დივაის AI-ს?
iPhone 15 Pro/Max და 16+, Google Pixel 9 და 10, Samsung Galaxy S25 — ყველა შეიცავს NPU ჩიპს ონ-დივაის AI-სთვის. ძირითადი ფუნქციები უფასოა და სტანდარტულ პროგრამულ უზრუნველყოფაში შედის.
რა არის SLM — მცირე ენობრივი მოდელი?
მცირე ენობრივი მოდელი AI ენობრივი მოდელია, შეზღუდული ტექნიკური რესურსებით მუშაობისთვის შექმნილი. ზუსტი განსაზღვრება ცვალებადია; პრაქტიკაში, 7-10 მილიარდ პარამეტრამდე მოდელები, რომლებიც ერთ სამომხმარებლო მოწყობილობაზე გაეშვება, SLM-ად ითვლება.
ღირს ონ-დივაის AI-ი ფულში?
სამომხმარებლო ფუნქციები — Apple Intelligence, Gemini Nano Pixel-ზე, Samsung Galaxy AI — უფასოა. ღია წონიანი მოდელები, მაგ. LFM2.5-230M, Hugging Face-ზე უფასოდ ჩამოიტვირთება. ღრუბლოვანი AI API-ები კი ტოკენ-ბაზირებულ გადასახადს ითხოვს.