კალიფორნიულმა AI სტარტაპმა PrismML-მა 14 ივლისს გამოაცხადა Bonsai 27B-ის გამოშვება — კომპანიის თქმით, ეს არის მისი პარამეტრების კლასის პირველი მოდელი, რომელიც სმარტფონზე პირდაპირ მუშაობს.
Bonsai 27B აგებულია Alibaba-ს Qwen3.6 27B-ის საფუძველზე და ორი შეკუმშული ვერსიით გამოვიდა, კომპანიის განცხადების მიხედვით. „ტერნარული" ვერსია სამმნიშვნელიან წონებს იყენებს და 5.9GB მეხსიერებას საჭიროებს, 15 ბენჩმარქზე სრულხარისხიანი მოდელის შესაძლებლობების 95%-ს ინარჩუნებს. უფრო აგრესიული 1-ბიტიანი ვერსია მოდელს 3.9GB-მდე ამცირებს — საკმარისად მცირეს, რომ iPhone-ზე თავისუფლად დაეტიოს — და ბაზისური შესაძლებლობების დაახლოებით 90%-ს ინარჩუნებს.
რატომ აქვს შეკუმშვას მნიშვნელობა
სტანდარტულ 27-მილიარდპარამეტრიან მოდელს ჩვეულებრივ დაახლოებით 54GB მეხსიერება სჭირდება, რაც მას სმარტფონებისა და უმეტესი ლეპტოპებისთვის მიუწვდომელს ხდის. PrismML-ის დაბალბიტიანი კვანტიზაციის ტექნიკა ამ მოცულობას დაახლოებით 90%-ით ამცირებს, კომპანიის თქმით, ისე, რომ არ ჩნდება ის მკვეთრი ვარდნა მსჯელობის ხარისხში, რასაც ჩვეულებრივ ძლიერი შეკუმშვა იწვევს.
PrismML-ის გამოქვეყნებული კატეგორიული შედეგების მიხედვით, ტერნარულმა ვერსიამ მათემატიკის ამოცანებში 93.4 ქულა მიიღო, კოდირებაში კი — 86.0, სრულხარისხიანი მოდელის საერთო 85.0 ქულის ფონზე. მოდელები 262,000-ტოკენიან საკონტექსტო ფანჯარას უჭერენ მხარს და მუშაობენ სპეციალურად აგებული დაბალბიტიანი ბირთვების საშუალებით — Apple-ის მოწყობილობებზე პირდაპირ MLX-ის მეშვეობით, Nvidia-ს GPU-ებზე კი CUDA-ს გამოყენებით. Nvidia RTX 5090-ზე 1-ბიტიანი ვერსია წამში 163 ტოკენამდე აღწევს, Apple-ის M5 Max ჩიპზე კი — 87 ტოკენამდე.
PrismML, რომელიც Caltech-ის ფესვების მქონე გუნდმა დააარსა და Khosla Ventures-ის, Google-ისა და Samsung-ის მხარდაჭერა აქვს, მოდელის წონები ლიბერალური Apache 2.0 ლიცენზიით გამოაქვეყნა, რაც დეველოპერებს საშუალებას აძლევს, ისინი ჩამოტვირთონ, შეცვალონ და კომერციულადაც კი გამოიყენონ შეზღუდვების გარეშე.
გამოშვება ხდება იმ დროს, როცა AI ლაბორატორიები ერთმანეთს ეჯიბრებიან, შესაძლებლობებით მდიდარი მოდელები სმარტფონებსა და ლეპტოპებზე გადაიტანონ, ღრუბლოვან გამოთვლებზე მხოლოდ დამოკიდებულების ნაცვლად — ტენდენცია, რომელსაც ნაწილობრივ მონაცემთა ცენტრების შეზღუდული სიმძლავრე განაპირობებს, ნაწილობრივ კი — ოფლაინ და პირადი AI ასისტენტების მოთხოვნა.