ჩინურმა AI ლაბორატორიამ Moonshot AI-მ გამოაქვეყნა Kimi K3-ის სრული ღია წონები — 2.8-ტრილიონპარამეტრიანი მოდელი, რომელსაც კომპანია 3-ტრილიონიან კლასში პირველ ღია მოდელად მოიხსენიებს. წონები 26 ივლისს გახდა ხელმისაწვდომი, კომპანიის საკუთარ გრაფიკზე ერთი დღით ადრე, ტექნიკურ ანგარიშთან და ინფერენსის კოდთან ერთად.
რა არის ახალი K3-ში
Kimi K3 იყენებს მეჩხერ ექსპერტთა ნაზავის (MoE) არქიტექტურას, რომელიც თითოეული ტოკენისთვის მისი 896 „ექსპერტიდან“ მხოლოდ 16-ს აქტიურებს — ეს ინფერენსის ხარჯებს დაბალ დონეზე ინარჩუნებს მოდელის საერთო სიდიდის მიუხედავად. Moonshot-მა ამას დაამატა თავად შემუშავებული ორი ყურადღების (attention) კომპონენტი — Kimi Delta Attention და Attention Residuals — 93 შრეზე გადანაწილებული. კომპანიის თქმით, არქიტექტურა წინამორბედთან, Kimi K2-თან შედარებით, დაახლოებით 2.5-ჯერ მეტ მასშტაბირების ეფექტურობას იძლევა.
მოდელს აქვს 1 მილიონი ტოკენის საკონტექსტო ფანჯარა და ბუნებრივად ამუშავებს ტექსტს, სურათებსა და ვიდეოს. იმისთვის, რომ ამხელა მოდელის გაშვება პრაქტიკული გახდეს, Moonshot-მა ის კვანტიზაციის გათვალისწინებით ავარჯიშა და წონები კომპაქტურ MXFP4 ფორმატში გამოუშვა — სრულ სიზუსტეზე ვარჯიშის შემდეგ ცალკე შეკუმშვის ნაცვლად.
გამოშვება მოიცავს წონებს, ტექნიკურ ანგარიშსა და მხარდაჭერას ისეთი ინფერენსის ძრავებისთვის, როგორიცაა vLLM და SGLang — ყველაფერი Moonshot-ის საკუთარი Kimi K3 ლიცენზიით, რომელიც კვლევასაც და კომერციულ გამოყენებასაც ნებას რთავს. კომპანიამ ასევე ღიად გამოაქვეყნა K3-ის ინფრასტრუქტურის ნაწილი — მისი ყურადღების (attention) ბირთვები და ექსპერტთა ნაზავის კომუნიკაციის ბიბლიოთეკა.
სად დგას კონკურენციაში
Moonshot-მა თავის განცხადებაში აღნიშნა, რომ K3-ის საერთო შედეგები „მაინც ჩამორჩება“ Anthropic-ის Claude Fable 5-ს და OpenAI-ის GPT-5.6 Sol-ს, თუმცა იგივე შეფასების კომპლექტში ტესტირებულ სხვა მოდელებს, განსაკუთრებით კოდირებისა და აგენტური ამოცანების ნაწილში, უსწრებს. მოდელი ასევე ხელმისაწვდომია Moonshot-ის Kimi აპლიკაციისა და API-ის მეშვეობით, ფასად $0.30 მილიონ შემავალ ტოკენზე (cache hit-ისას), $3 მილიონზე (cache miss-ისას) და $15 მილიონ გამომავალ ტოკენზე.
გამოშვება ემატება ჩინური ლაბორატორიების მხრიდან დიდი ღია წონების მოდელების ტენდენციას, მათ შორის Nvidia-ს ხელმძღვანელის ჯენსენ ჰუანგის საჯარო მოწოდებას ინდუსტრიისთვის ღია მოდელების მხარდასაჭერად. ის ასევე რამდენიმე თვის შემდეგ მოვიდა, რაც თეთრმა სახლმა Moonshot AI დაადანაშაულა K2-ის Anthropic-ის Claude მოდელებიდან დისტილირებულ მონაცემებზე ვარჯიშში — ბრალდება, რომელსაც Moonshot-მა უარყო. K3-ის სრული წონების გამოქვეყნება გარე მკვლევრებსა და დეველოპერებს მოდელის პირდაპირ შემოწმებისა და გაშვების საშუალებას აძლევს, მხოლოდ API-ზე წვდომის ნაცვლად.