Thinking Machines-მა Inkling-Small გამოუშვა — დიდ მოდელსაც სჯობნის
Thinking Machines Lab-ის მეორე ღია წონების მოდელი წინამორბედის აქტიური პარამეტრების მხოლოდ მეოთხედს იყენებს, თუმცა მსჯელობისა და კოდირების ტესტებში სჯობნის მას.
ვრცლად →ექსპერტთა ნარევი (MoE)და AI კვლევა
AI ამბების ყველა სტატია, რომელიც ეხება თემებს ექსპერტთა ნარევი (MoE) და AI კვლევა — ორივე მიმართულება ერთ გვერდზე, განახლებადი ახალი მასალის გამოქვეყნებისთანავე.
3 სტატია
Moonshot AI-მ Kimi K3 გამოუშვა — 2.8-ტრილიონპარამეტრიანი ღია მოდელი
ჩინურმა Moonshot AI-მ გამოუშვა Kimi K3 — 2.8-ტრილიონპარამეტრიანი ღია მოდელი 1 მილიონ ტოკენამდე საკონტექსტო ფანჯრით, რომელსაც კომპანია მსოფლიოში პირველ ღია 3-ტრილიონიან-კლასის AI მოდელად მოიხსენიებს.
ვრცლად →რა არის Mixture of Experts (MoE) მოდელი — და რატომ აქვს მნიშვნელობა?
Mixture of Experts (MoE) საშუალებას აძლევს AI მოდელს, შეინახოს ასობით მილიარდი პარამეტრი, თუმცა თითო მოთხოვნაზე მხოლოდ მისი ნაწილი აქტიურდება — ამიტომ ზოგი უზარმაზარი მოდელი გაშვებაში იაფია.
ვრცლად →