Bonsai 27B — model AI o 27 miliardach parametrów zmieści się w iPhone'ie

PrismML wypuściła Bonsai 27B — model sztucznej inteligencji o 27 miliardach parametrów, który może działać bezpośrednio na iPhone'ie. Firma twierdzi, że model zachowuje pełne możliwości rozumowania i agentowe mimo drastycznej kompresji. Apple podobno testuje tę technologię w ramach rozmów z PrismML.

Model został opracowany przez zespół badaczy z Caltech i bazuje na Qwen3.6–27B firmy Alibaba. PrismML przekonuje, że współczesne aplikacje AI coraz częściej wymagają potężnych modeli działających lokalnie na urządzeniu.

Kluczowe wnioski

• Bonsai 27B został skompresowany z 54 GB do zaledwie 3,9 GB w najmniejszej wersji, dzięki zastosowaniu 1–2 bitów na wagę zamiast standardowych 16 bitów.
• Mniejsza wersja zachowuje 90% wydajności oryginalnego modelu, a większa (5,9 GB) aż 95% przy testach na 15 benchmarkach.
• Apple prowadzi „bardzo wczesne” rozmowy z PrismML o tej technologii kompresji, testując modele pod kątem szybkości i zużycia energii.
• Model generuje około 11 tokenów na sekundę na iPhone 17 Pro Max i może wyprodukować około 67 000 tokenów na pełnym naładowaniu baterii.
• Technologia ma licencję Apache 2.0 i wspiera wieloetapowe rozumowanie, używanie narzędzi oraz rozumienie obrazów.

Technologia kompresji rewolucjonizuje AI na urządzeniach mobilnych

PrismML rozwiązuje kluczowy problem nowoczesnych aplikacji AI. Jak wyjaśnia firma, agent AI może wykonać setki wywołań modelu w sekwencji, gdzie każde niesie ze sobą kontekst i przekazuje wyniki do następnego kroku. W chmurze oznacza to rosnące koszty za każdy token, opóźnienia sieciowe oraz konieczność wysyłania prywatnych danych poza urządzenie.

Działanie na urządzeniu redukuje krańcowe koszty tych pętli do zera i zachowuje dane użytkownika lokalnie. PrismML postrzega to jako podstawę dla ciągle działających agentów, asystentów offline i systemów hybrydowych, gdzie proste zadania pozostają na urządzeniu, a tylko najtrudsze są wysyłane do zaawansowanych modeli w chmurze.

Dwubitowa kompresja przy minimalnej utracie jakości

Tradycyjnie model o tej wielkości zajmuje około 54 GB miejsca, a nawet ze standardową kompresją wymaga około 18 GB. PrismML oferuje dwie znacznie mniejsze wersje: jakościową o rozmiarze około 5,9 GB przeznaczoną na laptopy oraz kompaktową 3,9 GB mieszczącą się w ograniczonej pamięci iPhone'a 17 Pro Max.

Zamiast przechowywać każdą wagę sieci neuronowej jako 16 bitów, PrismML używa tylko jednego lub nieco poniżej dwóch bitów. W najbardziej agresywnej wersji każda waga ma tylko dwa stany, w nieco większej — trzy. Takie podejście jest stosowane w całym modelu językowym.

Według własnej oceny PrismML na 15 benchmarkach większa wersja zachowuje 95% wydajności oryginalnego modelu, mniejsza — 90%. Matematyka i kodowanie pozostały „praktycznie nienaruszone”. Większe spadki pojawiły się przy bardziej agresywnej kompresji, szczególnie w rozumieniu obrazów, podążaniu za instrukcjami i używaniu narzędzi przez agenty.

Apple szuka sposobu na nadrobienie lokalnego AI

Według raportu CNBC, PrismML już prowadzi rozmowy z Apple o technologii kompresji stojącej za Bonsai. CEO PrismML Babak Hassibi potwierdził, że Apple i inne firmy testują modele pod kątem szybkości, zużycia energii i wydajności. Rozmowy są „bardzo wczesne”, ale „sprawy rozwijają się dobrze”.

Licencjonowana technologia kompresji byłaby ważna dla Apple, którego własne modele do tej pory pozostają w tyle za konkurencją w benchmarkach. Na WWDC 2026 Apple zaprezentował odnowioną Siri opartą na modelach fundamentowych opracowanych z Google przy użyciu technologii Gemini. Najpotężniejszy model działający na urządzeniu wymaga już iPhone'a z co najmniej 12 GB RAM, a złożone zapytania działają na procesorach Nvidia w chmurze Apple.

Firma została założona przy wsparciu Khosla Ventures, Cerberus i Google, a Samsung kontynuuje jej wsparcie. PrismML planuje następnie zastosować swoją technologię kompresji do serii modeli Gemma Google, której mniejsze wersje już działają na smartfonach.