Przejdź do treści
6 min czytania

Google Genie 4: nowy model świata z dźwiękiem i sterowaniem na żywo

Google DeepMind pokazał Genie 4 — model świata AI z dźwiękiem, realistyczną grafiką i edycją scen w czasie rzeczywistym dla testerów.

Google Genie 4: nowy model świata z dźwiękiem i sterowaniem na żywo

Źródło zdjęcia: TechCrunch

Google DeepMind udostępniło w ramach podglądu badawczego najnowszy model świata Genie 4 — narzędzie generujące interaktywne, trójwymiarowe środowiska na podstawie tekstowych i obrazowych promptów. Jak podaje TechCrunch, to najbardziej fotorealistyczna i interaktywna wersja tego modelu, pozwalająca użytkownikom wpisywać nowe polecenia w trakcie trwania symulacji, by zmieniać scenę na bieżąco. Nowością jest też generowanie dźwięku dopasowanego do symulowanego świata — muzyki, odgłosów otoczenia i interaktywnych dialogów.

Równolegle informację potwierdził serwis The Verge, który podkreśla, że pod maską Genie 4 działa model Gemini 3.8 Flash, wspierający symulacje w czasie rzeczywistym.

Kluczowe wnioski

  • Genie 4 to kolejna generacja modelu świata Google DeepMind, dostępna obecnie jako research preview dla „zaufanych testerów”.
  • Model generuje realistyczne światy z dźwiękiem (muzyka, odgłosy tła, dialogi) i pozwala na edycję sceny w czasie rzeczywistym — np. zmianę pogody, kąta kamery czy dodawanie nowych postaci i obiektów.
  • Scena może pozostać spójna przez maksymalnie dwie minuty — dwukrotnie dłużej niż w poprzedniku Genie 3.
  • Za symulacjami stoi ściślejsza integracja z Gemini, który pełni funkcję „reżysera” planującego kroki i sprawdzającego klatki generowane przez Genie.
  • Premiera wpisuje się w falę konsolidacji branży modeli świata: AMD przejmuje World Labs Fei-Fei Li, Amazon negocjuje zakup Decart, a Rivian kupił Third Dimension pod testy symulacyjne samochodów autonomicznych.

Co nowego w Genie 4 — realizm, dźwięk i sterowanie w czasie rzeczywistym

Według The Verge, Google wymienia cztery główne usprawnienia Genie 4: bardziej realistyczne światy, możliwość aktualizowania doświadczenia w czasie rzeczywistym za pomocą naturalnego języka, generowanie dźwięku oraz wykorzystanie modelu Gemini 3.8 Flash do wspierania symulacji. Doświadczenia generowane przez model trwają teraz około dwóch minut, wobec jednej minuty w Genie 3.

TechCrunch dodaje, że poza wydłużonym czasem trwania sceny, Genie 4 oferuje lepszą fizykę i bardziej realistyczne postacie ludzkie. Model pozwala na swobodne, dowolne edycje — zmianę pogody czy kąta kamery „w locie”, a także dodawanie nowych osób lub przedmiotów bez przerywania symulacji. To znaczący skok względem Genie 3, wydanego jako research preview nieco ponad rok temu.

Tejas Kulkarni, dyrektor badawczy w Google, opisał podczas briefingu prasowego kierunek rozwoju tej technologii: „To, co będziemy coraz częściej widzieć w przyszłości, to hybrydowe modele świata, gdzie Gemini pisze kod i tekst, a Genie przyjmuje to w czasie rzeczywistym, symulując rzeczywistość na różnych poziomach abstrakcji”.

Gemini jako reżyser i eksperymenty z robotyką

Integracja Genie 4 z Gemini wykracza poza samo generowanie obrazu. W eksperymencie badawczym powiązanym z Gemini Robotics model Gemini 4 Argon rozkładał zadania na poszczególne kroki, które Genie 4 symulowało w czasie rzeczywistym. Pokazuje to potencjalną drogę testowania scenariuszy dla robotów w symulacji, zanim trafią one do rzeczywistego świata — co może mieć istotne znaczenie dla rozwoju robotyki.

Jak przy większości modeli świata, Google wskazuje potencjalne zastosowania komercyjne: gry, interaktywną edukację i robotykę. Jednym z proponowanych przykładów interaktywnej edukacji jest możliwość „wejścia” w obraz przedstawiający historyczną scenę i prowadzenia rozmowy z jej bohaterami na temat portretowanego wydarzenia.

Jednak to „zaufani testerzy” — osoby mające pierwszy dostęp do najnowszych produktów Google — wskazują na nowe, nieoczywiste zastosowanie: prototypowanie filmów. Diego Rivas, inżynier Google DeepMind, podczas briefingu prasowego powiedział: „Aspekt czasu rzeczywistego staje się najcenniejszy tam, gdzie utrzymanie stanu przepływu twórczego jest niezwykle przydatne — na przykład na etapie ideacji, tworzenia storyboardu, wszędzie tam, gdzie potrzeba szybkiej generacji pomysłów”.

Rivas zwrócił uwagę, że Google oferuje już Veo, model generujący wideo AI, tworzący klipy wysokiej jakości z zsynchronizowanym dźwiękiem na podstawie tekstu, obrazu lub wideo — narzędzie, które zyskuje popularność wśród filmowców. Dodał również, że w przyszłości użytkownicy mogliby wykorzystywać Gemini Omni, multimodalny duży model językowy generujący wideo z obrazów, dźwięku i tekstu, by przekształcać prototypy stworzone w Genie w gotowe materiały kreatywne — choć, jak zastrzegł, te możliwości są „jeszcze daleko”.

Ograniczenia i dostępność

Przez cały briefing Rivas podkreślał, że to wciąż wczesny etap rozwoju Genie 4 i nie jest jasne, jak będzie wyglądać ostateczne doświadczenie produktowe. Zespół przyznał też, że model ma jeszcze luki: im dłużej trwa symulacja, tym bardziej mogą „dryfować” szczegóły i obiekty, a inżynierowie nie rozwiązali jeszcze problemu zapewnienia dokładności dźwięku oraz czytelności tekstu pojawiającego się w świecie symulacji.

Genie 4 jest dostępny jako research preview dla zaufanych testerów. W najbliższych tygodniach model trafi do subskrybentów Google AI Ultra w ramach Project Genie — narzędzia Google do generowania interaktywnych światów z promptów tekstowych lub obrazowych — oraz do partnerów wczesnego dostępu Gemini API i Google AI Studio. The Verge podaje, że Google uruchomił już listę oczekujących, na którą można się zapisać, by móc wypróbować model w Project Genie.

Premiera Genie 4 wpisuje się w szerszy trend konsolidacji branży: AMD przejmuje World Labs Fei-Fei Li, Amazon negocjuje zakup startupu Decart, a Rivian kupił firmę Third Dimension, by wbudować możliwości symulacyjne w testy pojazdów autonomicznych. Jednocześnie konkurencja nie śpi — AI-owy startup wideo Runway wypuścił kilka miesięcy wcześniej własny model świata GWM Worlds 2, który również odpowiada dynamicznie na działania użytkownika i generuje dźwięk.

Genie 4 pokazuje, że Google traktuje modele świata jako kolejne pole rywalizacji w wyścigu AI — łącząc fotorealizm, dźwięk i sterowanie w czasie rzeczywistym z ambicjami sięgającymi od gier po symulacje treningowe dla robotów.

Udostępnij
Powrót do nawigacji