OlmoEarth Platform umożliwia analizę satelitarną w skali planetarnej

Allen Institute for AI przedstawił OlmoEarth Platform – zaawansowaną infrastrukturę umożliwiającą analizę satelitarną w skali planetarnej. Platforma pozwala przetwarzać dziesiątki terabajtów obrazów satelitarnych i generować mapy kontynentalnych obszarów w ciągu jednego dnia, wykorzystując modele sztucznej inteligencji do monitorowania środowiska. Szczegóły techniczne rozwiązania opisuje artykuł opublikowany na Hugging Face.

OlmoEarth to rodzina modeli podstawowych do obserwacji Ziemi, wytrenowana na około 10 terabajtach wielomodalnych danych satelitarnych. Organizacje rządowe, NGO-sy i inne instytucje misyjne już adaptują te modele do zastosowań obejmujących monitorowanie wylesiania, bezpieczeństwo żywnościowe i ryzyko pożarów.

Kluczowe wnioski

• OlmoEarth Platform może przeprowadzać analizę obszarów wielkości kontynentów w około jednym dniu, przetwarzając dziesiątki terabajtów obrazów przy koszcie ułamków grosza za kilometr kwadratowy.
• Niedawny projekt mapy ryzyka pożarów dla całej Ameryki Północnej wykorzystał równolegle około 19 600 procesorów i 994 karty graficzne, osiągając przepustowość sieci przekraczającą 168 GB/s.
• System dzieli zadania na trzy etapy dopasowane do różnych typów sprzętu: pozyskiwanie danych (CPU), wnioskowanie (GPU) i przetwarzanie końcowe (CPU).
• Platforma rozwiązuje kluczowe wyzwania analizy satelitarnej, w tym obsługę różnych dostawców danych, projekcji i rozdzielczości oraz synchronizację wyników w spójne mapy geograficzne.

Wyzwania analizy satelitarnej na dużą skalę

Podczas gdy typowe modele uczenia maszynowego przetwarzają kilka megabajtów danych i generują wyniki w ułamku sekundy, analiza satelitarna operuje na zupełnie innej skali. Pojedyncze zadanie dostrajania modelu podstawowego może przemieszczać terabajty danych i działać przez godziny.

Dane wejściowe mogą obejmować wiele pasm spektralnych, typów sensorów i kroków czasowych na dużym obszarze geograficznym. Pochodzą od różnych dostawców, używających odmiennych projekcji i rozdzielczości, i mogą zawierać obserwacje brakujące lub zasłonięte przez chmury. Wyniki muszą pozostać precyzyjnie wyrównane z tą samą projekcją i siatką współrzędnych co obszary wokół nich.

Nawet pozyskiwanie danych może stanowić poważne wyzwanie. Zadania predykcji często spędzają więcej czasu na pobieraniu i przygotowywaniu obrazów niż na uruchomieniu samego modelu, co czyni wydajne potoki danych kluczowymi.

Architektura dopasowana do zadań

Ze względu na to, że pozyskiwanie i przygotowanie danych często dominuje w czasie wykonywania zadania, przypisanie tej pracy do GPU pozostawiłoby najdroższy sprzęt systemu do wykonywania zadań lepiej dostosowanych do procesorów. Dlatego OlmoEarth Platform dzieli każde zadanie na trzy etapy dopasowane do różnych profili sprzętowych.

Pierwszy etap obejmuje pozyskiwanie i przetwarzanie wstępne danych na procesorach z wysoką przepustowością I/O. System pobiera, reprojektuje, wyrównuje i normalizuje obrazy, następnie zapisuje je w formacie zoptymalizowanym pod kątem szybkiego ładowania podczas wnioskowania.

Drugi etap to właściwe wnioskowanie na kartach graficznych, gdzie następuje przejście przez model i zapis minimalnie przetworzonych wyników bezpośrednio do pamięci masowej. Trzeci etap wykorzystuje procesory do złożenia wyników z poszczególnych okien, zastosowania masek lub skalowania i eksportu w formatach przyjaznych użytkownikom, takich jak Zarr, GeoTIFF czy GeoJSON.

Masowe przetwarzanie równoległe

OlmoEarth Run – warstwa wykonawcza platformy do zadań wnioskowania na dużą skalę – dzieli region geograficzny każdego zadania na partycje dostosowane do poszczególnych instancji obliczeniowych, następnie dzieli te partycje na mniejsze okna przetwarzane przez modele OlmoEarth.

W praktyce obszar wielkości stanu może stać się setką partycji, podczas gdy analiza w skali kontynentu może generować ich tysiące. Sąsiadujące partycje nieznacznie się nakładają, a zespół rekoncyliuje to nakładanie podczas składania wyników, aby w końcowej rastrze nie pojawiły się szwy.

Ponieważ partycje są niezależne, ten sam etap może działać jednocześnie na tysiącach instancji obliczeniowych. Ta równoległość nie jest jednak nieograniczona – więcej pracowników napotyka ograniczenia chmury obliczeniowej, więc paralelizm stanowi jeden z kilku parametrów, które można dostroić dla poszczególnych zadań.

Platforma OlmoEarth demonstruje, jak zaawansowana infrastruktura może uczynić analizę satelitarną w skali planetarnej dostępną dla organizacji zajmujących się ochroną środowiska, które wcześniej nie miały odpowiednich zasobów technicznych do wykorzystania potencjału sztucznej inteligencji w monitorowaniu Ziemi.