FLOPs a realny czas pracy AI: replikacja podważa formułę α-FLOPs

Nowa praca naukowa autorstwa Enrique Barby Roque i Luísa Cruza podważa jedną z najczęściej stosowanych metod oceny efektywności modeli AI — liczbę operacji zmiennoprzecinkowych (FLOPs). Badacze powtórzyli eksperymenty z wcześniejszego studium, które zaproponowało wzór α-FLOPs do szacowania czasu wykonania obliczeń, i sprawdzili, czy jego wnioski nadal obowiązują na nowszym, znacznie mocniejszym sprzęcie.

Punktem wyjścia jest obserwacja, że raportowanie FLOP-ów stało się standardem przy ocenie kosztów obliczeniowych sztucznej inteligencji — zwłaszcza w kontekście gigantycznych modeli, wysokiego zapotrzebowania energetycznego i kosztów środowiskowych. Problem w tym, że zależność między liczbą FLOP-ów a rzeczywistym czasem wykonania nie jest liniowa: warstwy sieci neuronowej wykonujące identyczną liczbę operacji mogą działać w zupełnie różnym czasie, bo niektóre operacje da się łatwiej zrównoleglić niż inne.

Kluczowe wnioski

• Autorzy powtórzyli oryginalne eksperymenty ze studium wprowadzającego formułę α-FLOPs, by sprawdzić jej aktualność na nowszym sprzęcie.
• W trakcie replikacji natrafili na braki w materiałach udostępnionych przez oryginalnych autorów — brakowało szczegółowych informacji o zależnościach (dependencies) oraz przejrzystości danych regresyjnych.
• Wyniki potwierdzają tezę, że sama liczba FLOP-ów nie jest właściwą miarą czasu wykonania — wymiary przestrzenne łatwiej podlegają zrównolegleniu niż wymiary kernela.
• Bardziej precyzyjne, drobiazgowe pomiary pokazały, że relacja jest znacznie mniej przewidywalna, niż sugerowało oryginalne badanie — nowszy sprzęt generuje niestabilności, skoki i oscylacje czasu wykonania.
• Formuła α-FLOPs systematycznie nie doszacowuje tych niestabilności, co daje wynik negatywny mimo potwierdzenia ogólnej tezy oryginalnego studium.

Dlaczego FLOP-y nie mówią całej prawdy

Podstawowym problemem, jaki opisują autorzy, jest rozbieżność między teoretyczną liczbą operacji a rzeczywistym zachowaniem sprzętu. FLOP-y traktują wszystkie operacje jako równoważne, ignorując fakt, że architektura procesorów i akceleratorów AI zrównoleglizuje różne typy obliczeń w różnym stopniu. Warstwy o identycznej liczbie FLOP-ów mogą więc wykonywać się w zupełnie odmiennym czasie w zależności od tego, jak ich struktura pasuje do architektury sprzętu.

To właśnie próbowała rozwiązać oryginalna praca, która zaproponowała formułę α-FLOPs — model estymacji czasu wykonania biorący pod uwagę te różnice. Barba Roque i Cruz postawili sobie za cel zweryfikowanie, czy ta formuła nadal działa na nowszych, znacznie wydajniejszych układach obliczeniowych, które nie były dostępne w czasie publikacji oryginalnego studium.

Problemy z replikacją i luki w materiałach źródłowych

Sam proces replikacji okazał się pouczający sam w sobie. Autorzy podkreślają, że materiały udostępnione przez zespół, który stworzył α-FLOPs, były niekompletne — brakowało w nich konkretnych informacji o zależnościach programistycznych (dependencies) potrzebnych do odtworzenia eksperymentów, a dane regresyjne wykorzystane do wyprowadzenia formuły nie zostały udokumentowane w sposób przejrzysty.

To dla autorów punkt wyjścia do szerszego apelu: badania nad efektywnością AI, które są ściśle zależne od konkretnego sprzętu, wymagają kompletnych i dokładnych pakietów replikacyjnych. Bez nich weryfikacja wyników — a tym samym budowanie na nich dalszej wiedzy — staje się znacznie trudniejsza. W ramach własnej pracy autorzy udostępnili pełny pakiet replikacyjny swojej implementacji, aby ułatwić dalsze badania w tym obszarze.

Co pokazały nowe, drobiazgowe pomiary

Kiedy autorzy przeprowadzili własne, bardziej precyzyjne pomiary na nowszym sprzęcie, potwierdzili główną tezę oryginalnego studium: wymiary przestrzenne (spatial dimensions) rzeczywiście pozostają łatwiejsze do zrównoleglenia niż wymiary kernela, co oznacza, że sama liczba FLOP-ów nie jest wystarczającą metryką do oceny czasu wykonania.

Jednak dokładniejsze pomiary ujawniły coś, czego oryginalne badanie nie uchwyciło — zależność między FLOP-ami i czasem wykonania jest znacznie bardziej złożona i mniej przewidywalna, niż wcześniej sugerowano. Nowszy sprzęt wykazuje niestabilności i nieciągłości w czasie wykonania, w tym nieoczekiwane skoki i oscylacje. Formuła α-FLOPs generalnie nie doszacowuje tych zjawisk, co oznacza, że jej estymacje odbiegają od rzeczywistego zachowania na najnowszych układach.

W efekcie autorzy podsumowują swoje wyniki jako mieszane: empiryczne wnioski oryginalnego studium zostały zwalidowane, ale sama praktyczna użyteczność formuły α-FLOPs jako narzędzia estymacyjnego wypada negatywnie na nowszym sprzęcie.

Znaczenie dla oceny efektywności AI

Praca ma znaczenie wykraczające poza sam wzór α-FLOPs. Skoro nawet uznana metoda estymacji nie przekłada się dobrze na nowsze generacje sprzętu, oznacza to, że powszechnie stosowane raportowanie samych FLOP-ów jako miary kosztu obliczeniowego czy energetycznego modeli AI może dawać zniekształcony obraz rzeczywistości — szczególnie w kontekście debaty o środowiskowych kosztach dużych modeli językowych i infrastruktury AI. Autorzy pokazują też, jak istotna jest kultura pełnej, transparentnej replikacji w badaniach nad efektywnością zależną od konkretnej architektury sprzętowej — bez tego trudno odróżnić uniwersalne prawa od artefaktów jednej generacji procesorów.

Badanie, choć techniczne, przypomina, że mierzenie „ile pracy naprawdę wykonuje” model AI jest znacznie trudniejsze, niż wskazywałaby sama liczba operacji na papierze — a wnioski wyciągane na jednym sprzęcie nie muszą automatycznie przenosić się na kolejne generacje układów.