BootLoops: narzędzie open-source do obliczeń naukowych z Claude

BootLoops to nowe, otwarte narzędzie zbudowane przez fizyka Matthew Schwartza z Uniwersytetu Harvarda, które pozwala modelom językowym wykonywać precyzyjne obliczenia naukowe i łączyć wiedzę z różnych dziedzin. Schwartz, obecnie także visiting researcher w Anthropic, opisał projekt w gościnnym wpisie na blogu firmy, tłumacząc, że zamiast traktować Claude'a jak ludzkiego badacza, zaczął szukać zadań „w kształcie Claude'a” – takich, które wykorzystują rzeczywiste mocne strony dzisiejszych modeli AI.

Kluczowe wnioski

• Matthew Schwartz z Harvardu zbudował open-source'owe narzędzie BootLoops, które wykorzystuje modele językowe do obliczeń naukowych i łączenia wiedzy między dyscyplinami.
• W ciągu trzech miesięcy Schwartz i 19 współautorów przygotowali 36 manuskryptów w 18 dziedzinach – od obliczeń z fizyki cząstek elementarnych, przez modelowanie ekologiczne, po analizę genomu.
• Claude obliczył 30 całek eliptycznych związanych z amplitudami rozpraszania – piętnaście odtworzyło znane wyniki, piętnaście obliczono po raz pierwszy.
• Schwartz ostrzega, że modele AI często przedwcześnie deklarują sukces albo wyciągają błędne wnioski z poprawnych obliczeń, co sprawia, że ludzki nadzór i weryfikacja pozostają niezbędne.
• Kod BootLoops jest dostępny publicznie na GitHubie.

Od „wypełniania wypukłej otoczki” do konkretnych odkryć

Schwartz tłumaczy swoją filozofię pracy z AI za pomocą koncepcji „wypukłej otoczki” (convex hull) wiedzy naukowej. Wiedza ludzka jest fragmentaryczna – poszczególne dziedziny rozwijają się w różnych kierunkach, a przestrzenie między nimi pozostają niezbadane. Jakieś laboratorium może spędzić 20 lat, badając jeden zestaw genów jedną metodą, pozostawiając sąsiadujące geny i alternatywne podejścia zupełnie nietknięte. Narzędzie takie jak BootLoops ma wypełniać te luki, wyszukując powiązania na nieregularnych granicach wiedzy.

Dzięki tej strategii Claude znalazł połączenia między fizyką cząstek elementarnych, ekologią, genetyką populacyjną, ekonomią i lingwistyką. Jak zaznacza Schwartz, wyniki nabierały rzeczywistej wartości naukowej dopiero wtedy, gdy do procesu włączali się eksperci z danej dziedziny, wskazując odpowiedni kierunek badań.

Efekty trzymiesięcznej pracy były imponujące skalą. Oprócz obliczeń z fizyki cząstek, zespół zastosował BootLoops w ekologii – Claude rozwiązał 20-letnie równanie z teorii neutralnej bioróżnorodności, które wcześniej było niemożliwe do obliczenia w dużej skali. Po zastosowaniu do rzeczywistych danych okazało się, że skład gatunkowy drzew na wyspie Barro Colorado w Kanale Panamskim zmienia się 4,5 razy szybciej, niż przewiduje teoria. Ekolog James O'Dwyer pomógł następnie przekształcić to odkrycie w lepszy model predykcyjny.

W genetyce populacyjnej zespół przeanalizował 5,7 miliarda par mutacji z projektu 1000 Genomes i znalazł dowody na mechanizm zwany konwersją genów. Inne projekty obejmowały edytor danych AI dla czasopism ekonomicznych, który automatycznie sprawdził 4452 pakiety replikacyjne – wyniki opublikowano jako NBER Working Paper – a także bazę akcentów słownych obejmującą 6072 języki, zbudowaną wspólnie z trzema lingwistami.

„Python dla inżynierów jest już przestarzały”

Schwartz opisuje, jak gwałtownie AI zmienia naukę – do tego stopnia, że planowanie z wyprzedzeniem staje się praktycznie niemożliwe. Zadaje pytanie: po co aplikować o trzyletni grant na finansowanie obliczeń, które model AI może rozwiązać przez jedną noc?

Kwestią otwartą staje się też kształcenie doktorantów. Od czasu wcześniejszego wpisu Schwartza na temat „Vibe Physics” to odczucie tylko się wzmocniło. W niektórych dziedzinach, jak informatyka, skala zakłóceń jest niepokojąca – dwa lata temu Schwartz nazwałby kurs „Pythona dla inżynierów” „niezbędnym”, dziś uważa go za „niepotrzebny”, bo Claude potrafi wykonać te zadania samodzielnie. Budowanie modeli uczenia maszynowego do badania zjawisk fizycznych to kolejna dziedzina, którą AI może przejąć – nawet głęboka wiedza o sieciach neuronowych daje ograniczone korzyści, gdy Claude może na zawołanie zaimplementować aktualny stan wiedzy z badań nad ML.

„Sprawdzaj wszystko samodzielnie”

Schwartz ostrzega też przed słabościami modeli. Claude ma tendencję do przedwczesnego deklarowania sukcesu, a frazy w stylu „zrobione, z jednym zastrzeżeniem” często oznaczają „wcale nie zrobione”. Model błędnie ocenia, ile czasu zajmą zadania, i preferuje rozwiązania siłowe (brute-force) zamiast elegantniejszych podejść. Automatyczne weryfikacje nie są wiarygodne, a wnioski Claude'a mogą być błędne nawet wtedy, gdy same obliczenia są poprawne.

Poza kwestią wiarygodności, model skłania się w stronę starych, już szeroko dyskutowanych tematów, a nie prawdziwie nowych pytań badawczych. Same projekty były też – jak zaznacza Schwartz – „bardzo kosztowne obliczeniowo i tokenowo”.

Schwartz uważa koncentrację na wielkich problemach matematycznych i nagłówkach prasowych za ryzykowną. Nierealistyczne oczekiwania mogą odwracać uwagę od produktywnych zastosowań, które działają już dziś. Prawdziwy postęp wciąż będzie budowany na solidnych fundamentach – po prostu szybciej. Sama metoda naukowa nie jest zagrożona, a ludzkie przewodnictwo i wyczucie pozostają niezastąpione, podsumowuje Schwartz.

Projekt BootLoops pokazuje, że przełom w nauce dzięki AI nie polega na zastąpieniu badaczy, lecz na odkrywaniu nieoczekiwanych połączeń między dziedzinami – pod warunkiem, że ostateczną weryfikację i interpretację wyników pozostawi się ludziom.