GPT-6 od OpenAI znacznie lepszy w COBOL i Fortranie

OpenAI poinformowało, że najnowsza generacja modeli GPT-6 znacząco poprawiła obsługę tzw. „niskozasobowych” języków programowania – takich jak COBOL, Fortran czy Visual Basic. Te języki, mimo że dysponują znacznie mniejszą ilością dostępnego kodu treningowego niż np. Python, wciąż napędzają kluczową infrastrukturę informatyczną na całym świecie. Według szacunków IBM, COBOL odpowiada za ponad 40 procent systemów bankowości internetowej i aż 95 procent transakcji bankomatowych.

Kluczowe wnioski

• OpenAI opracowało dwa nowe testy do pomiaru postępów modeli w pracy z legacy'owymi językami programowania.
• W teście MultiLangBench, polegającym na zbudowaniu silnika bazy danych zgodnego z SQLite od podstaw, GPT-6 Astra przy maksymalnym nakładzie rozumowania osiąga średni wskaźnik zaliczonych testów na poziomie 87,4 procent dla 20 języków – wobec zaledwie około 38 procent dla GPT-5.6 Terra.
• GPT-6 Luna notuje wynik 40,3 procent, nieznacznie wyprzedzając GPT-5.6 Terra (37,9 procent), ale przy znacznie niższym koszcie obliczeniowym.
• W benchmarku dotyczącym migracji COBOL-a (tłumaczenia kodu na C++, Java, Kotlin, Python lub Rust) GPT-6.1 Sol osiąga dokładność 86,6 procent przy niskim nakładzie rozumowania – wobec zaledwie 5,4 procent dla GPT-5.6 Sol.
• Zwiększenie nakładu rozumowania pozwala GPT-6.1 Sol osiągnąć dokładność na poziomie aż 97,9 procent.

Dlaczego legacy'owe języki wciąż mają znaczenie

COBOL i Fortran bywają traktowane jako relikty informatyki sprzed dekad, ale to one wciąż obsługują krytyczne systemy finansowe, ubezpieczeniowe i rządowe na całym świecie. Problem polega na tym, że w internecie i repozytoriach kodu dostępnych jest znacznie mniej przykładów w tych językach niż w popularnym obecnie Pythonie czy JavaScript. To utrudnia trenowanie dużych modeli językowych, które uczą się na podstawie ogromnych zbiorów publicznie dostępnego kodu – im mniej danych, tym trudniej modelowi nauczyć się subtelności składni i idiomów danego języka.

Dlatego właśnie OpenAI postanowiło zmierzyć, na ile nowa generacja GPT-6 radzi sobie z tym ograniczeniem. Firma stworzyła dwie dedykowane ewaluacje: MultiLangBench, dostępny publicznie na GitHubie, oraz benchmark migracji COBOL-a, który sprawdza zdolność modelu do przetłumaczenia starego kodu na nowoczesne języki.

Jak wypadły konkretne modele w testach

W MultiLangBench modele mają za zadanie zbudować od zera silnik bazy danych zgodny z SQLite – zadanie wymagające zrozumienia logiki programowania niezależnie od konkretnej składni języka. Przy maksymalnym nakładzie rozumowania GPT-6 Astra osiąga średni wskaźnik zaliczonych testów na poziomie 87,4 procent w 20 różnych językach programowania. To ogromny skok w porównaniu do GPT-5.6 Terra, który notował wynik rzędu 38 procent. Warto zaznaczyć, że GPT-6.1 Sol osiąga podobny poziom – około 87 procent – co sugeruje, że poprawa obsługi niszowych języków nie jest cechą jednego, pojedynczego modelu, lecz szerszym trendem w nowej generacji systemów OpenAI.

Tańszy wariant, GPT-6 Luna, wypada skromniej, notując 40,3 procent – zaledwie nieznacznie powyżej 37,9 procent uzyskanych przez GPT-5.6 Terra. Różnica polega jednak na koszcie: Luna osiąga ten wynik przy znacznie niższych wymaganiach obliczeniowych, co czyni ją bardziej opłacalną opcją tam, gdzie pełna moc Astry nie jest konieczna.

Drugi test, skupiony na migracji kodu COBOL na nowocześniejsze języki – C++, Java, Kotlin, Python lub Rust – pokazuje jeszcze wyraźniejszą poprawę. GPT-6.1 Sol przy niskim nakładzie rozumowania osiąga dokładność 86,6 procent, podczas gdy poprzednia generacja, GPT-5.6 Sol, radziła sobie na poziomie zaledwie 5,4 procent. Zwiększenie nakładu rozumowania pozwala GPT-6.1 Sol jeszcze bardziej podnieść wynik – do 97,9 procent dokładności.

Co to oznacza dla branży IT

Skala poprawy – szczególnie w zadaniu migracji COBOL-a, gdzie dokładność wzrosła z kilku procent do blisko 98 – sugeruje, że modele OpenAI mogą stać się realnym narzędziem dla firm i instytucji wciąż polegających na systemach napisanych dekady temu. Dla banków, ubezpieczycieli czy instytucji publicznych, które od lat zmagają się z brakiem specjalistów znających COBOL, automatyczne tłumaczenie starego kodu na nowoczesne języki może oznaczać realne oszczędności czasu i pieniędzy przy modernizacji infrastruktury IT.

Jednocześnie warto pamiętać, że tego rodzaju benchmarki publikowane przez same firmy tworzące modele – w tym przypadku OpenAI – warto konfrontować z niezależnymi testami. Jak pokazują inne analizy dotyczące nasycenia benchmarków AI, wysokie wyniki w testach nie zawsze przekładają się wprost na realną użyteczność w produkcyjnych środowiskach, zwłaszcza w tak specyficznej domenie jak legacy'owe systemy finansowe.

Postępy GPT-6 w obsłudze COBOL-a i Fortrana pokazują, że OpenAI stawia nie tylko na rozwój najnowocześniejszych zastosowań AI, ale też na rozwiązywanie bardzo praktycznych, choć mniej medialnych problemów infrastrukturalnych, z którymi od lat zmaga się sektor finansowy i instytucje publiczne.