Przejdź do treści
7 min czytania

Jak mierzyć oszczędność czasu dzięki AI? Nowe badanie

Nowe badanie arXiv pokazuje, że oszczędność czasu z AI trzeba liczyć razem z błędami, które przechodzą przez niedostateczną kontrolę jakości.

Jak mierzyć oszczędność czasu dzięki AI? Nowe badanie

Źródło zdjęcia: arXiv.org

Nowa praca na arXiv podważa sposób, w jaki branża technologiczna mierzy „oszczędność czasu” wynikającą z korzystania z AI. Autor, Solomon Shalom Lijo, w artykule zatytułowanym „Counting the Bandages: On measuring the time that AI saves” argumentuje, że popularne metody liczenia zysków produktywności – oparte na prostym porównaniu czasu wykonania zadania z asystentem AI i bez niego – ignorują kluczowy element: błędy, które przechodzą niezauważone, gdy ludzie przestają dokładnie sprawdzać pracę modelu.

Praca, opublikowana 23 października 2026 roku, zastępuje wcześniejszą propozycję autora znaną jako TSB (SSRN 6682338) i liczy 18 stron wraz z dwoma rysunkami. Kod i dane towarzyszące badaniu zostały udostępnione publicznie, a materiały zarchiwizowano również na Zenodo.

Kluczowe wnioski

  • Autor przeciwstawia dwa podejścia do mierzenia oszczędności czasu dzięki AI: „widok stopera”, który liczy tylko to, co pokazuje zegarek, oraz „widok księgi rachunkowej”, uwzględniający kontrfaktyczny czas zestawiony z błędami, które przeciekają przez niedostateczną kontrolę.
  • Autor definiuje dwie wolne od założeń modelowych wielkości – czas zaoszczędzony i nadwyżkę przeoczonych defektów – oraz jedną liczbę decyzyjną: koszt progowy błędu (break-even defect cost).
  • Replikacja badania METR dotyczącego programistów na podstawie publicznych danych z tych samych 246 zgłoszeń pokazuje spowolnienie pracy o 19% lub 24% w zależności od przyjętego estymatora (34% bez korekty o losową nierównowagę), a AI pomogło w od 3% do 82% przypadków.
  • W ramach GDPval, gdzie stosowany jest protokół sprawdzania każdego wyniku, sam czas weryfikacji ogranicza przyspieszenie dzięki GPT-5 do maksymalnie 3,6 raza, a konsultanci spoza czołówki byli szybsi, ale częściej się mylili.
  • W autorskim eksperymencie recenzent AI, który otrzymał zaniżoną informację o rzeczywistej liczbie błędów autora tekstu, sprawdził o 7 mniej z 9 liczb i przepuścił błędną wartość w 22,5% dokumentów zamiast w żadnym – był szybszy, ale gorszy, wyłącznie wskutek ograniczonego wysiłku kontrolnego.

Stoper czy księga rachunkowa – dwa sposoby liczenia czasu

Centralnym pytaniem pracy jest to, co właściwie oznacza stwierdzenie, że asystent AI „oszczędza czas”. Lijo kontrastuje dwa podejścia. Pierwsze, „widok stopera”, traktuje oszczędność czasu jako to, co dosłownie zarejestruje zegar – czyli różnicę między czasem wykonania zadania z pomocą AI a bez niej. Drugie, „widok księgi rachunkowej”, traktuje tę oszczędność jako wielkość kontrfaktyczną, którą trzeba odczytywać łącznie z błędami, jakie dana metoda pracy przepuszcza do dalszego obiegu. Autor opowiada się jednoznacznie za tym drugim podejściem.

Aby to sformalizować, Lijo wprowadza model-free (niezależną od konkretnego modelu AI) parę wielkości: czas zaoszczędzony oraz nadwyżkę przeoczonych defektów, a także jedną liczbę decyzyjną zbudowaną z tych dwóch – koszt progowy błędu. To narzędzie pozwala określić, w którym momencie dodatkowy czas poświęcony na weryfikację przestaje się opłacać w stosunku do ryzyka przepuszczenia wadliwego wyniku.

Model kontroli jakości: dlaczego nadmierne zaufanie jest kosztowne

Jedną z kluczowych części pracy jest bazowy model kontroli jakości (checking). Lijo pokazuje, że dopóki model AI nie jest na tyle dobry, by w ogóle nie trzeba go sprawdzać, wskaźnik przeoczonych defektów u skalibrowanego pracownika nie zależy od tego, jak dobry jest model. Innymi słowy, poprawa jakości samego AI sama w sobie nie zmniejsza liczby błędów, które przedostają się do finalnego wyniku – dopóki ludzie wciąż stosują tę samą procedurę kontrolną.

Drugim ustaleniem jest to, że czas potrzebny na weryfikację rośnie wraz z logarytmem wskaźnika błędów modelu – a więc nie liniowo, lecz coraz wolniej w miarę pogarszania się jakości modelu. Trzecim, być może najbardziej praktycznym wnioskiem, jest obserwacja, że nadmierne zaufanie do AI „kupuje” minuty zaoszczędzone na zegarze, ale kosztuje więcej minut w ujęciu całościowym – czyli po uwzględnieniu czasu potrzebnego na naprawę błędów, które przeszły przez niedostateczną kontrolę.

Powtórka badania METR i wyniki GDPval

Lijo testuje swój aparat pojęciowy na realnych danych. Replikuje badanie METR dotyczące wpływu AI na pracę programistów, korzystając z publicznie dostępnych danych z 246 zgłoszeń (issues). W zależności od przyjętego estymatora statystycznego te same dane wspierają wniosek o spowolnieniu pracy o 19% albo 24%, a bez korekty o przypadkową nierównowagę w próbie wynik rośnie do 34%. Jednocześnie autor szacuje, że AI pomogło w rozwiązaniu gdzieś między 3% a 82% zgłoszeń – rozpiętość ta pokazuje, jak bardzo wynik zależy od definicji „pomocy”.

Autor odnosi się także do opublikowanych wyników GDPval, benchmarku oceniającego produktywność w realistycznych zadaniach zawodowych. W protokole GDPval, który zakłada recenzję każdego wyniku pracy AI, sam czas poświęcony na tę weryfikację ogranicza maksymalne przyspieszenie osiągane dzięki GPT-5 do 3,6 raza. Co istotne, konsultanci spoza czołówki (czyli ci, których wyniki nie należą do najlepszych) pracowali szybciej, ale częściej popełniali błędy – co wpisuje się w ogólną tezę pracy, że czysta szybkość bez uwzględnienia jakości kontroli jest mylącą miarą wartości AI.

Eksperyment z recenzentami AI: szybciej, ale gorzej

Najbardziej konkretną częścią pracy jest niewielki, wcześniej zaplanowany (pre-specified) eksperyment, w którym recenzenci AI sprawdzali projekty briefów przygotowane przez inne AI. Materiały źródłowe zbudowano na podstawie zgłoszeń do amerykańskiej Komisji Papierów Wartościowych i Giełd (SEC) powstałych już po zamknięciu okresu, z którego pochodziły dane treningowe testowanych modeli – co miało wykluczyć wpływ wcześniejszej znajomości treści.

W pierwszym wariancie recenzent otrzymał prawdziwą informację o tym, jak często autor tekstu popełnia błędy. W miarę wzrostu tego wskaźnika recenzent sprawdzał więcej – ale robił to w sposób skokowy, „wszystko albo nic”, przełączając się między trybami blisko punktu, w którym koszty jego działania (zgodnie z instrukcją, czyli promptem) się bilansują.

W drugim wariancie recenzentowi powiedziano, że autor błędów popełnia dziesięciokrotnie mniej, niż robił to w rzeczywistości. Skutek był wyraźny: recenzent sprawdził o 7 mniej z 9 kluczowych liczb i przepuścił błędną wartość w 22,5% dokumentów – zamiast w żadnym, jak miało to miejsce przy prawdziwej informacji. Autor podkreśla, że cały ten efekt – szybsza, ale gorsza praca – wynikał wyłącznie ze zmniejszonego wysiłku kontrolnego, nie z jakiejkolwiek innej zmiany w procesie.

Podsumowanie

Praca Solomona Shaloma Lijo dostarcza formalnego aparatu do oceny, kiedy AI faktycznie oszczędza czas, a kiedy jedynie przesuwa koszt błędów na później. Replikacja danych METR i GDPval oraz autorski eksperyment z recenzentami AI pokazują spójnie ten sam mechanizm: nadmierne zaufanie do deklarowanej jakości modelu prowadzi do ograniczenia kontroli, co może czynić pracę szybszą na zegarze, ale gorszą pod względem liczby przeoczonych błędów.

Udostępnij

Źródła

Powrót do nawigacji