Naukowcy: firmy AI ukrywają, jak naprawdę używamy ich chatbotów

Nowe badanie podważa wiarygodność raportów, które firmy AI publikują na temat sposobów wykorzystania swoich chatbotów. Zespół naukowców z Stanford, MIT i innych instytucji stworzył platformę AI Observatory – niezależne narzędzie analizujące realne rozmowy użytkowników z modelami Claude, Gemini, ChatGPT i Grok. Wnioski są jasne: firmy takie jak Anthropic i OpenAI ujawniają tylko wybrane dane, a rzeczywisty obraz korzystania z AI jest znacznie bardziej złożony i wrażliwy niż wynikałoby z ich oficjalnych publikacji.

Kluczowe wnioski

• AI Observatory to niezależna platforma badawcza współtworzona przez Ankę Reuel (Stanford Trustworthy AI Research Lab) i Shayne'a Longpre (MIT Media Lab), oparta na 24 521 rozmowach i 85 633 turach konwersacyjnych od 5000 użytkowników 52 różnych modeli, zebranych za zgodą w latach 2023–2025.
• Gdy zastosowano metodologię Anthropic Economic Index do zbioru danych Observatory, aż 48% rozmów zostałoby odfiltrowanych jako niezwiązane z pracą – co pokazuje, że oficjalne raporty koncentrują się na produktywności, ignorując inne zastosowania.
• Odfiltrowane rozmowy znacznie częściej dotyczyły tematów wrażliwych: zdrowia i relacji (44,2% wobec 31,2% w analizie Anthropic), treści dla dorosłych (7,9% wobec 2,1%) oraz nękania i mowy nienawiści (27,5% wobec 5,66%).
• Sposób korzystania z AI różni się istotnie w zależności od modelu: Grok i Gemini są częściej wykorzystywane do wyszukiwania informacji, Claude do programowania, Gemini do interakcji społecznych i roleplay, a ChatGPT do pomocy w nauce.
• Rozmowy z użytkownikami stały się z czasem dłuższe i bardziej złożone, wzrosła liczba pogawędek towarzyskich, a jednocześnie spadła częstotliwość treści oznaczonych jako wrażliwe – co może sugerować skuteczniejsze zabezpieczenia platform.

Dlaczego firmowe raporty nie mówią całej prawdy

Anka Reuel, doktorantka informatyki w Stanford Trustworthy AI Research (STAIR) Lab, podkreśla podstawowy problem: „Nie ma niezależnego źródła, które mogłoby to potwierdzić”. Chodzi o dane publikowane przez same firmy AI – takie jak Anthropic Economic Index, jeden z najczęściej cytowanych źródeł informacji o użyciu AI. Jak sama nazwa wskazuje, indeks ten skupia się na zastosowaniach związanych z pracą i produktywnością, filtrując rozmowy niepowiązane z tymi kategoriami.

To właśnie ta selektywność stała się punktem wyjścia dla AI Observatory. Gdy badacze zastosowali metodę Anthropic do własnego zbioru danych, okazało się, że blisko połowa rozmów – 48% – zostałaby usunięta z analizy jako niezwiązana z pracą. Podobny obraz wynika z raportu OpenAI z 2025 roku dotyczącego korzystania z ChatGPT, gdzie tylko 30% zastosowań konsumenckich miało związek z pracą.

Anthropic publikowało wprawdzie osobne wpisy na blogu o wykorzystaniu Claude do wsparcia emocjonalnego czy towarzystwa, a nawet o przypadkach generowania materiałów CSAM, jednak – jak zauważa David Widder, adiunkt w School of Information na UT-Austin, niezwiązany z projektem – „posiadanie takiego spojrzenia z lotu ptaka, a nie rozproszonego po odrębnych raportach, pomaga” badaczom zrozumieć różne zastosowania w bardziej spójny sposób.

Rozmowy dłuższe, bardziej osobiste – i różne w zależności od modelu

Zbiory danych analizowane przez AI Observatory obejmują rozmowy z lat 2023–2025 i pokazują zmiany zarówno w sposobie korzystania z AI, jak i w reakcjach różnych platform. W przypadku WildChat – jednego z największych i najbardziej szczegółowych zbiorów w badaniu – rozmowy z czasem stawały się dłuższe i bardziej rozwinięte, co potwierdza wzrost liczby tokenów w promptach i odpowiedziach oraz liczby tur konwersacyjnych.

Znacząco wzrosła też ilość swobodnej, towarzyskiej rozmowy – co sugeruje rosnącą tendencję do traktowania AI jako towarzysza, podczas gdy asystenci coraz rzadziej sami przypominali, że są chatbotami. Jednocześnie odsetek rozmów oznaczonych jako „wrażliwe” – zawierających potencjalnie szkodliwe lub ograniczone treści, w tym molestowanie seksualne czy mowę nienawiści – spadł, co może wskazywać na skuteczniejsze wdrażanie zabezpieczeń przez platformy.

Badacze odkryli też ogromne różnice między modelami. Użytkownicy Groka i Gemini częściej sięgali po te narzędzia do wyszukiwania informacji – Grok był szczególnie popularny w kontekście wiadomości i polityki, ale to właśnie tam koncentrowała się dezinformacja (co jest zgodne z innymi badaniami wskazującymi na łatwość rozprzestrzeniania nieprawdziwych informacji przez ten model; xAI nie odpowiedziało na prośbę o komentarz). Claude był z kolei częściej wybierany do programowania, Gemini do interakcji społecznych i roleplay, a ChatGPT do pomocy w nauce.

Różnice pojawiały się nawet między wersjami tego samego modelu – rozmowy z ChatGPT opartym na GPT-3.5 były krótsze niż te prowadzone z GPT-4o, które okazały się dłuższe i bardziej iteracyjne, co pokrywa się z wcześniejszymi obserwacjami, że wersja ta wywoływała u niektórych użytkowników emocjonalne uzależnienie. Podobne wątki poruszał niedawno artykuł o tym, jak co piąty pracownik w USA zleca zadania AI, a nie kolegom z pracy, co pokazuje szersze przesunięcie w praktycznym wykorzystaniu tych narzędzi.

„Żaden pojedynczy raport firmowy nie opowiada całej historii” – podsumowuje Shayne Longpre, współprowadzący badania.

Skala danych i ograniczenia projektu

Mimo ambicji AI Observatory, jego dane to niewielki wycinek w porównaniu z tym, do czego dostęp mają same firmy AI. Najnowszy Anthropic Economic Index opiera się na analizie 1 miliona rozmów z Claude, a raport OpenAI o użyciu ChatGPT – na 1,5 mln rozmów. Zbiór AI Observatory liczy zaledwie 24 521 rozmów.

Przedstawiciel Anthropic stwierdził, że publikowane przez firmę badania odzwierciedlają konkretne pytania badawcze zespołów firmy oraz podkreślił znaczenie wspierania niezależnych, zewnętrznych badań. OpenAI nie odpowiedziało na prośbę o komentarz.

Sami badacze przyznają, że ich zbiór danych – pochodzący wyłącznie z dobrowolnie udostępnionych źródeł – może w rzeczywistości niedoszacowywać skali wrażliwych zastosowań AI, ponieważ osoby korzystające z chatbotów w najbardziej intymnych czy problematycznych kontekstach rzadziej zgadzają się na udostępnienie takich rozmów do badań. Jest to szczególnie istotne w kontekście przypadków, takich jak wykorzystanie Groka do przerabiania zdjęć, które pokazują, jak realne skutki mogą mieć luki w zabezpieczeniach modeli.

Projekt AI Observatory nie zamyka dyskusji o tym, jak faktycznie korzystamy z AI – wręcz przeciwnie, ujawnia jej złożoność i pokazuje, że decyzje regulacyjne i biznesowe wciąż podejmowane są na podstawie niepełnych, wybiórczo prezentowanych danych.