Nowy framework AI do interpretacji tabel i oceny jakości danych

Badacze z arXiv zaprezentowali nową metodę porządkowania metadanych tabelarycznych pod kątem budowy grafów wiedzy (Knowledge Graph, KG). Marcelo Valentim Silva, Hannes Herrmann i Valerie Maxville opisują wyjaśnialny, skoncentrowany na nagłówkach kolumn framework do semantycznej interpretacji tabel i oceny jakości danych — rozwiązanie szczególnie przydatne tam, gdzie same wartości w komórkach są niedostępne, zaszumione lub bezużyteczne. Praca została zgłoszona 12 maja 2026 roku i zaprezentowana na warsztatach Quality of Knowledge Graphs podczas konferencji ESWC 2026 w Dubrowniku.

Punktem wyjścia jest obserwacja, że jakość grafu wiedzy nie zależy wyłącznie od walidacji przeprowadzanej na gotowym grafie, ale w równym stopniu od jakości metadanych tabelarycznych, zanim trafią one do procesu integracji. W sytuacji, gdy dane w komórkach nie mogą być wiarygodnym źródłem informacji semantycznej, to właśnie nagłówki kolumn stają się kluczowym punktem odniesienia dla śledzenia i przygotowania danych pod kątem KG.

Kluczowe wnioski

• Framework mapuje nagłówki kolumn na 39 interpretowalnych typów (tzw. FinalFormat) przy użyciu kuratorowanych zasobów leksykalnych, zachowując pełną identyfikowalność na poziomie poszczególnych tokenów (SourceKeywords).
• Każdy przypisany typ aktywuje reguły walidacyjne oparte na taksonomii problemów jakości danych (Data Quality Issues, DQIs), wykrywając m.in. brakujące dane, duplikaty, naruszenia domeny, błędny typ danych i niespójności czasowe.
• Wszystkie wykrycia agregowane są w metrykę HeadersIQ — lekki, nieważony wskaźnik jakości na poziomie całego źródła danych.
• Metoda została przetestowana na zbiorach obejmujących łącznie około 120 000 kolumn nagłówkowych, pochodzących z benchmarków UCI, Prague, Kaggle, VizNet/Sato, SOTAB, T2Dv2 oraz toru SemTab 2024 Metadata-to-KG.
• Równoległa ścieżka mapowania do grafów wiedzy wspiera dopasowanie do DBpedii i Wikidaty.

Jak działa framework oparty na nagłówkach

Centralnym elementem metody jest zadanie Column Type Annotation (CTA) realizowane wyłącznie na podstawie metadanych — bez konieczności analizy rzeczywistych wartości w kolumnach. System przypisuje nagłówkom kolumn jeden z 39 interpretowalnych typów FinalFormat, korzystając z wyselekcjonowanych zasobów leksykalnych. Co istotne, każda decyzja pozostaje w pełni śledzalna dzięki mechanizmowi SourceKeywords, który zachowuje informację na poziomie poszczególnych tokenów wykorzystanych do klasyfikacji. Taka architektura odpowiada na coraz powszechniejsze w branży AI wymaganie wyjaśnialności modeli — podobnie jak w innych systemach agentów AI, gdzie decyzje muszą być audytowalne, a nie wyłącznie skuteczne.

Po przypisaniu typu, każdy z nich automatycznie aktywuje odpowiedni zestaw reguł walidacyjnych, zbudowanych na podstawie taksonomii Data Quality Issues (DQIs). To one odpowiadają za faktyczne wykrywanie problemów jakości danych: braków, duplikatów, naruszeń reguł domenowych, niezgodności typu danych oraz niespójności czasowych. Wszystkie te detekcje są następnie zbierane i agregowane w ramach HeadersIQ — jednej, nieważonej metryki opisującej jakość całego źródła danych. Metryka ta jest celowo lekka obliczeniowo, co pozwala na jej zastosowanie w dużej skali.

Testy na dziesiątkach tysięcy kolumn i wyniki na SemTab 2024

Autorzy przeprowadzili ewaluację swojego podejścia na zbiorach łączących ponad 120 000 kolumn nagłówkowych z siedmiu różnych, heterogenicznych benchmarków: UCI, Prague, Kaggle, VizNet/Sato, SOTAB, T2Dv2, a także toru SemTab 2024 Metadata-to-KG. Taka skala i różnorodność źródeł miała zweryfikować, czy metoda radzi sobie z rzeczywistymi, zaszumionymi metadanymi, nie tylko z czystymi danymi testowymi przygotowanymi w kontrolowanych warunkach.

Wyniki wskazują na szeroką praktyczną użyteczność rozwiązania w warunkach rzeczywistych, zaszumionych metadanych. Jednocześnie równoległa ścieżka mapowania do grafów wiedzy pozwala na dopasowanie wyników do zewnętrznych ontologii — DBpedii i Wikidaty — co rozszerza praktyczne zastosowanie frameworku poza samo wykrywanie problemów jakości i otwiera drogę do bezpośredniej integracji z istniejącymi grafami wiedzy.

Na torze SemTab 2024 Metadata-to-KG formalny wynik w ewaluacji GT-strict (czyli porównywanej z surowym ground truth) był, jak piszą autorzy, „modest” — skromny. Jednak przeprowadzony przez zespół dodatkowy, zaślepiony audyt diagnostyczny pokazał, że znaczna część niezgodności nie wynika z rzeczywiście błędnych, nieracjonalnych predykcji opartych na nagłówkach, lecz z efektów takich jak granularność samego benchmarku, aliasing (różne nazwy odnoszące się do tego samego pojęcia) oraz subiektywny wybór ontologii referencyjnej. Autorzy wyraźnie zaznaczają, że ten audyt raportują jako diagnostyczny dowód na wzorce niezgodności, a nie jako poprawioną ocenę wyników benchmarkowych — co jest ważnym metodologicznym rozróżnieniem, chroniącym pracę przed podejrzeniem „podciągania” wyników.

Znaczenie dla przygotowania danych pod grafy wiedzy

Praca prezentuje gotowy do ponownego użycia workflow, który obejmuje trzy obszary zastosowań: semantyczną anotację opartą na metadanych, monitorowanie jakości danych na poziomie całego źródła oraz diagnostykę benchmarków zorientowanych na grafy wiedzy. To podejście ma znaczenie praktyczne zwłaszcza dla organizacji zajmujących się dużą liczbą tabelarycznych zbiorów danych o różnej jakości i pochodzeniu, gdzie ręczna weryfikacja każdej kolumny jest niewykonalna.

Mechanizm śledzenia na poziomie tokenów oraz oparcie decyzji o konkretne, interpretowalne reguły wpisuje się w szerszy trend domagania się wyjaśnialności od systemów AI stosowanych w przetwarzaniu danych — podobny nacisk na transparentność i audytowalność widać dziś w regulacjach dotyczących systemów sztucznej inteligencji w Unii Europejskiej. Dla zespołów budujących grafy wiedzy na podstawie heterogenicznych, często niepełnych źródeł tabelarycznych, framework opisany w pracy oferuje konkretny, skalowalny punkt wyjścia zarówno do automatycznej anotacji kolumn, jak i do systematycznego monitorowania jakości danych już na etapie przed integracją z grafem.

Praca stanowi istotny wkład w metodologię przygotowania danych tabelarycznych do grafów wiedzy, łącząc wyjaśnialność, skalowalność i rzetelną autorefleksję nad ograniczeniami benchmarków — podejście, które może stać się punktem odniesienia dla kolejnych badań w obszarze Semantic Table Interpretation.