Naukowcy opracowali system AI do mierzenia zgodności programów informatycznych z wytycznymi CS2013 i CS2023

Naukowcy z Uniwersytetu w Zjednoczonych Emiratach Arabskich opracowali nową metodę mierzenia zgodności programów studiów informatycznych z międzynarodowymi wytycznymi. Badanie opublikowane na arXiv przedstawia pierwszy w swoim rodzaju system analizy longitudinalnej, który porównuje pokrycie treści programowych między standardami CS2013 i CS2023.

Zespół badawczy pod kierownictwem Sherzoda Turaeva stworzył pipeline wykorzystujący sztuczną inteligencję i weryfikację przez człowieka, który pozwala obiektywnie ocenić, jak dobrze programy studiów realizują aktualne wytyczne edukacyjne.

Kluczowe wnioski

• Opracowany system mierzy zgodność programów informatycznych z wytycznymi CS2013 i CS2023 na trzech poziomach: pokrycie tematyczne, kompetencje i głębokość poznawczą.
• Testowany program studiów licencjackich pokrywa 49,7% jednostek wiedzy CS2023 i 50,9% CS2013, co wskazuje na stabilność przez dekadę.
• System wykorzystuje ensemble retrievers oparty na reciprocal-rank-fusion, który przewyższył modele długokontekstowe w zadaniach semantycznego dopasowania.
• Analiza wykazała, że program artykułuje kompetencje dla 88% pokrytych jednostek, ale osiąga zalecaną głębokość tylko dla 76% w CS2023 wobec 95% w CS2013.
• Metodologia umożliwia identyfikację trwałych luk strukturalnych w obszarach takich jak programowanie równoległe, podstawy języków programowania czy fundamenty systemów.

Metodologia badania

Badacze opracowali innowacyjny pipeline „retrieve-then-confirm”, który reprezentuje zarówno program studiów, jak i wytyczne jako uporządkowane korpusy tekstowe. System generuje kandydatów do dopasowania kurs-jednostka wiedzy przez semantyczne wyszukiwanie, a następnie weryfikuje je przez ocenę ekspercką zgodnie z jasną definicją pokrycia.

Z siedmiu testowanych retrieverów najlepsze wyniki osiągnął ensemble oparty na reciprocal-rank-fusion. Zaskakująco, renomowany model długokontekstowy wypadł gorzej niż mały model zdaniowy, co podkreśla znaczenie właściwego doboru narzędzi do semantycznego wyszukiwania.

Walidacja systemu została przeprowadzona przez niezależnego drugiego oceniającego, uzyskując współczynnik Cohen's kappa na poziomie 0,64 dla CS2023 i 0,69 dla CS2013, co świadczy o dobrej zgodności międzyoceniającą.

Wyniki analizy longitudinalnej

Porównanie longitudinalne ujawniło interesujące wzorce w pokryciu programowym. Podczas gdy ogólne pokrycie pozostało stabilne na poziomie około 50% przez dekadę, analiza głębokości poznawczej pokazała znaczące różnice. Program realizuje zalecaną głębokość dla 76% obecnych jednostek w CS2023 w porównaniu do 95% w CS2013.

Ta różnica nie odzwierciedla pogorszenia jakości programu, lecz podwyższone oczekiwania nowych wytycznych. Analiza pozwoliła oddzielić trwałe luki strukturalne od różnic wynikających z ewolucji standardów edukacyjnych.

System zidentyfikował persistentne braki w kluczowych obszarach: programowanie równoległe i rozproszone, podstawy języków programowania oraz fundamenty systemów. Te luki występują zarówno w kontekście CS2013, CS2023, jak i standardów ABET.

Opracowana metodologia jest wielokrotnego użytku i dostępna od autorów na żądanie, co może umożliwić szersze zastosowanie w ocenie programów informatycznych na całym świecie. Badanie stanowi pierwszy krok w kierunku standaryzacji narzędzi do obiektywnej oceny zgodności curricula z międzynarodowymi wytycznymi.