CTD: nowa metoda optymalizacji bayesowskiej wielokryterialnej

Nowe badanie opublikowane na arXiv proponuje zmianę podejścia do jednego z fundamentalnych problemów optymalizacji wielokryterialnej. Autorzy Chao Jiang, Yueling Huang i Miqing Li przedstawiają metodę o nazwie „converge-then-diversify” (CTD), która rozbija proces poszukiwania optymalnych rozwiązań na dwa odrębne etapy — zamiast realizować je równolegle, jak robią to dotychczasowe algorytmy.

Kluczowe wnioski

• Metoda CTD dzieli optymalizację bayesowską wielokryterialną (MOBO) na dwa etapy: najpierw zbieżność do jednego punktu na froncie Pareto, potem dywersyfikację rozwiązań wzdłuż tego frontu.
• W testach objęto 446 porównań parami — CTD statystycznie przewyższyło metody state-of-the-art w 72,9% przypadków, było równoważne w 21,1% i gorsze tylko w 6,1%.
• Przewaga CTD jest szczególnie widoczna przy bardzo ograniczonych budżetach ewaluacji oraz w zadaniach wysokowymiarowych.
• Autorzy zaproponowali dwie proste implementacje CTD, wykorzystujące powszechnie stosowane w tej dziedzinie funkcje akwizycji.
• Praca ma 26 stron i 4 rysunki, została zgłoszona 11 września 2026 roku w kategoriach Artificial Intelligence (cs.AI) i Machine Learning (stat.ML).

Problem z równoczesnym łączeniem zbieżności i dywersyfikacji

Optymalizacja bayesowska wielokryterialna (MOBO) to metoda efektywna próbkowo, stosowana do optymalizowania kosztownych funkcji „czarnej skrzynki” z wieloma celami jednocześnie. Klasycznym przykładem takiego zastosowania jest projektowanie inżynierskie, gdzie każda ewaluacja rozwiązania — na przykład symulacja czy fizyczny test — jest droga i czasochłonna, a poszukiwane są kompromisy między kilkoma sprzecznymi kryteriami.

Celem MOBO jest jak najlepsze przybliżenie tzw. frontu Pareto — zbioru rozwiązań, których nie da się poprawić w jednym kryterium bez pogorszenia innego. Aby uzyskać wysokiej jakości zbiór rozwiązań, algorytm musi zapewnić dwie właściwości równocześnie: dobrą zbieżność, czyli bliskość do frontu Pareto, oraz dobrą dywersyfikację, czyli równomierne rozłożenie rozwiązań na całym froncie.

Dotychczasowe metody MOBO zwykle próbują realizować te dwa cele jednocześnie — kierując poszukiwania w stronę frontu Pareto, jednocześnie utrzymując zróżnicowany zbiór rozwiązań niezdominowanych, tak by rozwiązania stopniowo obejmowały cały front. Jak wskazują autorzy pracy, takie podejście działa dobrze, gdy dostępny jest wystarczający budżet obliczeniowy. Problem pojawia się, gdy budżet jest bardzo ograniczony — wówczas może nie wystarczyć wygenerowanych rozwiązań, aby jednocześnie i skutecznie zbliżyć się do całego frontu Pareto. Jednoczesne uwzględnianie zbieżności i dywersyfikacji przez cały proces poszukiwań nie jest zadaniem trywialnym i wymaga starannego zaprojektowania algorytmu.

Rozwiązanie: dwuetapowe podejście CTD

Aby odpowiedzieć na ten problem, autorzy proponują podejście „converge-then-diversify” (CTD), które rozdziela zbieżność i dywersyfikację na dwa osobne etapy. W pierwszym etapie CTD koncentruje się wyłącznie na zbieżności, dążąc do szybkiego skierowania poszukiwań w stronę jednego punktu na froncie Pareto. W drugim etapie uwaga przesuwa się na dywersyfikację — celem jest rozproszenie już zebranych rozwiązań wzdłuż całego frontu.

Ta sekwencyjna logika różni się fundamentalnie od dominującego w literaturze podejścia „równoległego”. Zamiast starać się osiągnąć obie właściwości od pierwszej iteracji, CTD najpierw inwestuje budżet obliczeniowy w znalezienie dobrego punktu odniesienia na froncie Pareto, a dopiero potem rozbudowuje wokół niego zróżnicowany zbiór rozwiązań. Autorzy przedstawili dwie proste instancje tej koncepcji, oparte na szeroko stosowanych w tej dziedzinie funkcjach akwizycji — mechanizmach, które w optymalizacji bayesowskiej decydują, jaki kolejny punkt warto sprawdzić.

Wyniki eksperymentalne i ich znaczenie

Skuteczność CTD zweryfikowano w bardzo szerokim zestawie testów — łącznie przeprowadzono 446 porównań parami z metodami uznawanymi za state-of-the-art w tej dziedzinie. Wyniki są wyraźnie na korzyść nowego podejścia: CTD statystycznie przewyższyło konkurencyjne metody w 72,9% przypadków, osiągnęło wynik równoważny w 21,1% przypadków i było statystycznie słabsze tylko w 6,1% porównań.

Co istotne, autorzy podkreślają, że przewaga CTD jest szczególnie widoczna w dwóch konkretnych scenariuszach: przy bardzo napiętych budżetach ewaluacji oraz w problemach wysokowymiarowych. To wskazuje, że korzyści z rozdzielenia etapów zbieżności i dywersyfikacji nie są jednorodne — rosną tam, gdzie zasoby obliczeniowe są najbardziej ograniczone lub gdzie przestrzeń przeszukiwania jest szczególnie złożona. W praktyce oznacza to, że metody projektowane pod kątem efektywności próbkowej — takie jak MOBO — mogą zyskać najwięcej właśnie w scenariuszach, w których liczba dostępnych ewaluacji jest krytycznym ograniczeniem, np. przy kosztownych symulacjach inżynierskich czy eksperymentach fizycznych, gdzie każda kolejna próba ma wysoki koszt.

Praca liczy 26 stron i zawiera 4 rysunki, dokumentujące wyniki eksperymentalne. Została zgłoszona na arXiv 11 września 2026 roku przez Chao Jianga w kategoriach Artificial Intelligence oraz Machine Learning.

Podsumowując, badanie proponuje konceptualnie proste, ale skuteczne przeformułowanie procesu optymalizacji wielokryterialnej — zamiast równoległego dążenia do zbieżności i dywersyfikacji, autorzy sugerują ich sekwencyjne rozdzielenie, co przynosi wymierne korzyści zwłaszcza w warunkach ograniczonego budżetu obliczeniowego.