Kluczowym wyzwaniem w erze NISQ (ang. Noisy Intermediate-Scale Quantum) jest znalezienie użytecznych obwodów kwantowych zgodnych z obecnymi ograniczeniami sprzętowymi. Wariacyjne algorytmy kwantowe (VQA, ang. Variational Quantum Algorithms) oferują potencjalne rozwiązanie poprzez ustalenie architektury obwodu i optymalizację parametrów poszczególnych bramek w zewnętrznej pętli. Jednak optymalizacja parametrów może stać się obliczeniowo niepraktyczna, a ogólna wydajność algorytmu silnie zależy od początkowo wybranej architektury obwodu.

W celu automatycznego projektowania użytecznych architektur obwodów opracowano kilka algorytmów wyszukiwania architektury kwantowej (QAS, ang. Quantum Architecture Search). W przypadku samej optymalizacji parametrów zaobserwowano, że efekty szumu mogą znacząco wpływać na skuteczność optymalizatora i końcowe wyniki, co stanowi ważny obszar badań. Jednak wpływ szumu na proces wyszukiwania architektury – który może być równie istotny – jest słabo poznany.

Niniejsza praca podejmuje to zagadnienie, wprowadzając algorytm wyszukiwania architektury kwantowej oparty na nauczaniu progresywnym z użyciem uczenia ze wzmocnieniem – CRLQAS (ang. Curriculum-based Reinforcement Learning QAS), zaprojektowany z myślą o wyzwaniach związanych z realistycznym wdrażaniem VQA.

Algorytm uwzględnia:

• trójwymiarowe kodowanie architektury oraz ograniczenia dynamiki środowiska w celu efektywnego przeszukiwania przestrzeni możliwych obwodów,
• mechanizm przerywania epizodów, który kieruje agenta ku znajdowaniu krótszych obwodów,
• nowy wariant algorytmu SPSA (ang. Simultaneous Perturbation Stochastic Approximation) jako optymalizatora umożliwiającego szybszą zbieżność.

Aby usprawnić eksperymenty, opracowaliśmy zoptymalizowany symulator dla naszego algorytmu, który znacznie poprawia wydajność obliczeniową podczas symulacji obwodów kwantowych z szumem, wykorzystując formalizm macierzy przeniesienia Pauliego w bazie Pauli-Liouville’a.

Eksperymenty numeryczne skoncentrowane na zadaniach z chemii kwantowej wykazują, że CRLQAS przewyższa istniejące algorytmy QAS w kilku aspektach, zarówno w środowiskach bezszumowych, jak i w obecności szumu.