Agent AI samodzielnie wypełniający dane w interfejsie kalkulatora do wycen okien

Celem projektu jest opracowanie Agenta AI, który na podstawie otrzymanych danych (np. w formacie JSON) samodzielnie wypełnia brakujące pola oraz zaznacza opcje w interfejsie programu do wycen stolarki okiennej aby na końcu pobrać wycenę. Chodzi o około 20-30 kliknięć w odpowiednie pola oraz wpisanie odpowiednich danych. Załączam screeny.

Agent, na podstawie otrzymanej specyfikacji, wybiera odpowiedni produkt przez wyklikanie kafelków, następnie wpisuje dane w odpowiednie pola programu (szerokość, wysokość) oraz wybiera z kilku przycisków typu unfold: kolor, ramę i inne dodatkowe dane, klika "przejdź dalej" oraz na koniec "pobierz wycenę".

Sam proces może odbywać się na zasadzie przejęcia kontroli nad myszką i klawiaturą danego komputera albo w inny sposób. (Raczej niemożliwe przez API).

Rezultatem ma być automatyzacja procesu dokonywania wyceny stolarki okiennej na istniejących programach producenckich (kalkulatorach). Agent ma zastąpić powtarzalną pracę człowieka, który wpisuje dane i wyklikuje każde okno z osobna.