Budowa algorytmu machine comprehension

Treść zadania

Algorytm uczenia modelu wykrywającego odpowiedzi na zadane pytanie w danym fragmencie tekstu (machine comprehension)

a. uczenie z minimalną prędkością 7 przypadków uczących na sekundę przy zastosowaniu karty graficznej GeForce K80 bądź podobnej

Zbiór testowy dla machine comprehension

- Zastosowanie podziału 80%-10%-10%

- 1000 pytań wraz z anotowanymi fragmentami tekstu, oddzielne od zbioru uczącego oraz walidacyjnego

Algorytm wykrywający odpowiedzi na zadane pytanie w danym fragmencie tekstu.

Oczekiwane miary:

- ExactMatch - miara w której za poprawną klasyfikację uznajemy jedynie odpowiedzi w pełni pokrywające wybrane fragmenty

tekstu (binarnie), odpowiedzi częściowo poprawne (fragment oczekiwanego tekstu) uznawane są za niepoprawne; oczekiwane

65% dla zbioru testowego

- F1 - miara w której weryfikacja poprawności wyznaczenia odpowiedzi we fragmencie tekstu wykonywana jest w sposób

ważony. Odpowiedzi częściowo poprawne (fragment oczekiwanego tekstu) są również uznawane za poprawne (wyznaczając

stosunek długości zwróconego tekstu do długości całego oczekiwanego tekstu), oczekiwane 75% dla zbioru testowego

- Czas odpowiedzi - 5 s, przy zastosowaniu CPU (średnia dla zbioru testowego)

Możliwość nawiązania stałej współpracy w rozwijającym się zespole