Opis zlecenia
Treść zadania
Algorytm uczenia modelu wykrywającego odpowiedzi na zadane pytanie w danym fragmencie tekstu (machine comprehension)
a. uczenie z minimalną prędkością 7 przypadków uczących na sekundę przy zastosowaniu karty graficznej GeForce K80 bądź podobnej
Zbiór testowy dla machine comprehension
- Zastosowanie podziału 80%-10%-10%
- 1000 pytań wraz z anotowanymi fragmentami tekstu, oddzielne od zbioru uczącego oraz walidacyjnego
Algorytm wykrywający odpowiedzi na zadane pytanie w danym fragmencie tekstu.
Oczekiwane miary:
- ExactMatch - miara w której za poprawną klasyfikację uznajemy jedynie odpowiedzi w pełni pokrywające wybrane fragmenty
tekstu (binarnie), odpowiedzi częściowo poprawne (fragment oczekiwanego tekstu) uznawane są za niepoprawne; oczekiwane
65% dla zbioru testowego
- F1 - miara w której weryfikacja poprawności wyznaczenia odpowiedzi we fragmencie tekstu wykonywana jest w sposób
ważony. Odpowiedzi częściowo poprawne (fragment oczekiwanego tekstu) są również uznawane za poprawne (wyznaczając
stosunek długości zwróconego tekstu do długości całego oczekiwanego tekstu), oczekiwane 75% dla zbioru testowego
- Czas odpowiedzi - 5 s, przy zastosowaniu CPU (średnia dla zbioru testowego)
Możliwość nawiązania stałej współpracy w rozwijającym się zespole
