Narzędzie znane jako BERT może teraz pokonać ludzi w zaawansowanych testach czytania ze zrozumieniem. Czy AI jest już teraz bardziej inteligentna od ludzi?

Jesienią 2017 r. Sam Bowman, językoznawca komputerowy z Nowego Jorku, doszedł do wniosku, że komputery nadal nie są zbyt dobre w rozumieniu słowa pisanego. Oczywiście, coraz lepiej symulują to rozumienie w niektórych wąskich dziedzinach, takich jak automatyczne tłumaczenie lub analiza sentymentów (na przykład ustalenie, czy zdanie brzmi „złośliwie czy miło”). Ale Bowman chciał mierzalnych dowodów na autentyczne,  ludzkie czytanie ze zrozumieniem. Więc wymyślił test.

W artykule z kwietnia 2018 r. napisanym wspólnie ze współpracownikami z University of Washington i DeepMind, firmy należącej do Google, Bowman przedstawił dziewięć zadań czytania ze zrozumieniem dla komputerów o nazwie GLUE (General Language Understanding Evaluation). Test został zaprojektowany jako „dość reprezentatywna próbka tego, co zdaniem społeczności badawczej było interesującymi wyzwaniami. Na przykład jedno z zadań dotyczyło pytania, czy zdanie jest prawdziwe na podstawie informacji zawartych w zdaniu poprzednim. Jeśli potrafisz powiedzieć, że „Prezydent Trump wylądował w Iraku na początku siedmiodniowej wizyty” oznacza, że „Prezydent Trump jest na zagranicznej wizycie”, właśnie zdałeś.

Szybko okazało się, że nawet najnowocześniejsze sieci neuronowe uzyskały nie więcej niż 69 na 100 punktów we wszystkich dziewięciu zadaniach, czyli trójkę z plusem. Bowman i jego współautorzy nie byli zaskoczeni. Sieci neuronowe – warstwy połączeń obliczeniowych zbudowane w sposób, w jaki neurony komunikują się w mózgach ssaków – okazały się obiecujące w dziedzinie „przetwarzania języka naturalnego” (NLP), ale badacze nie byli przekonani, że systemy te uczyły się czegoś istotnego o samym języku. I wydawało się, że GLUE to potwierdza. „Te wczesne wyniki wskazują, że rozwiązanie GLUE wykracza poza możliwości obecnych modeli i metod” – napisał Bowman i jego współautorzy. Ale ich radość była przedwczesna.

W październiku 2018 roku Google wprowadził nową metodę o nazwie BERT (dwukierunkowe reprezentacje enkoderów od transformatorów). Jej wynik w teście GLUE wyniósł 80,5 punktu..

W słynnym eksperymencie myślowym o chińskim pokoju osoba nie mówiąca po chińsku siedzi w pokoju wyposażonym w wiele instrukcji, które dokładnie określają, jak odbierać sekwencje chińskich symboli i odpowiednio reagować. Osoba przebywająca na zewnątrz wsuwa pod drzwi pytania napisane po chińsku. Osoba w środku konsultuje instrukcje, a następnie wysyła doskonale spójne odpowiedzi w języku chińskim.

Eksperyment myślowy został użyty, aby pokazać, że bez względu na to, jak może wyglądać z zewnątrz, nie można powiedzieć, że osoba w pomieszczeniu naprawdę rozumie chiński. Jednak nawet symulacja zrozumienia była wystarczająco dobrym celem przetwarzania języka naturalnego. Jedyny problem polega na tym, że nie istnieją idealne księgi reguł, ponieważ język naturalny jest zbyt skomplikowany i przypadkowy, aby sprowadzić go do sztywnego zestawu specyfikacji. Weźmy na przykład składnię: reguły (i praktyczne zasady), które określają sposób grupowania słów w sensowne zdania. Fraza „bezbarwne zielone pomysły śpią wściekle” ma doskonałą składnię, ale każdy wie, że brzmi nonsensownie.

Sieć neuronowa wstępnie przeszkolona w osadzanie słów jest wciąż ślepa na ich znaczenie na poziomie zdania. Można by pomyśleć, że „mężczyzna ugryzł psa” i „pies ugryzł mężczyznę” oznacza dla niej dokładnie to samo”. Naukowcy z Google postanowili, że to sieci neuronowe będą pisały własne prowizoryczne reguły, w procesie zwanym wstępnym szkoleniem. Dzięki temu maszyna znacznie lepiej prognozuje brakujące słowa i jest w stanie rozwiązywać test GLUE. Ale to nadal nie jest prawdziwe czytanie ze zrozumieniem.

Krzysztof Maciejewski

Redaktor prowadzący Creditreform News

ZOSTAW ODPOWIEDŹ

Proszę wpisać swój komentarz!
Proszę podać swoje imię tutaj