Od Audrey do głębokiego uczenia: epicka historia rozpoznawania mowy

Niewiele technologii przeszło tak krętą drogę jak rozpoznawanie mowy. Dekady przed tym, zanim od niechcenia pytaliśmy smartfony o pogodę, science fiction marzyło o mówiących komputerach – od załogi Star Trek rozmawiającej ze swoim statkiem kosmicznym, po HAL 9000 w 2001: A Space Odyssey. Przekształcenie tej fantazji w rzeczywistość wymagało pokoleń badaczy, systematycznych przełomów i okazjonalnych skoków wiary. Mowa może wydawać się magiczna, ale za nią kryje się historia wczesnych eksperymentów, rządowych przedsięwzięć, rewolucji statystycznej i narodzin głębokiego uczenia. Ten post bada tę podróż epoka po epoce – kluczowe techniki, osoby, firmy i kamienie milowe, które doprowadziły nas od nieporęcznego gadżetu głosowego z lat 1950 do niemal ludzkiej dokładności dzisiejszych systemów AI.
Wczesne marzenia i pierwsze mówiące maszyny (lata 1950–1960)
Badania nad rozpoznawaniem głosu naprawdę rozpoczęły się w latach 1950, choć pragnienie komunikowania się z maszynami jest jeszcze starsze. Bell Laboratories przewodziły w 1952, tworząc urządzenie uroczyście nazwane „Audrey” (Automatic Digit Recognizer). Audrey z Bell Labs (1952) była pionierską maszyną do rozpoznawania mowy, która potrafiła rozpoznawać wypowiadane cyfry od 0 do 9 – choć tylko w jednym głosie (swojego twórcy) i przy użyciu ogromnego analogowego układu. Audrey była imponująca jak na swoje czasy: osiągała około 90% dokładności z głosem wynalazcy, ale wydajność spadała dla innych mówców. System musiał się trochę „uczyć” z każdym nowym głosem użytkownika i był daleki od praktyczności – stał wyższy niż człowiek, wypełniony lampami próżniowymi i zużywał dużo energii. Jednak Audrey udowodniła, że maszyna może słuchać ludzkiej mowy w ograniczonym zakresie, rozpoznając proste słownictwo (cyfry zero do dziewięć).
Demonstracja „Shoebox” IBM (1962) zaprezentowała wczesny kalkulator sterowany głosem, który rozpoznawał 16 wypowiadanych słów (cyfry i podstawowe polecenia). Dekadę po Audrey IBM zaprezentował swój Shoebox na Wystawie Światowej w 1962 – gadżet, który potrafił rozumieć liczby od 0 do 9 i kilka słów sterujących („plus”, „minus”, „total” itp.). Shoebox był zasadniczo maszyną dodającą sterowaną głosem. Na całym świecie kiełkowały podobne eksperymenty: badacze w Anglii, Japonii i gdzie indziej budowali prototypowe systemy, które mogły rozpoznać bardzo ograniczony zestaw sylab lub słów. Pod koniec lat 1960 niektóre laboratoria miały sprzęt rozpoznający mały zestaw elementów fonetycznych (na przykład kilka samogłosek i spółgłosek) jako kamień milowy w kierunku słów.
Te wczesne systemy były sztywno zaprogramowane i dedykowane konkretnym zadaniom. Zazwyczaj działały tylko dla izolowanych słów (jedno na raz, z pauzami pomiędzy), i często tylko dla mówcy, który je trenował. Pod koniec lat 1960 bystry młody badacz imieniem Raj Reddy – wówczas doktorant na Stanford – odważył się podjąć większe wyzwanie: sprawić, by komputer rozumiał mowę ciągłą bez pauz. Używając jednego z pierwszych komputerów DEC PDP-1 ze specjalnymi przetwornikami analogowo-cyfrowymi, Reddy zbudował prymitywny rozpoznawacz samogłosek i zapoczątkował techniki rozpoznawania mowy ciągłej. Jego praca sugerowała przyszłość, w której nie trzeba będzie…mówić…tak…żeby maszyna zrozumiała. Jednak ograniczenia technologiczne lat 1950–60 były poważne: bardzo mało tranzystorów lub pamięci do obsługi zalewu danych generowanych przez mowę i brak konsensusu, jak zaprogramować maszynę do dekodowania złożoności ludzkiego języka. Ale to wszystko miało się zmienić za sprawą nowego sponsora: Departamentu Obrony USA.
Lata 1970: Finansowanie obronne i zwrot statystyczny
W 1971 DARPA (Agencja Zaawansowanych Projektów Badawczych Obrony) uruchomiła śmiały pięcioletni program, aby przyspieszyć postęp w rozumieniu mowy. Cel był ambitny – system, który do połowy lat 1970 mógłby rozpoznać co najmniej 1,000 słów (w przybliżeniu słownictwo 3-latka). Finansowano wiele czołowych instytucji, w tym Carnegie Mellon University (gdzie Raj Reddy został profesorem), aby zbadały różne podejścia. W tym czasie konkurowały ze sobą dwie filozofie rozpoznawania mowy:
-
Dopasowywanie szablonów: Jedno z podejść polegało na tym, że komputer przechowywał zarejestrowane szablony słów i próbował dopasować przychodzące dźwięki mowy do tych szablonów. Ponieważ ludzie mówią w różnym tempie, zastosowano technikę zwaną dynamic time warping, aby rozciągnąć lub skurczyć oś czasu zarejestrowanych wzorców w celu dopasowania ich do nowego sygnału wejściowego. Można to sobie wyobrazić jako fonetyczną grę w dopasowywanie – jeśli przychodzący przebieg fali „hello” wyglądał jak wersja zapisanego „hello” z inną prędkością, to był rozpoznawany. To działało w porządku dla bardzo małych słowników, ale sprawiało trudności wraz ze wzrostem słowników lub zmiennością mowy.
-
AI oparta na regułach z wiedzą lingwistyczną: Inne podejście próbowało włączyć ludzką wiedzę o języku. Badacze pisali złożone reguły lingwistyczne – reguły fonetyczne dla dźwięków, reguły leksykalne dla słów, reguły składniowe dla zdań itp. – aby kierować rozpoznawaniem. System analizował mowę na wielu poziomach i próbował „odgadnąć” najlepszą interpretację, stosując te reguły, nieco podobnie do systemu ekspertowego. Było to intelektualnie atrakcyjne, ponieważ odzwierciedlało sposób, w jaki lingwista mógłby podejść do problemu, ale niezwykle trudne było zbudowanie kompletnego zestawu reguł dla mowy w rzeczywistym świecie.
Na początku wielu ekspertów uważało, że tylko przez wbudowanie inteligencji lingwistycznej można poprawić rozpoznawanie mowy. Jednak fundamentalny wgląd z teorii informacji zaczął przechylać szalę na korzyść innego podejścia. Claude Shannon, ojciec teorii informacji, zademonstrował przewidywalność języka poprzez słynny eksperyment w 1951. Poprosił swoją żonę Betty Shannon, aby spróbowała odgadnąć tekst litera po literze z powieści – gdy znanych było kilka liter, Betty potrafiła dokładnie przewidzieć wiele pozostałych liter i słów. Pokazało to, że ludzki język jest wysoce redundantny i statystyczny – pewne dźwięki i słowa są znacznie bardziej prawdopodobne w kontekście tego, co było wcześniej. Dla rozpoznawania mowy oznaczało to, że komputer może wykorzystać prawdopodobieństwo i kontekst do zawężenia możliwości tego, co dana osoba powiedziała, zamiast polegać wyłącznie na dosłownym dopasowywaniu przebiegu fali lub ręcznie tworzonych regułach.
Przyjęcie tego pomysłu było początkowo kontrowersyjne – wydawało się „nieintuicyjne” dla niektórych inżynierów, którzy preferowali jawne rozumowanie AI. Ale wraz z postępem projektów DARPA metody oparte na statystyce zaczęły błyszczeć. Zespół z Carnegie Mellon na przykład zbudował system o nazwie Harpy, który osiągnął cel słownika 1,000 słów do 1976. Harpy wprowadził technikę zwaną beam search, aby efektywnie przeszukiwać możliwe sekwencje słów i oceniać, które z nich mają sens w kontekście. Zasadniczo Harpy potrafił rozpoznawać całe zdania i używać modelu językowego (statystycznego modelu sekwencji słów) do rozstrzygania między niejednoznacznymi interpretacjami dźwięków. Był to ogromny skok: Harpy potrafił rozumieć nie tylko izolowane słowa, ale ciągłą mowę w zdaniach, ograniczoną do swojego słownika. Jego leksykon 1,011 słów i inteligentna strategia dekodowania były porównywalne z umiejętnościami małego dziecka – trzylatka, który nigdy się nie rozprasza.
W tym samym czasie młody badacz o imieniu James „Jim” Baker (i jego żona Janet Baker) pracowali nad innym projektem finansowanym przez DARPA w CMU. W 1974 opracowali system DRAGON, który podjął odważny krok polegający na zastosowaniu czysto statystycznego modelowania mowy. Praca doktorska Jima Bakera w 1975 wprowadziła użycie ukrytych modeli Markowa (HMM) do rozpoznawania mowy – probabilistycznych ram, które traktują dźwięki mowy jako sekwencję stanów statystycznych. W systemie opartym na HMM nie próbuje się precyzyjnie dopasować zarejestrowanego szablonu. Zamiast tego komputer jest trenowany na danych przykładowych, aby oszacować prawdopodobieństwa wystąpienia pewnych dźwięków lub słów w sekwencji. Jeśli brzmi to abstrakcyjnie, intuicyjny przykład to: wyobraź sobie, że próbujesz zrozumieć stłumioną mowę przyjaciela, rozważając, jakie prawdopodobne słowa może w kontekście wypowiadać. HMM dały rozpoznawaniu mowy potężny matematyczny sposób, aby właśnie to robić – modelować niepewność w dźwiękach i decydować o najbardziej prawdopodobnej sekwencji słów. System Dragon państwa Bakerów zademonstrował, że rozpoznawanie ciągłej mowy z dużym słownikiem jest możliwe dzięki temu podejściu statystycznemu. Był to punkt zwrotny: pokazał, że można „nauczyć” maszynę za pomocą danych i prawdopodobieństw, zamiast programować ją za pomocą nieskończonych reguł lingwistycznych.
Kilka innych znaczących systemów powstało w wyniku wysiłku DARPA w latach 1971–76. Na przykład Hearsay-II badał hybrydową architekturę „tablicy”, w której wiele źródeł wiedzy (fonetyka akustyczna, składnia, semantyka itp.) współpracowało przy dekodowaniu mowy, zapisując swoje częściowe hipotezy na wirtualnej tablicy, aby inne mogły je udoskonalać. Była to wczesna próba połączenia podejścia statystycznego i opartego na wiedzy – choć elegancka, była złożona i obliczeniowo ciężka jak na swoje czasy. Pod koniec lat 1970, dzięki tym projektom, dziedzina udowodniła, że maszynowe rozumienie języka mówionego jest wykonalne, przynajmniej w ograniczonych domenach. Jednak wydajność wciąż była daleka od doskonałości, a poza laboratorium systemy te nie były jeszcze praktyczne. Scena została jednak przygotowana do szybkich postępów wraz ze wzrostem mocy obliczeniowej w nadchodzących dziesięcioleciach.
Lata 1980: Modele ukrytego Markowa przejmują kontrolę
W latach 1980 rozpoznawanie mowy zdecydowanie przesunęło się w kierunku metod statystycznych, zwłaszcza ukrytych modeli Markowa. Jednym z głównych katalizatorów była kolejna runda inwestycji rządu USA w badania nad mową począwszy od 1984, w połączeniu z utworzeniem standardowych zestawów danych i wzorców oceny. Organizacje takie jak National Institute of Standards and Technology (NIST) koordynowały coroczne testy na wspólnych bazach danych, co pobudzało konkurencję i mierzalny postęp wśród grup badawczych (w CMU, SRI, BBN, MIT, Bell Labs i innych). Po raz pierwszy wszyscy mówili tym samym językiem – dosłownie używali tych samych korpusów testowych – co pozwalało na bezpośrednie porównywanie technik i szybką iterację.
W tym okresie algorytmy ukrytych modeli Markowa (HMM) stały się dominującą technologią rozpoznawania mowy. HMM okazały się idealnym dopasowaniem do sekwencyjnej, zmiennej natury mowy. Dzieląc wypowiadane słowa na ramki (maleńkie wycinki czasu) i statystycznie modelując prawdopodobieństwo różnych dźwięków i przejść, systemy oparte na HMM mogły „uczyć się” wzorców akustycznych z danych. Równie ważne było to, że mogły włączać modele językowe – prawdopodobieństwa sekwencji słów – aby podejmować spójne przypuszczenia transkrypcyjne. Rezultatem był duży skok w rozmiarze słownika i dokładności: od kilkuset słów w latach 1970 do kilku tysięcy słów w połowie lat 1980. Na przykład w IBM zespół kierowany przez Freda Jelineka w pełni przyjął podejście probabilistyczne. Opracowali system o kryptonimie Tangora, przeznaczony do dyktowania biurowego, który według doniesień z 1985 mógł rozpoznawać słownik o 20,000 słowach przy użyciu HMM i modeli językowych bigramów/trigramów. (Tangora została trafnie nazwana imieniem amerykańskiego mistrza szybkości pisania na maszynie, podkreślając cel IBM, jakim było osiągnięcie szybkiego i wydajnego dyktowania.)
W międzyczasie małżeństwo Bakerów (Jim i Janet) opuściło akademię, aby skomercjalizować swoje pomysły. W 1982 założyli Dragon Systems, zdeterminowani, by wprowadzić rozpoznawanie mowy do rzeczywistych produktów. Wczesny sukces nadszedł, gdy oprogramowanie Dragon zostało licencjonowane dla Apricot PC w 1984 – czyniąc ten brytyjski komputer Apricot pierwszym komputerem osobistym z wbudowanymi możliwościami rozpoznawania mowy. Było to prymitywne jak na dzisiejsze standardy (system prawdopodobnie obsługiwał mały zestaw poleceń), ale sygnalizowało początek przechodzenia technologii mowy z laboratoriów badawczych na rynek.
Przełomowym osiągnięciem pod koniec lat 1980 było uzyskanie rozpoznawania niezależnego od mówcy – systemów, których nie trzeba już było gruntownie trenować na głosie konkretnego użytkownika. W 1987 Kai-Fu Lee, doktorant pod opieką Raj Reddy'ego, opracował CMU Sphinx, okrzyknięty pierwszym niezależnym od mówcy systemem rozpoznawania mowy ciągłej. Sphinx łączył najlepsze z innowacji poprzedniej dekady: wykorzystywał algorytmy HMM Bakerów oraz strategię przeszukiwania wiązkowego z Harpy'ego, ale teraz jeden system mógł obsłużyć wiele głosów bez indywidualnego treningu. Było to kluczowe; wymaganie od użytkowników spędzania godzin na trenowaniu systemu stanowiło ogromną barierę dla praktycznego zastosowania. (Przed Sphinxiem niektóre systemy wymagały powtarzania tysięcy słów, aby je wytrenować – trudna oferta dla konsumentów!) Dzięki niezależności od mówcy wizja ogólnie użytecznego interfejsu głosowego stała się znacznie bliższa. Pod koniec lat 1980 słownictwo wiodących systemów gwałtownie wzrosło, możliwa stała się mowa ciągła o umiarkowanej złożoności gramatycznej, a wskaźniki błędów nadal powoli malały. To, co niegdyś było wielkim wyzwaniem DARPA obejmującym 1,000 słów, rozrosło się do ponad 20,000 słów w słownictwie, a rozpoznawanie zbliżało się powoli do normalnego tempa ludzkiej mowy.
Warto zauważyć, że w tle lat 1980 niektórzy badacze eksperymentowali z zupełnie innym podejściem: sztucznymi sieciami neuronowymi. Wczesne modele sieci neuronowych (takie jak sieci neuronowe z opóźnieniem czasowym i maszyny Boltzmanna) były w tej erze wypróbowywane w zadaniach mowy na małą skalę, takich jak rozpoznawanie fonemów. W istocie Geoffrey Hinton i inni opracowali algorytm wstecznej propagacji w połowie lat 1980, który teoretycznie mógł trenować wielowarstwowe sieci neuronowe do klasyfikowania złożonych wzorców. Jednak wówczas sieci neuronowe nie zdetronizowały jeszcze panujących HMM-ów. Przyczyny były praktyczne: ograniczona moc obliczeniowa i skąpe dane utrudniały sieciom neuronowym zabłyśnięcie poza małymi pokazami. Jak zauważyła jedna z historii AI, sieci neuronowe przechodziły cykle hype'u w latach 60 i 80, ale wpadały w „zimy AI”, gdy nie mogły sprostać oczekiwaniom przy ówczesnym sprzęcie. Tak więc przez lata 1980 działania w rozpoznawaniu mowy pozostawały skupione na starannie zaprojektowanych modelach statystycznych i eksperckiej inżynierii cech. A ta praca się opłaciła, gdy wkroczyliśmy w lata 1990 – dekadę, w której mówiące maszyny wreszcie zaczęły trafiać na rynek konsumencki.
Lata 1990: Z laboratorium do konsumenta (przełamywanie ciszy)
Na początku lat 1990 rozpoznawanie mowy przechodziło od niszowego tematu badawczego do czegoś, co można było zapakować jako produkt komercyjny. Komputery osobiste stały się wystarczająco szybkie, by uruchamiać prostsze silniki mowy w czasie rzeczywistym, a firmy dostrzegły potencjał w oprogramowaniu do dyktowania i interfejsach sterowanych głosem. Jednak pierwsza fala produktów wiązała się z znaczącymi ograniczeniami. W 1990 Dragon Systems wydało Dragon Dictate, okrzyknięty pierwszym produktem rozpoznawania mowy dla konsumentów. Działał na wysokiej klasy komputerze PC i pozwalał użytkownikowi wprowadzać tekst głosem… ale był haczyk: trzeba było mówić jedno… słowo… na… raz, celowo robiąc pauzy między każdym słowem. Ten tryb „mowy dyskretnej” był konieczny ze względu na ograniczoną moc obliczeniową i mniej zaawansowane modele – mowa ciągła była zbyt trudna do obsługi w czasie rzeczywistym na komputerze PC z tamtej ery. Mimo tego nienaturalnego stylu, dla niektórych użytkowników (zwłaszcza tych, którzy nie mogli łatwo korzystać z klawiatury) sama możliwość komponowania tekstu głosem była rewolucyjna.
Przez całe lata 1990 szybkie ulepszenia nastąpiły zarówno w algorytmach, jak i w mocy obliczeniowej. Naukowcy udoskonalili swoje modele HMM, dodali lepsze metody ekstrakcji cech (takie jak MFCC – mel-frequency cepstral coefficients – które wychwytują charakterystykę barwy dźwięku mowy) i wykorzystali większe korpusy treningowe. Komputery, zgodnie z prawem Moore’a, stawały się drastycznie szybsze i mogły obsługiwać bardziej złożone obliczenia. Do połowy lat 90 zrealizowano marzenie o ciągłym, naturalnym wprowadzaniu mowy na PC. W 1997 firma Dragon Systems wprowadziła Dragon NaturallySpeaking, który po raz pierwszy pozwolił użytkownikom dyktować w normalny, płynny sposób – do 100 słów na minutę – bez pauz między słowami. Nie był doskonały (użytkownicy nadal przechodzili wstępny trening, a oprogramowanie działało najlepiej, jeśli mówiło się wyraźnie i dość równomiernie), ale był to przełom w użyteczności. W pierwszym roku NaturallySpeaking był przebojowym produktem, co wskazywało na duży popyt na pisanie głosem pomimo pozostałych dziwactw. (Koniec z urazami przeciążeniowymi od pisania długich dokumentów – teraz można było je sobie zafundować, rozmawiając z komputerem!)
NaturallySpeaking nie był sam. IBM również był aktywny, wykorzystując swoją długą historię w tej dziedzinie. W 1996 IBM wprowadził MedSpeak, produkt do ciągłego rozpoznawania mowy dostosowany do lekarzy (do dyktowania notatek medycznych) – uznawany za pierwszy komercyjny system ciągłego rozpoznawania mowy dla konkretnej dziedziny. IBM wkrótce potem wprowadził produkt ogólnego przeznaczenia dla konsumentów znany jako IBM ViaVoice. Tymczasem Microsoft i Apple również integrowały podstawowe rozpoznawanie mowy ze swoimi systemami operacyjnymi. Apple miał funkcję o nazwie PlainTalk (oraz interfejs znany jako „Speakable Items”) do połowy lat 90, która pozwalała użytkownikom wydawać proste polecenia głosowe na Macintoshu. Microsoft oferował Speech SDK dla Windows, a w 2000 wbudował rozpoznawanie mowy w Office XP, a później w sam Windows (Windows Vista w 2007 została dostarczona z ulepszonym wbudowanym rozpoznawaniem mowy). Te wbudowane systemy były często kapryśne i rzadko używane przez konsumentów, ale sygnalizowały, że sterowanie głosem staje się standardową funkcją, a nie nowinką science fiction.
Innym ważnym osiągnięciem lat 90 było wykorzystanie rozpoznawania mowy w telefonii. Gdy linie telefoniczne stały się cyfrowe, a obliczenia tańsze, firmy zaczęły wdrażać zautomatyzowane usługi głosowe. W 1996 BellSouth (regionalny operator telekomunikacyjny) wprowadził usługę „portalu głosowego”, w której klienci mogli dzwonić i nawigować po menu lub uzyskiwać informacje, wypowiadając polecenia. Jeśli kiedykolwiek rozmawiałeś z drzewkiem telefonicznym („Proszę powiedzieć lub nacisnąć 1, aby przejść do rozliczeń…”), doświadczyłeś dziedzictwa tych innowacji z lat 90. Wczesne systemy telefoniczne miały ograniczone słownictwo (często tylko cyfry lub tak/nie, albo ustaloną listę opcji), ale pokazały, że rozpoznawanie mowy może obsługiwać zadania takie jak kierowanie połączeń i wyszukiwanie informacji bez użycia rąk. Te systemy interaktywnej odpowiedzi głosowej (IVR) rozmnożyły się, a do lat 2000 wiele firm używało ich do automatyzacji obsługi klienta – czasami ku frustracji klientów, ale także skracając czas oczekiwania na podstawowe zapytania.
Pod koniec lat 1990 najnowsze osiągnięcia w rozpoznawaniu mowy mogły poszczycić się imponującymi jak na owe czasy liczbami: rozmiary słownictwa rzędu dziesiątek tysięcy słów, zdolność do ciągłego rozpoznawania mowy niezależnie od mówcy oraz stale spadające wskaźniki błędów słów. Jednak typowe doświadczenie użytkownika mogło wiązać się z dokładnością od 80 do 95% w dobrych warunkach. W rzeczywistości około 2001 średnia dokładność dla ogólnej mowy wynosiła tylko około 80% – co oznaczało, że jedno na pięć słów byłoby błędnie rozpoznane bez starannego mówienia lub korekty. Taki poziom dokładności nie wystarczał do wielu zastosowań (wyobraź sobie poprawianie co piątego słowa w transkrypcji), co oznaczało, że technologia mowy, choć znacznie ulepszona, jeszcze nie „przybyła” w pełni jako wszechobecny interfejs. Pozostało wiele wyzwań: hałaśliwe środowiska psuły systemy, podobnie jak silny akcent lub szybka naturalna rozmowa. Marzenie o bezbłędnym rozpoznawaniu mowy na poziomie ludzkim wciąż było na horyzoncie. Nie wiedzieliśmy wtedy, że świeże podejście w nadchodzącej dekadzie w końcu popchnie wydajność do tego wymykającego się poziomu.
Lata 2000: Wielkie dane i powolna wspinaczka ku lepszej dokładności
Lata 2000 były dla rozpoznawania mowy czymś w rodzaju mieszanki różnorodnych doświadczeń. Z jednej strony technologia stała się szerzej dostępna – wbudowana w systemy operacyjne, wykorzystywana w call centerach, wdrażana w niszowych rynkach, takich jak transkrypcja medyczna. Z drugiej strony postęp wydawał się stopniowy. Przez większość dekady nie było fundamentalnych przełomów na miarę wprowadzenia HMM w latach 70 czy wielkich skoków w latach 80. Zamiast tego stałe ulepszenia inżynieryjne stopniowo zmniejszały wskaźniki błędów. Do 2001, jak zauważono, typowa dokładność oscylowała wokół 80% dla nieograniczonego dyktowania. Podniesienie tej liczby wyżej okazywało się trudne przy istniejących podejściach.
Jednak kilka trendów w latach 2000 przygotowało grunt pod nadchodzącą rewolucję:
-
Moc obliczeniowa i łączność z chmurą: Komputery osobiste stawały się coraz szybsze, ale co ważniejsze, w połowie lat 2000 nastąpił rozwój internetu i chmury obliczeniowej. Oznaczało to, że rozpoznawanie mowy mogło być wykonywane na wydajnych serwerach, a nie na urządzeniu użytkownika. Zamiast być ograniczane przez CPU w domowym komputerze czy wczesnym smartfonie, urządzenia mogły nagrywać głos, wysyłać go przez sieć i otrzymywać rozpoznany tekst z potężnej farmy serwerów. To odciążenie obliczeń było kluczowe. Na przykład w 2008 Google uruchomił bezpłatną telefoniczną usługę informacyjną o nazwie GOOG-411, a wkrótce potem aplikację na smartfony do wyszukiwania głosowego. Gdy wypowiadałeś zapytanie do aplikacji Google, twój głos był wysyłany do centrów danych Google, gdzie następowało rozpoznawanie. Podejście chmurowe pozwoliło wykorzystać ogromne zasoby obliczeniowe i zbiory danych, daleko wykraczające poza to, co wówczas mogło obsłużyć jakiekolwiek pojedyncze urządzenie.
-
Eksplozja danych: Drugą zaletą, jaką miały firmy takie jak Google, były dane – mnóstwo danych. Przez całe lata 2000 Google indeksował sieć, a także po cichu uczył się z tekstu miliardów zapytań wyszukiwania. Cały ten tekst – biliony słów – pomógł wytrenować lepsze modele językowe. Pod koniec lat 2000 system rozpoznawania mowy angielskiej Google był wspierany przez model językowy obejmujący 230 miliardów słów rzeczywistych zapytań i tekstu. Oznaczało to, że gdy wypowiadałeś coś niejednoznacznego, system dysponował ogromną wiedzą statystyczną o tym, jakie frazy lub sekwencje słów są prawdopodobne. Na przykład „wie”, że „New York” jest znacznie bardziej powszechne niż „gnue fork”, więc nawet jeśli akustyka jest nieco niejasna, model językowy prowadzi go do właściwej interpretacji. To podejście oparte na dużych zbiorach danych zaczęło zauważalnie poprawiać dokładność rozpoznawania mowy w zadaniach takich jak wyszukiwanie głosowe, gdzie kontekst i prawdopodobieństwo mają duże znaczenie.
-
Urządzenia mobilne i asystenci głosowi: Pod koniec dekady pojawił się nowy paradygmat – głos jako interfejs dla telefonów komórkowych. Wczesne smartfony i PDA miały małe ekrany i maleńkie przyciski, więc wprowadzanie głosowe było atrakcyjne. iPhone Apple (2007) spopularyzował nowoczesny smartfon, a wkrótce potem głos dołączył do tego zestawu. W 2011 Apple wprowadził Siri, asystenta sterowanego głosem na iPhonie. Siri potrafiła nie tylko rozpoznawać mowę, ale także interpretować intencję użytkownika (dzięki technikom rozumienia języka naturalnego) i wykonywać zadania, takie jak wysyłanie wiadomości czy pobieranie informacji. Po Siri szybko pojawił się własny asystent głosowy Google, a ostatecznie Alexa firmy Amazon w 2014 (która mieszkała w Echo, samodzielnym inteligentnym głośniku). Nagle rozmowa z maszyną przeszła od niszowej aktywności do powszechnego doświadczenia konsumenckiego – miliony ludzi pytały swoje telefony o wskazówki, a swoje inteligentne głośniki prosiły o odtwarzanie muzyki. Ten gwałtowny wzrost użycia w latach 2010 dostarczył jeszcze więcej danych, tworząc dodatni cykl: więcej użytkowników mówiących oznaczało więcej danych do ulepszania systemów, co z kolei czyniło je dokładniejszymi i bardziej użytecznymi, przyciągając jeszcze więcej użytkowników.
Pod koniec lat 2000 rozpoznawanie mowy niewątpliwie się poprawiło – ale prawdziwy przełom dopiero miał nadejść. Wiele osób w tej dziedzinie uważało, że postęp utknął w miejscu przy istniejących technikach (HMM z starannie zaprojektowanymi cechami i modelami językowymi). Wskaźniki błędów utknęły w przedziale 10–20% dla trudnych zadań. Pojawiało się poczucie, że do pokonania ostatniego odcinka do wydajności na poziomie ludzkim może być potrzebne fundamentalnie nowe podejście. Jak się okazało, nasiona tego nowego podejścia zostały już zasiane – w postaci głębokich sieci neuronowych, które miały wkrótce dokonać spektakularnego powrotu w latach 2010.
Wczesna rewolucja uczenia głębokiego (lata 2010): Sieci neuronowe kontratakują
Rok 2009 jest często wskazywany jako punkt zwrotny w rozpoznawaniu mowy. Po latach hibernacji modele sieci neuronowych powróciły z hukiem – tym razem uzbrojone w znacznie większą moc obliczeniową i ilości danych niż w latach 1980. Zespół badaczy pod kierownictwem Geoffreya Hintona wykazał, że nowa generacja głębokich sieci neuronowych (DNN) może znacząco przewyższyć stare metody na zadaniach rozpoznawania mowy. Osiągnęli to, stosując uczenie głębokie: sieci neuronowe z wieloma warstwami sztucznych neuronów, trenowane na bardzo dużych zbiorach danych. Jak przezwyciężyli wcześniejsze ograniczenia? Mówiąc prosto, zmieniły się trzy rzeczy:
-
Nienadzorowane wstępne trenowanie: Hinton i współpracownicy wprowadzili sposób na „wstępne trenowanie” głębokich sieci warstwa po warstwie za pomocą maszyn Boltzmanna z ograniczeniami (RBM) – w istocie ucząc każdą warstwę wydobywania użytecznych cech z danych audio przed dostrojeniem całej sieci. W 2009 pokazali, że układanie tych RBM w stosy może przynieść dramatyczne poprawy dokładności rozpoznawania mowy. Ten sprytny trik treningowy pomógł rozwiązać problem skutecznego trenowania bardzo głębokich sieci (co wcześniej było bardzo trudne z powodu takich problemów jak zanikające gradienty).
-
Więcej danych: Do 2010 dostępnych było znacznie więcej cyfrowych danych audio do trenowania – godziny i godziny transkrybowanej mowy z projektów, archiwów i sieci. Uczenie głębokie kwitnie na dużych danych. Im więcej przykładów sieć może wykorzystać do nauki, tym lepiej może dostroić swoje liczne parametry. Ta dostępność danych była czymś, czego pionierzy w latach 80 po prostu nie mieli.
-
Większa moc obliczeniowa (zwłaszcza GPU): Lata 2010 przyniosły eksplozję wykorzystania procesorów graficznych (GPU) do obliczeń ogólnego przeznaczenia. GPU okazały się doskonałe do tego rodzaju równoległych, intensywnych macierzowo obliczeń, których wymagają sieci neuronowe. Oznaczało to, że to, co w latach 90 zajmowało tygodnie na CPU, do 2010 można było wykonać w godziny na klastrze GPU. Jak ujęła to jedna z analiz, kombinacja ulepszonych algorytmów, ogromnych danych treningowych i potężnych procesorów pozwoliła uczeniu głębokiemu wreszcie stać się praktycznym w skali całej branży.
Wpływ na rozpoznawanie mowy był natychmiastowy i głęboki. Zamiast żmudnie projektować cechy takie jak MFCC, badacze mogli podawać stosunkowo surowe spektrogramy audio do głębokiej sieci neuronowej, a sieć uczyła się własnych cech – subtelnych reprezentacji dźwięków mowy zoptymalizowanych pod rozpoznawanie. Te głębokie modele zaczęły przewyższać tradycyjne systemy HMM z mieszaninami gaussowskimi o znaczący margines. W niektórych przypadkach wskaźniki błędów spadały o 20–30% względnie z dnia na dzień po przejściu na model akustyczny oparty na DNN.
Około 2012 zarówno Microsoft, jak i Google wdrożyły głębokie sieci neuronowe w swoich produkcyjnych systemach rozpoznawania mowy do zadań takich jak wyszukiwanie głosowe. Wyniki były odczuwalne dla użytkowników – nagle Twój smartfon lub oprogramowanie do dyktowania było znacznie lepsze w rozumieniu Cię. Badacze z Microsoft donieśli, że przejście na głęboką sieć neuronową do modelowania akustycznego zmniejszyło ich współczynnik błędów prawie o połowę na wymagającym benchmarku. Google również zauważył znaczący skok dokładności we wprowadzaniu głosowym Androida w tym czasie, dzięki DNN. Stare systemy HMM nie zostały całkowicie wyrzucone – początkowo najskuteczniejszą receptą było podejście hybrydowe: użyj DNN do oszacowania prawdopodobieństw fonemów (podstawowych jednostek dźwiękowych) z dźwięku i wprowadź je do frameworku HMM, który nadal wymuszał sekwencjonowanie czasowe i łączył się z modelem językowym. To hybrydowe podejście DNN-HMM dominowało w pierwszej połowie lat 2010 i było wdrażane w praktycznie każdej głównej usłudze mowy.
Liczby opowiadają historię. Około 2015, współczynniki błędów słów (WER) na standardowych testach, takich jak Switchboard (korpus rzeczywistych rozmów telefonicznych), zbliżały się do jednocyfrowych wartości. W 2016 IBM ogłosił, że osiągnął WER na poziomie 6.9%, co było wówczas rekordem. Zaledwie rok później Microsoft poinformował o osiągnięciu 5.9%, co według nich było w przybliżeniu na poziomie profesjonalnych ludzkich transkrybentów (dla tego testu). Wkrótce potem IBM odpowiedział 5.5%, a następnie Microsoft i inni doprowadzili go do jeszcze niższego poziomu. Do 2017 Microsoft osiągnął około 5.1% błędu – zasadniczo osiągając to, co nazwali „ludzką parytetnością” w rozpoznawaniu mowy konwersacyjnej. A Google nie pozostawał daleko w tyle; raport Internet Trends w 2017 pokazał, że system głosowy Google osiąga około 95% dokładności, co w przybliżeniu odpowiada współczynnikowi błędów ludzkiego słuchacza transkrybującego codzienną mowę. W mniej niż dekadę głębokie uczenie znacząco obniżyło współczynnik błędów z kłopotliwego zakresu ~20% do ~5%. To było przełomowe osiągnięcie – wreszcie korzystanie z rozpoznawania mowy mogło być tak niezawodne, jak wysłanie dźwięku do ludzkiego transkrybenta (w niektórych scenariuszach).
Do 2017 systemy rozpoznawania głosu osiągnęły około 95% dokładności w testach benchmarkowych – w przybliżeniu równoważnej dokładności ludzkich transkrybentów w podobnych warunkach. Ta szybka poprawa, widoczna w spadającym współczynniku błędów (wyższy jest gorszy) na wykresie, była napędzana przez pojawienie się głębokich sieci neuronowych.
Efekt tego przełomu nie był tylko akademicki – był odczuwany przez konsumentów. Nagle interfejsy głosowe zmieniły się z niezgrabnych i podatnych na błędy w naprawdę użyteczne. To był okres, gdy Alexa Amazona, Assistant Google, Cortana Microsoft i ulepszona Siri Apple rywalizowały o dominację. Te asystenty nie byłyby opłacalne kilka lat wcześniej przy wyższych współczynnikach błędów; do 2016 były wystarczająco dobre, że miliony ludzi zaczęły polegać na nich w codziennych zadaniach. Wymowne jest to, że pod koniec lat 2010 rozmowa z maszynami stała się normalna. Samochody miały sterowanie głosowe, smartfony zachęcały do dyktowania wiadomości, a usługi takie jak automatyczna transkrypcja poczty głosowej lub filmów stały się dokładniejsze i bardziej przystępne cenowo. Rozpoznawanie mowy było oficjalnie wszędzie.
Jednak historia głębokiego uczenia nie zakończyła się na tych wczesnych DNN. Badacze kontynuowali innowacje, przesuwając granice tego, co systemy rozpoznawania mowy mogą robić.
Nowoczesna era: modele end-to-end i poza nią
Po początkowym sukcesie hybrydowych systemów DNN-HMM dziedzina rozpoznawania mowy zwróciła się ku jeszcze bardziej zintegrowanym podejściom głębokiego uczenia. Zamiast mieć oddzielne moduły (model akustyczny, słownik wymowy, model językowy) poskładane razem, badacze zapytali: Czy możemy wytrenować jedną dużą sieć neuronową, aby bezpośrednio mapowała fale mowy na transkrypcje tekstowe? Odpowiedź, ostatecznie, brzmiała tak – są one znane jako modele rozpoznawania mowy end-to-end. Począwszy od około 2014, lawina badań pokazała, że trening end-to-end jest nie tylko możliwy, ale może dorównać wydajności starych pipeline'ów, przy wystarczającej ilości danych.
Jedna z pierwszych metod end-to-end wykorzystywała podejście zwane Connectionist Temporal Classification (CTC), zapoczątkowane przez Alexa Gravesa. CTC pozwalało RNN (rekurencyjnej sieci neuronowej) samodzielnie uczyć się dopasowań między dźwiękiem a tekstem wyjściowym, bez potrzeby wstępnie segmentowanych danych treningowych. W 2014 Graves i współpracownicy zademonstrowali RNN oparty na CTC, który potrafił bezpośrednio transkrybować mowę na znaki. W istocie sieć nauczyła się „słuchać” i literować zdanie znak po znaku, obsługując wewnętrznie zmienne długości i czasy. Jednak wczesne modele CTC miały wadę: zakładały niezależność między znakami wyjściowymi, co oznaczało, że nadal polegały na zewnętrznym modelu językowym, aby poprawić ostateczne wyjście (aby zdanie miało sens). Czasami popełniały głupie błędy ortograficzne lub produkowały bełkot bez tej dodatkowej pomocy.
Następny skok nastąpił wraz z modelami sekwencja-do-sekwencji opartymi na atencji. W 2016 badacze ze środowiska akademickiego i przemysłu (np. z Carnegie Mellon, Google Brain i University of Montreal) wprowadzili systemy z architekturą enkodera-dekodera wykorzystującą mechanizm atencji. Trafnie nazwane „Listen, Attend and Spell”, to podejście miało sieć enkodera przetwarzającą wejściowy dźwięk na wysokopoziomową reprezentację cech, a następnie sieć dekodera, która skupia uwagę na wyjściu enkodera i generuje znaki tekstu jeden po drugim – skutecznie „literując” rozpoznaną mowę. Mechanizm atencji pozwalał modelowi dynamicznie skupiać się na różnych częściach dźwięku podczas generowania każdego znaku, co jest trochę jak ludzki transkrybent słuchający i piszący jednocześnie, śledzący, gdzie jest. Te modele oparte na atencji nie wymagały osobnego leksykonu wymowy ani modelu językowego; teoretycznie mogły nauczyć się wszystkiego z surowego mapowania dźwięk-na-tekst. Pod koniec 2016 takie modele dorównały, a nawet przewyższyły systemy oparte na CTC w niektórych testach porównawczych. I co ważne, model end-to-end jest prostszy we wdrożeniu – nie trzeba na przykład nosić w telefonie modelu językowego n-gramów o rozmiarze 5 GB. To sprawiło, że po raz pierwszy praktyczne stało się myślenie o rozpoznawaniu mowy na urządzeniu, co jest atrakcyjne ze względu na prywatność i użycie offline.
Od tego czasu obserwujemy ciągłe udoskonalenia: warianty takie jak RNN-Transducers (które łączą idee CTC i atencji) oraz przyjęcie nowszych architektur neuronowych, takich jak Konwolucyjne Sieci Neuronowe (CNN) i Transformery do mowy. Na przykład w 2019 NVIDIA ogłosiła modele end-to-end (o chwytliwych nazwach jak Jasper i QuartzNet), które były wysoce zoptymalizowane z warstwami CNN, osiągając wskaźniki błędów słów około 3% w niektórych zestawach testowych. Takie liczby zbliżają się do punktu, w którym ostatnie kilka błędów może nawet wynikać z tego, że ludzka transkrypcja miała błędy! Co więcej, modele oparte na transformerach z samoatencją (słynne z zrewolucjonizowania przetwarzania tekstu) zostały z powodzeniem zastosowane do mowy, dając nam szybsze i jeszcze dokładniejsze systemy w latach 2020.
Innym nowoczesnym trendem jest wykorzystywanie uczenia nienadzorowanego i półnadzorowanego. Najnowsze systemy, takie jak wav2vec 2.0 Facebooka (żeby wymienić jeden przykład), mogą uczyć się z nieoznaczonego dźwięku, zasadniczo słuchając milionów godzin mowy bez transkrypcji i ucząc się struktury dźwięku. Następnie, z mniejszą ilością oznaczonych danych, dostrajają się do transkrypcji. To rozwiązuje kluczowy problem: większość języków świata nie ma ogromnych transkrybowanych zbiorów danych do trenowania. Uczenie samonadzorowane i uczenie transferowe pozwalają modelowi wytrenowanemu w jednym języku (lub na ogólnym dźwięku) zostać dostosowanym do innego języka lub specjalnej dziedziny przy znacznie mniejszej ilości danych. Jest to kluczowe dla rozpowszechniania wysokiej jakości rozpoznawania mowy poza głównymi językami i do większej liczby zastosowań.
Dziś rozpoznawanie mowy jest naprawdę częścią codziennego życia. Jest w naszych kieszeniach, kuchniach, samochodach, a nawet odzywa się do nas. Asystenci wirtualni wykorzystują je do ustawiania timerów i odpowiadania na pytania; oprogramowanie do dyktowania transkrybuje spotkania i notatki lekarzy; boty obsługi klienta segregują połączenia; gadżety sterowane głosem są wszędzie. Podejście oparte na głębokim uczeniu sprawiło, że rozpoznawanie jest zarówno ultra-dokładne, jak i w czasie rzeczywistym. Wiele systemów działa teraz całkowicie na urządzeniu (bez potrzeby internetu) dla szybkości i prywatności, podczas gdy inne korzystają z chmury do obsługi ciężkiego przetwarzania i ciągłego doskonalenia. W rzeczywistości nowoczesne usługi mowy w chmurze często pełnią podwójną rolę: obsługują użytkownika, konwertując mowę na tekst, a także uczą się od użytkownika (anonimowo), dodając ten fragment audio i jego wynik do stale rosnących danych treningowych. Za każdym razem, gdy używasz dyktowania głosowego lub mówisz do Alexy, istnieje duża szansa, że te dane pomagają dopracowywać modele za kulisami. W pewnym sensie dzisiejsze rozpoznawacze mowy nigdy nie kończą się uczyć – poprawiają się odrobinę z każdym usłyszanym głosem, podobnie jak człowiek zdobywający doświadczenie.
Oczywiście, poszukiwania nie dobiegły końca. Pomimo niewiarygodnego postępu, wyzwania pozostają. Język ludzki jest cudownie różnorodny, a AI czasami ma z tym trudności. Silne regionalne akcenty lub dialekty wciąż mogą zmylić system, który nie był na nich trenowany. Hałas w tle i sytuacje z wieloma mówcami (jak transkrypcja ożywionej rozmowy przy kolacji) to wciąż trudne scenariusze. I chociaż garść głównych języków (angielski, mandaryński, hiszpański itp.) cieszy się rozpoznawaniem na poziomie niemal state-of-the-art, istnieją tysiące języków (i wiele więcej dialektów), dla których dobre rozpoznawanie mowy nie jest jeszcze dostępne. Następnym krokiem jest rozszerzenie technologii na wszystkich ludzi i wszystkie języki, być może poprzez budowanie bardziej inkluzywnych zbiorów danych lub stosowanie technik uczenia międzyjęzykowego.
Niemniej jednak trajektoria rozpoznawania mowy daje wiele powodów do optymizmu. W ciągu 70+ lat przeszliśmy od maszyny, która ledwo rozpoznawała dziesięć izolowanych cyfr, do oprogramowania, które potrafi transkrybować płynną mowę z dokładnością 95–99% w czasie rzeczywistym. Każda era budowała na poprzedniej: wcześni wynalazcy udowodnili, że mowę można przechwycić; era DARPA wprowadziła moc modelowania probabilistycznego; lata 1980 ugruntowały algorytmy statystyczne na skalę; lata 1990 uczyniły ją dostępną dla konsumentów; a lata 2010 zapoczątkowały uczące się maszyny, które w końcu złamały kod wydajności na poziomie ludzkim. To historia uporczywych innowacji, często z postępem następującym w zrywach i zatrzymaniach – powolne dekady badań, po których następowały nagłe skoki, gdy moc obliczeniowa lub algorytmy doganiały.
Od Audrey do Siri, od izolowanych słów do całych rozmów, rozpoznawanie mowy ewoluowało w dojrzałą, niezbędną technologię. I wciąż ewoluuje – gdy nasze urządzenia nadal słuchają (i mamy nadzieję, że rozumieją), doświadczenie poprawia się krok po kroku. Może nie mamy jeszcze w pełni konwersacyjnego komputera Star Treka na pokładzie statku kosmicznego Enterprise, ale jesteśmy bliżej niż kiedykolwiek. Jak trafnie zauważył jeden z ekspertów, dzisiejsze systemy mowy AI są „tak dynamiczne i kreatywne, jak same języki ludzkie”, ucząc się i adaptując nieustannie, gdy do nich mówimy. Innymi słowy, historia rozpoznawania mowy jest daleka od zakończenia – ale co to była za historia do tej pory.
Dalsza lektura i źródła
-
Computer History Museum. "Timeline of Speech Recognition Milestones" (Article)
-
Pierce, J.R. "Whither Speech Recognition?" – The Journal of the Acoustical Society of America (1969)
-
Zhou, B. "Speech Recognition: From Research to Practice" – Stanford EE 292C Lecture Notes (2017)
-
Jelinek, F. "Statistical Methods for Speech Recognition" – MIT Press (1997)
-
Schmidhuber, J. "Deep Learning in Neural Networks: An Overview" – Neural Networks (2015)
-
IBM Archives. "IBM Shoebox: Voice-Activated Calculator Demo" (eksponat historyczny)
-
Rabiner, L. & Juang, B.H. "Fundamentals of Speech Recognition" – Prentice Hall (1993)
-
Meeker, M. "Internet Trends Report" – Kleiner Perkins (2017)
-
Norvig, P. "On Chomsky and the Two Cultures of Statistical Learning" – The Atlantic (2011)
-
Hinton, G. et al. "A Fast Learning Algorithm for Deep Belief Nets" – Neural Computation (2006)
-
Glass, J. "A Historical Perspective of Speech Recognition" – MIT Spoken Language Systems (2003)
-
Hannun, A. et al. "Deep Speech: Scaling up End-to-end Speech Recognition" (praca arXiv, 2014)
-
LeCun, Y., Bengio, Y., & Hinton, G. "Deep Learning" – Nature (2015)
-
Hinton, G. et al. "Deep Belief Networks for Acoustic Modeling" (praca PDF, 2012)
