Přejít na článek

Od Audrey po hluboké učení: Epická historie rozpoznávání řeči

Od Audrey po hluboké učení: Epická historie rozpoznávání řeči

Jen málo technologií urazilo tak klikatou cestu jako rozpoznávání řeči. Celá desetiletí předtím, než jsme se běžně ptali smartphonů na počasí, sci-fi snila o mluvících počítačích – od posádky Star Treku, která komunikovala se svou hvězdnou lodí, až po HAL 9000 ve filmu 2001: Vesmírná odysea. Přeměna této fantazie ve skutečnost si vyžádala generace výzkumníků, vytrvalé průlomy a občasné skoky víry. Řeč může působit magicky, ale za ní se skrývá příběh raných experimentů, státem podporovaných výzkumů, statistických revolucí a vzestupu hlubokého učení. Tento příspěvek zkoumá tuto cestu epochu po epoše – klíčové techniky, lidi, společnosti a milníky, které nás přivedly od nemotorného hlasového přístroje z 1950 let k téměř lidské přesnosti dnešních AI systémů.

Rané sny a první mluvící stroje (1950–1960)

Výzkum rozpoznávání hlasu skutečně začal v 1950 letech, i když touha komunikovat se stroji je ještě starší. Bell Laboratories vedly cestu v roce 1952, když vytvořily zařízení s půvabným názvem „Audrey“ (Automatic Digit Recognizer). Audrey z Bell Labs (1952) byl průkopnický stroj na rozpoznávání řeči, který dokázal rozpoznat mluvené číslice 0 až 9 – byť pouze pro jediný hlas (svého tvůrce) a s použitím obrovského analogového obvodového uspořádání. Audrey byla na svou dobu impozantní: dosahovala přibližně 90% přesnosti s hlasem svého vynálezce, ale výkon u jiných mluvčích klesal. Systém se musel s každým novým uživatelským hlasem trochu „učit“ a byl daleko od praktičnosti – byl vyšší než člověk, plný vakuových trubic a spotřebovával značné množství energie. Přesto Audrey dokázala, že stroj může poslouchat lidskou řeč omezeným způsobem, rozpoznávaje jednoduchý slovník (číslice nula až devět).

Ukázka „Shoebox“ od IBM (1962) představila ranou hlasem ovládanou kalkulačku, která rozpoznávala 16 mluvených slov (číslice a základní příkazy). Desetiletí po Audrey představila IBM na světové výstavě v roce 1962 svůj Shoebox – přístroj, který dokázal porozumět číslům 0–9 a několika řídicím slovům („plus“, „mínus“, „celkem“ atd.). Shoebox byl v podstatě hlasem ovládaný sčítací stroj. Po celém světě se objevovaly podobné experimenty: výzkumníci v Anglii, Japonsku a jinde stavěli prototypové systémy, které dokázaly rozpoznat velmi omezenou sadu slabik nebo slov. Koncem 1960 let některé laboratoře měly hardware rozpoznávající malou sadu fonetických prvků (například hrstku samohlásek a souhlásek) jako odrazový můstek ke slovům.

Tyto rané systémy byly pevně zapojené a specifické pro úkol. Obvykle fungovaly pouze pro izolovaná slova (jedno po druhém, s pauzami mezi nimi), a často pouze pro mluvčího, který je trénoval. Koncem 1960 let se jasný mladý výzkumník jménem Raj Reddy – tehdy doktorand na Stanfordu – odvážil čelit větší výzvě: přimět počítač rozumět souvislé řeči bez pauz. S použitím jednoho z prvních počítačů DEC PDP-1 se speciálními analogově-digitálními převodníky Reddy postavil základní rozpoznávač samohlásek a průkopnicky zavedl techniky pro rozpoznávání souvislé řeči. Jeho práce naznačovala budoucnost, kdy člověk nebude muset…mluvit…takto…aby mu stroj rozuměl. Přesto byla technologická omezení 1950–60 let vážná: velmi málo tranzistorů nebo paměti na zpracování záplavy dat, které řeč generuje, a žádný konsenzus, jak programovat stroj k dekódování složitostí lidského jazyka. Ale to vše se mělo změnit s podporou nového sponzora: amerického ministerstva obrany.

1970: Obrané financování a statistický obrat

V roce 1971 spustila DARPA (Defense Advanced Research Projects Agency) odvážný pětiletý program na podporu pokroku v porozumění řeči. Cíl byl ambiciózní – systém, který dokáže rozpoznat alespoň 1,000 slov (přibližně slovník 3letého) do poloviny 1970 let. Několik špičkových institucí, včetně Carnegie Mellon University (kde se Raj Reddy stal profesorem), bylo financováno, aby prozkoumaly různé přístupy. V této době soutěžily dvě filozofie rozpoznávání řeči:

  • Porovnávání šablon: Jeden přístup spočíval v tom, že počítač ukládal nahrané šablony slov a pokoušel se přiřadit přicházející zvuky řeči k těmto šablonám. Protože lidé mluví různou rychlostí, byla použita technika zvaná dynamické borcení času (dynamic time warping), která roztahovala nebo smršťovala časovou osu nahraných vzorů tak, aby se zarovnala s novým vstupem. Představte si to jako fonetickou hru na párování – pokud přicházející vlna „hello“ vypadala jako rychlostně pozměněná verze uloženého „hello“, byla rozpoznána. To fungovalo dobře pro velmi malé slovníky, ale mělo potíže, jak slovníky rostly nebo se řeč měnila.

  • Pravidlové AI s lingvistickými znalostmi: Další přístup se snažil začlenit lidské znalosti jazyka. Výzkumníci psali složitá lingvistická pravidla – fonetická pravidla pro zvuky, lexikální pravidla pro slova, syntaktická pravidla pro věty atd. – aby řídili rozpoznávání. Systém měl analyzovat řeč na více úrovních a pokoušet se „uhodnout“ nejlepší interpretaci aplikací těchto pravidel, poněkud jako expertní systém. To bylo intelektuálně přitažlivé, protože to odráželo, jak by k problému přistupoval lingvista, ale bylo extrémně obtížné sestavit kompletní sadu pravidel pro řeč reálného světa.

Zpočátku mnoho odborníků věřilo, že rozpoznávání řeči se může zlepšit pouze zabudováním lingvistické inteligence. Nicméně zásadní vhled z teorie informace začal převažovat misky vah směrem k jinému přístupu. Claude Shannon, otec teorie informace, demonstroval předvídatelnost jazyka prostřednictvím slavného experimentu v 1951. Nechal svou ženu Betty Shannon zkoušet hádat text písmeno po písmenu z románu – jakmile bylo známo několik písmen, Betty dokázala přesně předpovědět mnoho zbývajících písmen a slov. To ukázalo, že lidský jazyk je vysoce redundantní a statistický – určité zvuky a slova jsou mnohem pravděpodobnější vzhledem ke kontextu toho, co přišlo předtím. Pro rozpoznávání řeči to znamenalo, že počítač mohl využít pravděpodobnost a kontext ke zúžení možností toho, co člověk řekl, místo aby se spoléhal čistě na doslovné porovnávání vln nebo ručně vytvořená pravidla.

Přijetí této myšlenky bylo zpočátku kontroverzní – některým inženýrům, kteří preferovali explicitní AI uvažování, se to zdálo „protintuitivní“. Ale jak projekty DARPA postupovaly, statistické metody začaly zářit. Tým Carnegie Mellon například postavil systém zvaný Harpy, který dosáhl cíle slovníku o 1,000 slovech v roce 1976. Harpy zavedl techniku zvanou beam search pro efektivní prohledávání možných sekvencí slov a vyhodnocování, které dávají v kontextu smysl. V podstatě Harpy dokázal rozpoznat celé věty a použít jazykový model (statistický model sekvencí slov) k rozhodnutí mezi nejednoznačnými zvukovými interpretacemi. To byl obrovský skok: Harpy dokázal porozumět nejen izolovaným slovům, ale i souvislé řeči ve větách, omezené svým slovníkem. Jeho lexikon o 1,011 slovech a chytrá dekódovací strategie byly srovnatelné se schopnostmi malého dítěte – tříletého dítěte, které se nikdy nenechá rozptýlit.

Ve stejné době pracoval mladý výzkumník jménem James „Jim“ Baker (a jeho žena Janet Baker) na dalším projektu financovaném DARPA na CMU. V roce 1974 vyvinuli systém DRAGON, který učinil odvážný krok k použití čistě statistického modelování pro řeč. Doktorská práce Jima Bakera v roce 1975 představila použití skrytých Markovových modelů (HMM) pro rozpoznávání řeči – pravděpodobnostní rámec, který zachází se zvuky řeči jako s posloupností statistických stavů. V systému založeném na HMM se nikdo nepokouší přesně přiřadit nahranou šablonu. Místo toho je počítač trénován na příkladech dat, aby odhadl pravděpodobnosti výskytu určitých zvuků nebo slov v posloupnosti. Pokud to zní abstraktně, intuitivní příklad je: představte si, že se snažíte porozumět tlumené řeči přítele tím, že zvažujete, jaká pravděpodobná slova by mohla v kontextu říkat. HMM daly rozpoznávání řeči mocný matematický způsob, jak to udělat – modelovat nejistotu ve zvucích a rozhodnout o nejpravděpodobnější sekvenci slov. Systém Dragon manželů Bakerových demonstroval, že rozpoznávání souvislé řeči s velkým slovníkem je s tímto statistickým přístupem možné. To byl zlomový bod: ukázalo se, že stroj můžete „naučit“ pomocí dat a pravděpodobností, místo abyste ho programovali nekonečnými lingvistickými pravidly.

Několik dalších pozoruhodných systémů vzešlo z úsilí DARPA v letech 1971–76. Například Hearsay-II zkoumal hybridní architekturu „tabule“ (blackboard), kde několik zdrojů znalostí (akustická fonetika, syntax, sémantika atd.) spolupracovalo na dekódování řeči a zapisovalo své částečné hypotézy na virtuální tabuli, aby je ostatní mohli zpřesnit. Byl to raný pokus zkombinovat statistické a znalostní přístupy – i když elegantní, byl složitý a na svou dobu výpočetně náročný. Do konce 1970 let díky těmto projektům obor prokázal, že strojové porozumění mluvenému jazyku je proveditelné, alespoň v omezených doménách. Výkon však byl stále daleko od dokonalosti a mimo laboratoř tyto systémy ještě nebyly praktické. Scéna však byla připravena na rychlá vylepšení, jak v následujících desetiletích rostl výpočetní výkon.

1980 léta: Nástup skrytých Markovových modelů

V 1980 letech se rozpoznávání řeči rozhodně posunulo směrem k statistickým metodám, zejména ke skrytým Markovovým modelům. Velkým katalyzátorem bylo další kolo investic americké vlády do výzkumu řeči počínaje rokem 1984, spojené s vytvořením standardních datových souborů a hodnotících benchmarků. Organizace jako Národní institut pro standardy a technologie (NIST) koordinovaly každoroční testy na společných databázích, což podnítilo soutěživost a měřitelný pokrok mezi výzkumnými skupinami (na CMU, SRI, BBN, MIT, Bell Labs a dalších). Poprvé všichni mluvili stejným jazykem – doslova používali stejné testovací korpusy – což umožnilo přímé srovnání technik a rychlou iteraci.

Během tohoto období se algoritmy skrytých Markovových modelů (HMM) staly dominantní technologií pro rozpoznávání řeči. Ukázalo se, že HMM jsou dokonalou shodou pro sekvenční, proměnlivou povahu řeči. Rozdělením mluvených slov na rámce (drobná časová okna) a statistickým modelováním pravděpodobnosti různých zvuků a přechodů mohly systémy založené na HMM „učit se“ akustické vzory z dat. Neméně důležité bylo, že mohly zahrnout jazykové modely – pravděpodobnosti slovních sekvencí – aby vytvořily koherentní odhady transkripce. Výsledkem byl velký skok ve velikosti slovníku a přesnosti: z několika stovek slov v 1970 letech na několik tisíc slov do poloviny 1980 let. Například v IBM tým vedený Fredem Jelinkem přijal pravděpodobnostní přístup celým srdcem. Vyvinuli systém s kódovým označením Tangora, zaměřený na kancelářský diktát, který podle zpráv z 1985 dokázal rozpoznat slovník o 20,000 slovech pomocí HMM a bigramových/trigramových jazykových modelů. (Tangora byl výstižně pojmenován po americkém mistrovi v psaní na stroji, což podtrhovalo cíl IBM dosáhnout vysokorychlostního, efektivního diktátu.)

Mezitím Bakerovi (Jim a Janet) opustili akademickou půdu, aby své myšlenky komercializovali. V roce 1982 založili Dragon Systems s odhodláním přinést rozpoznávání řeči do skutečných produktů. Raný úspěch přišel, když byl software Dragon licencován pro Apricot PC v roce 1984 – což z britského počítače Apricot udělalo první osobní počítač s vestavěnými schopnostmi rozpoznávání hlasu. Ve srovnání s dnešními standardy to bylo primitivní (systém pravděpodobně zvládal malou sadu příkazů), ale signalizovalo to začátek přesunu řečové technologie z výzkumných laboratoří na trh.

Významným průlomem na konci 1980. let bylo dosažení rozpoznávání nezávislého na mluvčím – systémů, které již nemusely být rozsáhle trénovány na hlas konkrétního uživatele. V roce 1987 vyvinul Kai-Fu Lee, doktorand pod vedením Raj Reddyho, CMU Sphinx, který je označován za první systém pro rozpoznávání souvislé řeči nezávislý na mluvčím. Sphinx zkombinoval to nejlepší z inovací předchozí dekády: použil HMM algoritmy Bakerových a strategii prohledávání paprskem z Harpy, ale nyní jeden systém mohl pojmout mnoho hlasů bez individuálního přetrénování. To bylo zásadní; požadavek, aby uživatelé trávili hodiny trénováním systému, byl obrovskou překážkou praktického využití. (Před Sphinxem některé systémy vyžadovaly, abyste pro jejich natrénování zopakovali tisíce slov – pro spotřebitele těžko prodejné!) S nezávislostí na mluvčím se vize obecně použitelného hlasového rozhraní mnohem přiblížila. Na konci 1980.** let se slovník předních systémů rozrostl, byla možná souvislá řeč s mírnou gramatickou složitostí a míra chyb nadále pomalu klesala. To, co bývalo velkou výzvou DARPA o 1,000 slovech, vzrostlo na 20,000+ slov ve slovníku a rozpoznávání se pozvolna přibližovalo běžné rychlosti lidské řeči.

Stojí za zmínku, že v pozadí 1980.** let někteří výzkumníci experimentovali s zcela odlišným přístupem: umělými neuronovými sítěmi. Rané modely neuronových sítí (jako neuronové sítě s časovým zpožděním a Boltzmannovy stroje) byly v této éře vyzkoušeny na malých řečových úlohách, jako je rozpoznávání fonémů. Ve skutečnosti Geoffrey Hinton a další vyvinuli algoritmus zpětného šíření v polovině 1980.** let, který teoreticky mohl trénovat vícevrstvé neuronové sítě k klasifikaci složitých vzorců. V té době však neuronové sítě ještě nesvrhly vládnoucí HMM. Důvody byly praktické: omezený výpočetní výkon a nedostatek dat ztěžovaly neuronovým sítím vyniknout nad rámec malých ukázek. Jak poznamenala jedna historie AI, neuronové sítě prošly cykly nadšení v 60.** a 80.** letech, ale upadly do „AI zim“, když nemohly splnit očekávání s hardwarem té doby. Takže během 1980.** let dění v rozpoznávání řeči zůstalo soustředěno na pečlivě navržené statistické modely a odborné inženýrství příznaků. A tato práce se vyplatila, když jsme vstoupili do 1990.** let – dekády, kdy mluvící stroje konečně začaly pronikat na spotřebitelský trh.

1990.** léta: Z laboratoře na spotřebitelský trh (Protržení ticha)

Na začátku 1990.** let se rozpoznávání řeči přesouvalo z okrajového výzkumného tématu k něčemu, co šlo zabalit jako komerční produkt. Osobní počítače byly dostatečně rychlé na to, aby v reálném čase spouštěly jednodušší řečové engine, a firmy viděly potenciál v diktovacím softwaru a hlasově ovládaných rozhraních. První vlna produktů však přicházela s významnými omezeními. V roce 1990 vydala společnost Dragon Systems Dragon Dictate, oslavovaný jako první produkt pro rozpoznávání řeči pro spotřebitele. Běžel na špičkovém PC a umožňoval uživateli zadávat text hlasem… ale mělo to háček: museli jste mluvit po… jednom… slově…, záměrně s pauzou mezi každým slovem. Tento režim „diskrétní řeči“ byl nutný kvůli omezenému výpočetnímu výkonu a méně pokročilým modelům – souvislá řeč byla v reálném čase na PC té doby příliš náročná. Navzdory tomuto nepřirozenému stylu bylo pro některé uživatele (zejména ty, kteří nemohli snadno používat klávesnici) revoluční už jen to, že mohli vůbec skládat text hlasem.

V průběhu 1990 let přicházela rychlá zlepšení jak v algoritmech, tak ve výpočetní technice. Výzkumníci zdokonalovali své HMM modely, přidávali lepší metody extrakce příznaků (jako MFCC – mel-frekvenční kepstrální koeficienty – které zachycují timbrální charakteristiky řeči) a používali větší trénovací korpusy. Počítače podle Mooreova zákona dramaticky zrychlovaly a dokázaly zvládnout složitější výpočty. Do poloviny 90 let byl sen o souvislém, přirozeném řečovém vstupu na PC realizován. V roce 1997 uvedla společnost Dragon Systems na trh Dragon NaturallySpeaking, který poprvé umožnil uživatelům diktovat normálním plynulým způsobem – až 100 slov za minutu – bez pauz mezi slovy. Nebyl dokonalý (uživatelé stále absolvovali úvodní trénink a software fungoval nejlépe, když jste mluvili jasně a poněkud vyrovnaně), ale byl to průlom v použitelnosti. Ve svém prvním roce byl NaturallySpeaking trhákovým produktem, což naznačovalo silnou poptávku po hlasovém psaní navzdory přetrvávajícím vrtochům. (Už žádná opakovaná namožená zranění z psaní dlouhých dokumentů – nyní jste je mohli získat mluvením na počítač!)

NaturallySpeaking nebyl sám. IBM byla také aktivní a využívala svou dlouhou historii v tomto oboru. V roce 1996 IBM uvedla na trh MedSpeak, produkt pro rozpoznávání souvislé řeči přizpůsobený lékařům (pro diktování lékařských poznámek) – označovaný jako první komerční systém pro souvislou řeč pro specifickou doménu. IBM brzy následovala s univerzálním spotřebitelským produktem známým jako IBM ViaVoice. Mezitím Microsoft a Apple také integrovaly základní rozpoznávání řeči do svých operačních systémů. Apple měl do poloviny 90 let funkci zvanou PlainTalk (a rozhraní známé jako „Speakable Items“), která umožňovala uživatelům jednoduché hlasové příkazy na Macintosh. Microsoft nabízel Speech SDK pro Windows a v roce 2000 zabudoval rozpoznávání řeči do Office XP a později do samotných Windows (Windows Vista v roce 2007 byly dodávány s vylepšeným vestavěným rozpoznáváním řeči). Tyto vestavěné systémy byly často vrtošivé a spotřebiteli málo využívané, ale signalizovaly, že hlasové ovládání se stává standardní funkcí, nikoli sci-fi novinkou.

Dalším důležitým vývojem 90 let bylo použití rozpoznávání řeči v telefonii. Jak se telefonní linky digitalizovaly a výpočetní technika zlevňovala, společnosti začaly zavádět automatizované hlasové služby. V roce 1996 představil BellSouth (regionální telekomunikační operátor) službu „hlasový portál“, kde zákazníci mohli zavolat a navigovat v nabídkách nebo získat informace mluvením příkazů. Pokud jste někdy mluvili s telefonním stromem („Prosím, řekněte nebo stiskněte 1 pro fakturaci…“), zažili jste odkaz těchto inovací z 90 let. Rané telefonní systémy měly omezený slovník (často jen čísla nebo ano/ne, případně pevný seznam možností), ale ukázaly, že rozpoznávání řeči dokáže zvládnout úkoly, jako je směrování hovorů a získávání informací bez použití rukou. Tyto systémy interaktivní hlasové odpovědi (IVR) se rozšířily a do 2000 let je mnoho společností používalo k automatizaci zákaznické podpory – někdy k frustraci zákazníků, ale také ke zkrácení čekacích dob u základních dotazů.

Do konce 1990 let se stav techniky v rozpoznávání řeči mohl pochlubit na svou dobu působivými čísly: velikosti slovní zásoby v desítkách tisíc slov, schopnost rozpoznávat souvislou řeč nezávisle na mluvčím a míra chybovosti slov stále klesající. Přesto typický uživatelský zážitek mohl zahrnovat přesnost kdekoli od 80–95% za dobrých podmínek. Ve skutečnosti byla kolem roku 2001 průměrná přesnost na obecné řeči pouze asi 80% – což znamená, že jedno z pěti slov by bylo rozpoznáno chybně bez pečlivého mluvení nebo korektury. Tato úroveň přesnosti nebyla dostatečná pro mnoho aplikací (představte si, že musíte opravit každé páté slovo v přepisu), což znamenalo, že technologie rozpoznávání řeči, ačkoli velmi vylepšená, se ještě plně „nedostavila“ jako všudypřítomné rozhraní. Zůstávalo mnoho výzev: hlučné prostředí by systémy zmátlo, stejně jako silně akcentovaná řeč nebo rychlá přirozená konverzace. Sen o bezchybném rozpoznávání řeči na lidské úrovni byl stále na obzoru. Netušili jsme, že nový přístup v nadcházejícím desetiletí nakonec posune výkon na tuto nepolapitelnou úroveň.

2000 léta: Velká data a pomalý výstup k lepší přesnosti

Pro 2000 byla rozpoznávání řeči tak trochu smíšená. Na jedné straně se technologie stala dostupnější – byla zabudována do operačních systémů, používána v call centrech, nasazena v okrajových trzích, jako je lékařský přepis. Na druhé straně byl pokrok postupný. Po většinu desetiletí nedocházelo k žádným zásadním průlomům, jako bylo zavedení HMM v 70 nebo velké skoky v 80. Místo toho postupná inženýrská vylepšení postupně snižovala chybovost. Jak bylo uvedeno, do 2001 se typická přesnost pohybovala kolem 80% pro neomezený diktát. Posunout toto číslo výše se s existujícími přístupy ukazovalo jako obtížné.

Několik trendů v 2000 však připravilo půdu pro nadcházející revoluci:

  • Výpočetní výkon a cloudové připojení: Osobní počítače byly stále rychlejší, ale co je důležitější, v polovině 2000 došlo k vzestupu internetu a cloud computingu. To znamenalo, že rozpoznávání řeči mohlo být prováděno na výkonných serverech namísto na zařízení uživatele. Místo aby bylo omezeno procesorem domácího PC nebo raného smartphonu, zařízení mohlo nahrát váš hlas, odeslat jej po síti a získat rozpoznaný text z výkonné serverové farmy. Toto odkládání výpočtů bylo zásadní. Například v 2008 Google spustil bezplatnou telefonní informační službu s názvem GOOG-411 a brzy poté aplikaci pro chytré telefony pro hlasové vyhledávání. Když jste do aplikace Google vyslovili dotaz, váš hlas byl odeslán do datových center Google, kde proběhlo rozpoznání. Cloudový přístup umožnil využít obrovské výpočetní zdroje a datové sady, daleko za možnosti jakéhokoli jednotlivého zařízení té doby.

  • Exploze dat: Další výhodou společností, jako je Google, byla data – spousta dat. Během 2000 Google indexoval web a také potichu učil se z textu miliard vyhledávacích dotazů. Všechen ten text – biliony slov – pomohl trénovat lepší jazykové modely. Koncem 2000 byl anglický systém rozpoznávání řeči Google podporován jazykovým modelem zahrnujícím 230 miliard slov reálných dotazů a textu. To znamenalo, že když jste řekli něco nejednoznačného, systém měl obrovské statistické znalosti o tom, které fráze nebo sledy slov jsou pravděpodobné. Například „ví“, že „New York“ je mnohem běžnější než „gnue fork“, takže i když je akustika trochu nejasná, jazykový model jej navede ke správné interpretaci. Tento přístup velkých dat začal rozpoznávání řeči znatelně zvyšovat přesnost u úloh, jako je hlasové vyhledávání, kde velmi záleží na kontextu a pravděpodobnosti.

  • Mobilní zařízení a hlasoví asistenti: Na konci desetiletí se objevil nový paradigmat – hlas jako rozhraní pro mobilní telefony. Rané smartphony a PDA měly malé obrazovky a drobná tlačítka, takže hlasový vstup byl atraktivní. iPhone (2007) od Apple zpopularizoval moderní smartphone a nedlouho poté přišel i hlas. V 2011 představil Apple Siri, hlasem ovládaného asistenta na iPhonu. Siri dokázala nejen rozpoznat řeč, ale také interpretovat záměr uživatele (díky technikám porozumění přirozenému jazyku) a provádět úkoly, jako je odesílání zpráv nebo získávání informací. Siri rychle následoval vlastní hlasový asistent Google a nakonec v 2014 Amazon Alexa (která žila v Echo, samostatném chytrém reproduktoru). Najednou se mluvení s strojem změnilo z okrajové činnosti na mainstreamový spotřebitelský zážitek – miliony lidí žádaly své telefony o navigaci nebo své chytré reproduktory o přehrání hudby. Tento nárůst používání v 2010 poskytl ještě více dat a vytvořil tak virtuózní cyklus: více mluvících uživatelů znamenalo více dat pro vylepšení systémů, které je následně činily přesnějšími a užitečnějšími, což přitahovalo ještě více uživatelů.

Na konci 2000 let se rozpoznávání řeči nepochybně zlepšilo – ale skutečný průlom měl teprve přijít. Mnozí v oboru cítili, že pokrok s existujícími technikami (HMM s pečlivě navrženými příznaky a jazykovými modely) se zastavil. Míra chyb u obtížných úloh uvízla v rozmezí 10–20%. Panoval názor, že k dosažení poslední míle výkonu na lidské úrovni může být zapotřebí zásadně nový přístup. Jak se ukázalo, semínka tohoto nového přístupu již byla zaseta – v podobě hlubokých neuronových sítí, které se chystaly zažít velkolepý návrat v 2010 letech.

Raná revoluce hlubokého učení (2010 léta): Neuronové sítě vracejí úder

Rok 2009 je často uváděn jako zlomový bod v rozpoznávání řeči. Po letech hibernace se modely neuronových sítí vrátily s hukotem – tentokrát vyzbrojeny mnohem větším výpočetním výkonem a objemem dat než v 1980 letech. Tým výzkumníků vedený Geoffreyem Hintonem ukázal, že nový druh hlubokých neuronových sítí (DNN) může výrazně překonat staré metody v úlohách rozpoznávání řeči. Dosáhli toho pomocí hlubokého učení: neuronových sítí s mnoha vrstvami umělých neuronů, trénovaných na velmi velkých datových souborech. Jak překonali dřívější omezení? Jednoduše řečeno, změnily se tři věci:

  1. Nesupervizované předtrénování: Hinton a kolegové představili způsob, jak „předtrénovat“ hluboké sítě vrstvu po vrstvě pomocí Restricted Boltzmann Machines (RBMs) – v podstatě učili každou vrstvu extrahovat užitečné příznaky z audio dat před doladěním celé sítě. V 2009 ukázali, že skládání těchto RBM může přinést dramatické zlepšení přesnosti rozpoznávání řeči. Tento důmyslný tréninkový trik pomohl vyřešit problém, jak efektivně trénovat velmi hluboké sítě (což bylo dříve velmi obtížné kvůli problémům, jako je mizení gradientů).

  2. Více dat: V 2010 bylo k dispozici mnohem více digitálních audio dat pro trénink – hodiny a hodiny přepsané řeči z projektů, archivů a webu. Hluboké učení vzkvétá na velkých datech. Čím více příkladů se síť může učit, tím lépe může ladit své mnohé parametry. Tato dostupnost dat byla něco, co průkopníci v 80 letech jednoduše neměli.

  3. Větší výpočetní výkon (zejména GPU): V 2010 letech došlo k explozi používání grafických procesorů (GPU) pro obecné výpočty. Ukázalo se, že GPU jsou vynikající pro typ paralelních výpočtů s velkým podílem maticových operací, které neuronové sítě vyžadují. To znamenalo, že to, co v 90 letech trvalo na CPU týdny, se dalo do 2010 na clusteru GPU zvládnout za hodiny. Jak uvedla jedna analýza, kombinace vylepšených algoritmů, obrovského množství trénovacích dat a výkonných procesorů umožnila, aby se hluboké učení konečně stalo praktickým v celém odvětví.

Dopad na rozpoznávání řeči byl okamžitý a hluboký. Namísto pracného navrhování příznaků, jako jsou MFCC, mohli výzkumníci vkládat relativně surové spektrogramy audia do hluboké neuronové sítě a síť se naučila své vlastní příznaky – jemné reprezentace zvuků řeči optimalizované pro rozpoznávání. Tyto hluboké modely začaly překonávat tradiční HMM systémy s Gaussovskými směsmi o značný rozdíl. V některých případech míra chyb klesla při přechodu na akustický model založený na DNN přes noc o 20–30%.

Kolem roku 2012 oba Microsoft a Google nasadily hluboké neuronové sítě do svých produkčních systémů rozpoznávání řeči pro úlohy, jako je hlasové vyhledávání. Výsledky byly pro uživatele hmatatelné – najednou byl váš smartphone nebo software pro diktování mnohem lepší v porozumění vám. Výzkumníci z Microsoft uvedli, že přechod na hlubokou neuronovou síť pro akustické modelování snížil jejich chybovost téměř na polovinu na náročném benchmarku. Google rovněž poznamenal výrazný skok v přesnosti hlasového vstupu Androidu v té době, díky DNN. Staré HMM systémy nebyly zcela zavrženy – zpočátku byl nejúčinnějším receptem hybridní přístup: použít DNN k odhadu pravděpodobností fonémů (základních zvukových jednotek) z audia a vložit je do rámce HMM, který stále vynucoval časové řazení a byl propojen s jazykovým modelem. Tento hybridní přístup DNN-HMM dominoval první polovině 2010 a byl nasazen prakticky v každé významné řečové službě.

Čísla vyprávějí příběh. Kolem roku 2015 se míra chybovosti slov (WER) u standardních testů, jako je Switchboard (korpus skutečných telefonních rozhovorů), blížila jednociferným hodnotám. V roce 2016 IBM oznámila, že dosáhla WER 6.9%, což bylo v té době rekordně nízké číslo. O pouhý rok později Microsoft oznámil dosažení 5.9%, což podle jejich tvrzení bylo zhruba na úrovni profesionálních lidských přepisovatelů (pro daný test). Krátce nato IBM odpověděla s 5.5% a poté Microsoft a další posunuli hranici ještě níže. Do roku 2017 dosáhl Microsoft přibližně 5.1% chyby – v podstatě dosáhl toho, co nazvali „lidskou paritou“ v rozpoznávání konverzační řeči. A Google nebyl daleko pozadu; zpráva Internet Trends z roku 2017 ukázala, že hlasový systém Google dosahuje přibližně 95% přesnosti, což zhruba odpovídá chybovosti lidského posluchače přepisujícího každodenní řeč. Během méně než desetiletí hluboké učení snížilo chybovost z problémového rozsahu ~20% dolů na ~5%. Byl to přelomový úspěch – konečně mohlo být používání rozpoznávání řeči stejně spolehlivé jako poslání zvuku lidskému přepisovateli (v určitých scénářích).

Do roku 2017 dosáhly systémy rozpoznávání hlasu přibližně 95% přesnosti v benchmarkových testech – zhruba ekvivalentní přesnosti lidských přepisovatelů za podobných podmínek. Toto rychlé zlepšení, viditelné v klesající chybovosti (vyšší je horší) na grafu, bylo poháněno nástupem hlubokých neuronových sítí.

Účinek tohoto průlomu nebyl jen akademický – byl pociťován spotřebiteli. Najednou se hlasová rozhraní změnila z neohrabaných a náchylných k chybám na skutečně užitečná. To bylo období, kdy se Alexa od Amazonu, Assistant od Google, Cortana od Microsoft a vylepšená Siri od Apple všechny tlačily o nadvládu. Tito asistenti by nebyli životaschopní o několik let dříve s vyšší chybovostí; do roku 2016 byli dost dobří, že se na ně miliony lidí začaly spoléhat při každodenních úkolech. Je příznačné, že do konce 2010 se mluvení se stroji stalo normálním. Auta měla hlasové ovládání, smartphony vás vybízely k diktování zpráv a služby jako automatický přepis hlasových zpráv nebo videí se staly přesnějšími a dostupnějšími. Rozpoznávání řeči bylo oficiálně všude.

Přesto příběh hlubokého učení neskončil u těch raných DNN. Výzkumníci pokračovali v inovacích a posouvali hranice toho, co systémy rozpoznávání řeči dokážou.

Moderní éra: End-to-end modely a dále

Po počátečním úspěchu hybridních systémů DNN-HMM se oblast rozpoznávání řeči posunula k ještě integrovanějším přístupům hlubokého učení. Místo toho, aby byly samostatné moduly (akustický model, výslovnostní slovník, jazykový model) sešroubovány dohromady, výzkumníci se ptali: Můžeme trénovat jednu velkou neuronovou síť, která přímo mapuje řečové vlny na textové přepisy? Odpověď nakonec byla ano – tyto se nazývají end-to-end modely rozpoznávání řeči. Počínaje rokem 2014 série výzkumů ukázala, že end-to-end trénink je nejen možný, ale může dosáhnout stejného výkonu jako staré pipeline, pokud je dostatek dat.

Jedna z prvních end-to-end metod používala přístup zvaný Connectionist Temporal Classification (CTC), který průkopnicky rozvíjel Alex Graves. CTC umožnilo RNN (rekurentní neuronové síti) naučit se zarovnání mezi zvukem a výstupním textem samo o sobě, bez potřeby předem segmentovaných trénovacích dat. V 2014 Graves a kolegové předvedli RNN založenou na CTC, která dokázala přímo přepisovat řeč na znaky. V podstatě se síť naučila „poslouchat“ a vyslovovat větu znak po znaku a zvládala přitom proměnlivou délku a časování interně. Rané CTC modely však měly nevýhodu: předpokládaly nezávislost mezi výstupními znaky, což znamenalo, že stále spoléhaly na externí jazykový model, který opravil konečný výstup (aby věta dávala smysl). Bez této dodatečné pomoci občas dělaly hloupé pravopisné chyby nebo produkovaly nesmysly.

Další skok přišel s modely sequence-to-sequence založenými na pozornosti. V 2016 výzkumníci z akademické sféry i průmyslu (např. na Carnegie Mellon, Google Brain a Université de Montréal) představili systémy s architekturou encoder-decoder využívající mechanismus pozornosti. Příznačně nazváno „Listen, Attend and Spell“, tento přístup měl enkoderovou síť, která zpracovala vstupní zvuk do reprezentace vysoké úrovně, a poté dekoderovou síť, která věnovala pozornost výstupu enkodéru a generovala textové znaky jeden po druhém – efektivně „hláskovala“ rozpoznanou řeč. Mechanismus pozornosti umožnil modelu dynamicky se soustředit na různé části zvuku, když produkoval každý znak, což je trochu jako lidský přepisovatel, který poslouchá a zároveň píše a sleduje, kde se nachází. Tyto modely založené na pozornosti nevyžadovaly samostatný výslovnostní lexikon ani jazykový model; teoreticky se mohly naučit vše z přímého mapování zvuku na text. Na konci 2016 takové modely dosáhly a dokonce překonaly systémy založené na CTC v některých benchmarkech. A co je důležité, end-to-end model se snáze nasazuje – nemusíte například nosit v telefonu 5 GB n-gramový jazykový model. To poprvé umožnilo reálně uvažovat o rozpoznávání řeči přímo na zařízení, což je atraktivní pro soukromí a offline použití.

Od té doby jsme viděli pokračující vylepšení: varianty jako RNN-Transducers (které kombinují myšlenky CTC a pozornosti) a přijetí novějších neuronových architektur jako Convolutional Neural Networks (CNNs) a Transformers pro řeč. Například v 2019 NVIDIA oznámila end-to-end modely (s chytlavými názvy jako Jasper a QuartzNet), které byly vysoce optimalizované pomocí CNN vrstev a dosáhly míry chybovosti slov kolem 3% na určitých testovacích sadách. Taková čísla se blíží bodu, kdy posledních několik chyb může být dokonce proto, že lidský přepis obsahoval chyby! Navíc modely založené na transformeru se self-attention (známé tím, že revolucionizovaly zpracování textu) byly aplikovány na řeč s velkým úspěchem a v 2020s nám daly rychlejší a ještě přesnější systémy.

Dalším moderním trendem je využívání nesupervizovaného a polosupervizovaného učení. Nedávné systémy jako Facebookův wav2vec 2.0 (abychom jmenovali jeden příklad) se mohou učit z neoznačeného zvuku v podstatě tím, že poslouchají miliony hodin řeči bez přepisů a učí se strukturu zvuku. Poté se s menším množstvím označených dat doladí, aby prováděly přepis. To řeší klíčový problém: většina světových jazyků nemá obrovské přepsané datové sady pro trénování. Samosupervizované učení a transfer learning umožňují adaptovat model trénovaný na jednom jazyce (nebo na obecném zvuku) na jiný jazyk nebo speciální doménu s mnohem menším množstvím dat. To je zásadní pro šíření vysoce kvalitního rozpoznávání řeči za hranice hlavních jazyků a do více aplikací.

Dnes je rozpoznávání řeči skutečně součástí každodenního života. Je v našich kapsách, kuchyních, autech a dokonce k nám mluví. Virtuální asistenti jej používají k nastavování časovačů a odpovídání na otázky; diktovací software přepisuje schůzky a lékařské poznámky; zákaznické boty třídí hovory; zařízení ovládaná hlasem jsou všude. Přístup hlubokého učení učinil rozpoznávání jak ultra-přesným, tak v reálném čase. Mnoho systémů nyní běží zcela na zařízení (bez nutnosti internetu) pro rychlost a soukromí, zatímco jiné využívají cloud pro náročné zpracování a neustálé zlepšování. Ve skutečnosti moderní cloudové hlasové služby často hrají dvojí roli: slouží uživateli převodem řeči na text a také se od uživatele učí (anonymně) tím, že přidávají tento úryvek zvuku a jeho výsledek do stále rostoucích trénovacích dat. Pokaždé, když používáte hlasový diktát nebo mluvíte s Alexou, je velká šance, že tato data pomáhají vylepšovat modely v zákulisí. Svým způsobem se dnešní rozpoznávače řeči nikdy nepřestanou učit – zlepšují se o malý kousek s každým hlasem, který slyší, podobně jako člověk získávající zkušenosti.

Samozřejmě, pátrání není u konce. Navzdory neuvěřitelnému pokroku přetrvávají výzvy. Lidský jazyk je nádherně rozmanitý a AI s tím někdy zápasí. Silné regionální přízvuky nebo dialekty mohou stále zmást systém, který na nich nebyl trénován. Hluk na pozadí a situace s více mluvčími (jako přepis živé večeře) jsou stále obtížné scénáře. A zatímco několik hlavních jazyků (angličtina, mandarínština, španělština atd.) se těší téměř špičkovému rozpoznávání, existují tisíce jazyků (a mnohem více dialektů), pro které dobré rozpoznávání řeči ještě není k dispozici. Další hranicí je rozšířit technologii na všechny lidi a všechny jazyky, možná budováním inkluzivnějších datových sad nebo použitím technik mezigazykového učení.

Nicméně trajektorie rozpoznávání řeči dává dostatek důvodů k optimismu. Během 70+ let jsme se dostali od stroje, který sotva rozpoznal deset izolovaných číslic, k softwaru, který dokáže přepsat plynulou řeč s 95–99% přesností v reálném čase. Každá éra stavěla na té předchozí: raní vynálezci dokázali, že řeč lze zachytit; éra DARPA představila sílu pravděpodobnostního modelování; 1980s upevnila statistické algoritmy pro škálování; 1990s je zpřístupnila spotřebitelům; a 2010s přinesla učící se stroje, které konečně prolomily kód lidské úrovně výkonu. Je to historie vytrvalých inovací, často s pokrokem probíhajícím v záchvatech a startech – pomalá desetiletí výzkumu následovaná náhlými skoky, když výpočetní technika nebo algoritmy dohnaly.

Od Audrey po Siri, od izolovaných slov k celým konverzacím, rozpoznávání řeči se vyvinulo v vyspělou, nepostradatelnou technologii. A stále se vyvíjí – jak naše zařízení pokračují v naslouchání (a doufejme, rozumí), zážitek se zlepšuje kousek po kousku. Možná ještě nemáme plně konverzační počítač Star Treku na hvězdné lodi Enterprise, ale jsme blíž než kdykoli předtím. Jak jeden odborník trefně poznamenal, dnešní AI hlasové systémy jsou „stejně dynamické a kreativní jako lidské jazyky samotné“, učí se a přizpůsobují nepřetržitě, jak k nim mluvíme. Jinými slovy, příběh rozpoznávání řeči zdaleka nekončí – ale jaký to byl dosud příběh.

Další čtení a zdroje

  1. Computer History Museum. "Timeline of Speech Recognition Milestones" (Article)

  2. Pierce, J.R. "Whither Speech Recognition?" – The Journal of the Acoustical Society of America (1969)

  3. Zhou, B. "Speech Recognition: From Research to Practice" – Stanford EE 292C Lecture Notes (2017)

  4. Hinton, G. et al. "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups" – IEEE Signal Processing Magazine (2012)

  5. Baker, J. "Trainable Grammars for Speech Recognition" – Proceedings of the DARPA Speech and Natural Language Workshop (1990)

  6. Deng, L. & Li, X. "Machine Learning Paradigms for Speech Recognition: An Overview" – IEEE Transactions on Audio, Speech, and Language Processing (2013)

  7. Jelinek, F. „Statistical Methods for Speech Recognition“ – MIT Press (1997)

  8. Schmidhuber, J. „Deep Learning in Neural Networks: An Overview“ – Neural Networks (2015)

  9. IBM Archives. „IBM Shoebox: Voice-Activated Calculator Demo“ (Historical exhibit)

  10. Rabiner, L. & Juang, B.H. „Fundamentals of Speech Recognition“ – Prentice Hall (1993)

  11. Lee, K.F. „Speaker-Independent Phone Recognition Using Hidden Markov Models“ – IEEE Transactions on Acoustics, Speech, and Signal Processing (1989)

  12. Meeker, M. „Internet Trends Report“ – Kleiner Perkins (2017)

  13. Graves, A. et al. „Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks“ (PDF paper, 2006)

  14. Xiong, W. et al. „Achieving Human Parity in Conversational Speech Recognition“ – Microsoft Research (2016)

  15. Norvig, P. „On Chomsky and the Two Cultures of Statistical Learning“ – The Atlantic (2011)

  16. Hinton, G. et al. „A Fast Learning Algorithm for Deep Belief Nets“ – Neural Computation (2006)

  17. Glass, J. „A Historical Perspective of Speech Recognition“ – MIT Spoken Language Systems (2003)

  18. Amodei, D. et al. „Deep Speech 2: End-to-End Speech Recognition in English and Mandarin“ (arXiv paper, 2016)

  19. Hannun, A. et al. „Deep Speech: Scaling up End-to-end Speech Recognition“ (arXiv paper, 2014)

  20. Mohamed, A. et al. „Speech Recognition with Deep Learning: Advances and Trends“ – IEEE Signal Processing Magazine (2019)

  21. Saon, G. et al. „English Conversational Telephone Speech Recognition by Humans and Machines“ – IBM Research (2017)

  22. LeCun, Y., Bengio, Y., & Hinton, G. „Deep Learning“ – Nature (2015)

  23. Hinton, G. et al. „Deep Belief Networks for Acoustic Modeling“ (PDF paper, 2012)

← Všechny články

Čtěte dál

Zobrazit všechny články

Začněte přepisovat

Získejte celý přepis zdarma, bez denního limitu. Vyzkoušejte špičkovou přesnost s V4-Pro.

Začněte přepisovat zdarma