Sari la articol

De la Audrey la Deep Learning: Istoria epică a recunoașterii vocale

De la Audrey la Deep Learning: Istoria epică a recunoașterii vocale

Puține tehnologii au parcurs un drum atât de sinuos precum recunoașterea vocală. Cu decenii înainte de a cere lejer smartphone-urilor vremea, science fiction-ul visa la calculatoare care vorbesc – de la echipajul din Star Trek conversând cu nava lor stelară, până la HAL 9000 din 2001: A Space Odyssey. Transformarea acelei fantezii în realitate a necesitat generații de cercetători, progrese constante și ocazionale salturi de credință. Vorbirea poate părea magică, dar în spatele ei se află o poveste despre experimente timpurii, misiuni susținute de guvern, revoluții statistice și ascensiunea învățării profunde. Această postare explorează acea călătorie eră cu eră – tehnicile cheie, oamenii, companiile și reperele care ne-au adus de la un gadget vocal incomod din anii 1950 la acuratețea aproape umană a sistemelor AI de astăzi.

Visuri timpurii și primele mașini care vorbesc (1950–1960)

Cercetarea în recunoașterea vocală a început cu adevărat în anii 1950, deși dorința de a comunica cu mașinile este chiar mai veche. Bell Laboratories a condus calea în 1952 prin crearea unui dispozitiv numit fermecător „Audrey” (Automatic Digit Recognizer). Audrey de la Bell Labs (1952) a fost o mașină pionieră de recunoaștere vocală care putea recunoaște cifre rostite 0 prin 9 – deși doar cu o singură voce (a creatorului său) și folosind o configurație enormă de circuite analogice. Audrey a fost impresionantă pentru vremea ei: a atins o acuratețe de aproximativ 90% cu vocea inventatorului său, dar performanța a scăzut pentru alți vorbitori. Sistemul trebuia să „învețe” puțin cu vocea fiecărui utilizator nou și era departe de a fi practic – era mai înalt decât o persoană, plin cu tuburi vidate și consuma multă energie. Totuși, Audrey a demonstrat că o mașină putea asculta vorbirea umană într-un mod limitat, recunoscând un vocabular simplu (cifrele zero până la nouă).

Demonstrația „Shoebox” a IBM (1962) a prezentat un calculator timpuriu operat vocal care recunoștea 16 cuvinte rostite (cifre și comenzi de bază). Un deceniu după Audrey, IBM a dezvăluit Shoebox la Târgul Mondial din 1962 – un gadget care putea înțelege numerele 0–9 și câteva cuvinte de control („plus”, „minus”, „total” etc.). Shoebox era în esență o mașină de adunat controlată vocal. În întreaga lume, experimente similare încolțeau: cercetători în Anglia, Japonia și în alte părți construiau sisteme prototip care puteau recunoaște un set foarte limitat de silabe sau cuvinte. Până la sfârșitul anilor 1960, unele laboratoare aveau hardware care recunoștea un mic set de elemente fonetice (de exemplu, câteva vocale și consoane) ca o piatră de temelie către cuvinte.

Aceste sisteme timpurii erau cablare fixă și specifice sarcinii. Funcționau în general doar pentru cuvinte izolate (unul câte unul, cu pauze între ele) și adesea doar pentru vorbitorul care le antrenase. La sfârșitul anilor 1960, un tânăr cercetător strălucit pe nume Raj Reddy – pe atunci student la doctorat la Stanford – a îndrăznit să abordeze o provocare mai mare: să facă un computer să înțeleagă vorbire continuă fără pauze. Folosind unul dintre primele calculatoare DEC PDP-1 cu convertoare analog-digital speciale, Reddy a construit un recunoscător rudimentar de vocale și a pionierat tehnici pentru recunoașterea vorbirii continue. Munca sa sugera un viitor în care nu ar trebui să…vorbești…așa…pentru a fi înțeles de o mașină. Totuși, limitările tehnologice ale anilor 1950–60 erau severe: foarte puțini tranzistori sau memorie pentru a gestiona fluxul de date pe care îl generează vorbirea și niciun consens încă privind modul de programare a unei mașini pentru a decoda complexitățile limbajului uman. Dar toate acestea erau pe cale să se schimbe odată cu impulsul dat de un nou sponsor: Departamentul Apărării al SUA.

Anii 1970: Finanțare din apărare și cotitura statistică

Până în 1971, DARPA (Defense Advanced Research Projects Agency) a lansat un program îndrăzneț de cinci ani pentru a stimula progresul în înțelegerea vorbirii. Scopul era ambițios – un sistem care să poată recunoaște cel puțin 1,000 cuvinte (aproximativ vocabularul unui copil de 3 ani) până la mijlocul anilor 1970. Mai multe instituții de top, inclusiv Carnegie Mellon University (unde Raj Reddy devenise profesor), au fost finanțate pentru a explora abordări diferite. În acest moment, două filosofii ale recunoașterii vocale concurau:

  • Potrivirea șabloanelor: O abordare presupunea ca computerul să stocheze șabloane înregistrate ale cuvintelor și să încerce să potrivească sunetele vorbirii primite cu acele șabloane. Deoarece oamenii vorbesc cu viteze diferite, a fost folosită o tehnică numită deformare dinamică a timpului (dynamic time warping) pentru a întinde sau a comprima axa temporală a modelelor înregistrate pentru a se alinia cu intrarea nouă. Gândiți-vă la aceasta ca la un joc de potrivire fonetică – dacă forma de undă a „salutului” primit arăta ca o versiune cu viteză modificată a unui „salut” stocat, atunci era recunoscut. Aceasta funcționa acceptabil pentru vocabulare foarte mici, dar întâmpina dificultăți pe măsură ce vocabularele creșteau sau vorbirea varia.

  • Inteligență artificială bazată pe reguli cu cunoștințe lingvistice: O altă abordare încerca să încorporeze cunoașterea umană a limbajului. Cercetătorii scriau reguli lingvistice complexe – reguli fonetice pentru sunete, reguli lexicale pentru cuvinte, reguli sintactice pentru propoziții etc. – pentru a ghida recunoașterea. Sistemul ar analiza vorbirea la mai multe niveluri și ar încerca să „ghicească” cea mai bună interpretare aplicând aceste reguli, oarecum ca un sistem expert. Aceasta era atractivă din punct de vedere intelectual, deoarece oglindea modul în care un lingvist ar aborda problema, dar era extrem de dificil să construiești un set complet de reguli pentru vorbirea din lumea reală.

La început, mulți experți credeau că doar prin construirea inteligenței lingvistice se putea îmbunătăți recunoașterea vorbirii. Totuși, o perspectivă fundamentală din teoria informației a început să încline balanța către o abordare diferită. Claude Shannon, părintele teoriei informației, demonstrase predictibilitatea limbajului printr-un experiment celebru în 1951. El i-a cerut soției sale Betty Shannon să încerce să ghicească textul literă cu literă dintr-un roman – odată ce câteva litere erau cunoscute, Betty putea prezice cu acuratețe multe dintre literele și cuvintele rămase. Aceasta arăta că limbajul uman este puternic redundant și statistic – anumite sunete și cuvinte sunt mult mai probabile având în vedere contextul celor care au precedat. Pentru recunoașterea vorbirii, aceasta însemna că un computer putea folosi probabilitatea și contextul pentru a restrânge posibilitățile a ceea ce a spus o persoană, în loc să se bazeze pur și simplu pe potrivirea literală a formelor de undă sau pe reguli create manual.

Îmbrățișarea acestei idei a fost inițial controversată – părea „contraintuitivă” pentru unii ingineri care favorizau raționamentul explicit al inteligenței artificiale. Dar pe măsură ce proiectele DARPA au progresat, metodele bazate pe statistici au început să strălucească. Echipa de la Carnegie Mellon, de exemplu, a construit un sistem numit Harpy care a atins obiectivul de vocabular de 1,000 cuvinte până în 1976. Harpy a introdus o tehnică numită căutare în fascicul (beam search) pentru a căuta eficient prin secvențele posibile de cuvinte și a evalua care dintre ele aveau sens în context. În esență, Harpy putea recunoaște propoziții întregi și folosi un model lingvistic (un model statistic al secvențelor de cuvinte) pentru a decide între interpretări ambigue ale sunetelor. Acesta a fost un salt uriaș: Harpy putea înțelege nu doar cuvinte izolate, ci vorbire continuă în propoziții, limitată la vocabularul său. Lexiconul său de 1,011 cuvinte și strategia inteligentă de decodare erau comparabile cu abilitățile unui copil mic – un copil de trei ani care nu se distrage niciodată.

În același timp, un tânăr cercetător pe nume James „Jim” Baker (și soția sa Janet Baker) lucrau la un alt proiect finanțat de DARPA la CMU. În 1974, ei au dezvoltat sistemul DRAGON, care a făcut pasul îndrăzneț de a folosi modelare pur statistică pentru vorbire. Teza de doctorat a lui Jim Baker din 1975 a introdus utilizarea modelelor Markov ascunse (HMM) pentru recunoașterea vorbirii – un cadru probabilistic care tratează sunetele vorbirii ca o secvență de stări statistice. Într-un sistem bazat pe HMM, nu se încearcă potrivirea precisă a unui șablon înregistrat. În schimb, computerul este antrenat pe date exemplu pentru a estima probabilitățile ca anumite sunete sau cuvinte să apară în secvență. Dacă sună abstract, un exemplu intuitiv este: imaginați-vă că încercați să înțelegeți vorbirea înăbușită a unui prieten luând în considerare ce cuvinte probabil ar putea spune în context. HMM-urile au oferit recunoașterii vorbirii o modalitate matematică puternică de a face exact asta – de a modela incertitudinea în sunete și de a decide asupra celei mai probabile secvențe de cuvinte. Sistemul Dragon al familiei Baker a demonstrat că recunoașterea vorbirii continue cu vocabular larg era posibilă cu această abordare statistică. Acesta a fost un punct de cotitură: a arătat că puteai „învăța” mașina folosind date și probabilități, în loc să o programezi cu reguli lingvistice nesfârșite.

Alte sisteme notabile au rezultat din efortul DARPA din 1971–76. Hearsay-II, de exemplu, a explorat o arhitectură hibridă de tip „blackboard” în care multiple surse de cunoaștere (fonetică acustică, sintaxă, semantică etc.) colaborau toate la decodificarea vorbirii, scriindu-și ipotezele parțiale pe o tablă virtuală pentru ca alții să le rafineze. Aceasta a fost o încercare timpurie de a combina abordările statistice și cele bazate pe cunoaștere – deși elegantă, era complexă și consumatoare de resurse computaționale pentru acea vreme. Până la sfârșitul anilor 1970, datorită acestor proiecte, domeniul demonstrase că înțelegerea limbajului vorbit de către mașini era fezabilă, cel puțin în domenii limitate. Dar performanța era încă departe de a fi perfectă, iar în afara laboratorului aceste sisteme nu erau încă practice. Scena era însă pregătită pentru îmbunătățiri rapide pe măsură ce puterea de calcul creștea în deceniile următoare.

Anii 1980: Modelele Markov ascunse preiau controlul

Anii 1980 au văzut o schimbare decisivă a recunoașterii vorbirii către metode statistice, în special Modelele Markov ascunse. Un mare catalizator a fost o nouă rundă de investiții guvernamentale americane în cercetarea vorbirii începând cu 1984, împreună cu crearea de seturi de date standard și benchmark-uri de evaluare. Organizații precum Institutul Național de Standarde și Tehnologie (NIST) au coordonat teste anuale pe baze de date comune, ceea ce a stimulat competiția și progresul măsurabil între grupurile de cercetare (la CMU, SRI, BBN, MIT, Bell Labs și altele). Pentru prima dată, toată lumea vorbea aceeași limbă – folosind literalmente aceleași corpusuri de test – ceea ce a permis compararea directă a tehnicilor și iterații rapide.

În această perioadă, algoritmii Hidden Markov Model (HMM) au devenit tehnologia dominantă pentru recunoașterea vorbirii. HMM-urile s-au dovedit a fi o potrivire perfectă pentru natura secvențială și variabilă a vorbirii. Prin împărțirea cuvintelor rostite în cadre (mici felii de timp) și modelarea statistică a probabilității diferitelor sunete și tranziții, sistemele bazate pe HMM puteau „învăța” modele acustice din date. La fel de important, ele puteau încorpora modele de limbaj – probabilități ale secvențelor de cuvinte – pentru a face presupuneri coerente de transcriere. Rezultatul a fost un salt mare în dimensiunea vocabularului și acuratețe: de la câteva sute de cuvinte în anii 1970 la câteva mii de cuvinte până la mijlocul anilor 1980. De exemplu, la IBM, o echipă condusă de Fred Jelinek a îmbrățișat cu tot sufletul abordarea probabilistică. Ei au dezvoltat un sistem cu numele de cod Tangora, destinat dictării de birou, care până în 1985 se spunea că putea recunoaște un vocabular de 20,000 cuvinte folosind HMM-uri și modele de limbaj bigram/trigram. (Tangora a fost numit inspirat după un campion american de viteză la dactilografie, subliniind obiectivul IBM de a realiza o dictare rapidă și eficientă.)

Între timp, soții Baker (Jim și Janet) au părăsit mediul academic pentru a-și comercializa ideile. Au fondat Dragon Systems în 1982, hotărâți să aducă recunoașterea vorbirii în produse reale. Un succes timpuriu a venit când software-ul Dragon a fost licențiat pentru Apricot PC în 1984 – făcând acel computer Apricot fabricat în Marea Britanie primul computer personal cu capacități de recunoaștere vocală încorporată. Acest lucru era primitiv după standardele de astăzi (sistemul probabil gestiona un set mic de comenzi), dar a semnalat începutul tehnologiei vorbirii care se muta din laboratoarele de cercetare pe piață.

O avans major la sfârșitul anilor 1980 a fost obținerea recunoașterii independente de vorbitor – sisteme care nu mai trebuiau să fie antrenate extensiv pe vocea unui anumit utilizator. În 1987, Kai-Fu Lee, un student doctoral sub îndrumarea lui Raj Reddy, a dezvoltat CMU Sphinx, considerat a fi primul sistem de recunoaștere continuă a vorbirii independent de vorbitor. Sphinx a combinat cele mai bune inovații ale deceniului precedent: a folosit algoritmii HMM ai lui Baker și strategia de căutare în fascicul de la Harpy, dar acum un singur sistem putea acomoda mai multe voci fără reantrenare individuală. Acest lucru era crucial; necesitatea ca utilizatorii să petreacă ore antrenând un sistem fusese o barieră uriașă în calea utilizării practice. (Înainte de Sphinx, unele sisteme necesitau repetarea a mii de cuvinte pentru antrenare – o povară greu de acceptat pentru consumatori!) Odată cu independența de vorbitor, viziunea unei interfețe vocale utilizabile în general a devenit mult mai aproape. Până la sfârșitul anilor 1980, vocabularul sistemelor de top crescuse exploziv, vorbirea continuă cu o complexitate gramaticală moderată era posibilă, iar ratele de eroare continuau să scadă lent. Ceea ce odinioară fusese o mare provocare DARPA de 1,000 cuvinte ajunsese la peste 20,000 cuvinte în vocabular, iar recunoașterea se apropia încet de viteza normală de vorbire umană.

Merită menționat că, în fundalul anilor 1980, unii cercetători experimentau cu o abordare complet diferită: rețelele neuronale artificiale. Modelele timpurii de rețele neuronale (precum rețelele neuronale cu întârziere temporală și mașinile Boltzmann) au fost încercate pe sarcini vocale de mică amploare, cum ar fi recunoașterea fonemelor, în acea perioadă. De fapt, Geoffrey Hinton și alții au dezvoltat algoritmul de backpropagation la mijlocul anilor 1980, care teoretic putea antrena rețele neuronale multistrat pentru a clasifica modele complexe. Totuși, la acea vreme, rețelele neuronale nu depășiseră încă HMM-urile dominante. Motivele erau practice: puterea de calcul limitată și datele insuficiente făceau dificil ca rețelele neuronale să strălucească dincolo de demonstrații mici. După cum a remarcat o istorie a IA, rețelele neuronale au trecut prin cicluri de entuziasm în anii ’60 și ’80, dar au căzut în „ierni ale IA” când nu au putut satisface așteptările cu hardware-ul zilei. Astfel, de-a lungul anilor 1980, acțiunea în recunoașterea vorbirii a rămas centrată pe modele statistice atent proiectate și pe ingineria expertă a caracteristicilor. Și acea muncă a dat roade pe măsură ce am intrat în anii 1990 – deceniul în care mașinile care vorbesc au început în sfârșit să pătrundă pe piața de consum.

Anii 1990: Din laborator pe piața de consum (spargerea tăcerii)

Până la începutul anilor 1990, recunoașterea vocală trecea de la un subiect de nișă în cercetare la ceva ce putea fi ambalat ca produs comercial. Calculatoarele personale deveniseră suficient de rapide pentru a rula motoare vocale simple în timp real, iar companiile vedeau potențial în software-ul de dictare și interfețele controlate vocal. Totuși, primul val de produse a venit cu limitări semnificative. În 1990, Dragon Systems a lansat Dragon Dictate, salutat ca primul produs de recunoaștere vocală pentru consumatori. Rula pe un PC de top și permitea utilizatorului să introducă text prin voce… dar era o capcană: trebuia să vorbești un… cuvânt… pe… rând, făcând pauze deliberate între fiecare cuvânt. Acest mod de „vorbire discretă” era necesar din cauza puterii de procesare limitate și a modelelor mai puțin avansate – vorbirea continuă era prea dificil de gestionat în timp real pe un PC din acea epocă. În ciuda acestui stil nenatural, pentru unii utilizatori (în special cei care nu puteau folosi ușor o tastatură) era revoluționar să poată compune text prin voce.

De-a lungul anilor 1990, îmbunătățiri rapide au apărut atât în algoritmi, cât și în puterea de calcul. Cercetătorii și-au rafinat modelele HMM, au adăugat metode mai bune de extragere a caracteristicilor (cum ar fi MFCC – coeficienți cepstrali pe scara mel, care surprind caracteristicile timbrice ale vorbirii) și au folosit corpusuri de antrenament mai mari. Calculatoarele, urmând Legea lui Moore, au devenit drastic mai rapide și puteau gestiona calcule mai complexe. Până la mijlocul anilor '90, visul intrării continue și naturale a vorbirii pe un PC a fost realizat. În 1997, Dragon Systems a lansat Dragon NaturallySpeaking, care pentru prima dată le-a permis utilizatorilor să dicteze într-o manieră normală și fluidă – până la 100 cuvinte pe minut – fără a face pauze între cuvinte. Nu era perfect (utilizatorii făceau încă un antrenament inițial, iar software-ul funcționa cel mai bine dacă vorbeai clar și oarecum constant), dar a fost o revoluție în utilizabilitate. În primul său an, NaturallySpeaking a fost un produs de succes răsunător, indicând o cerere puternică pentru tastarea vocală în ciuda capriciilor rămase. (Gata cu leziunile repetitive de stres cauzate de tastarea documentelor lungi – acum le puteai obține vorbind cu calculatorul!)

NaturallySpeaking nu a fost singurul. IBM fusese de asemenea activă, valorificându-și lunga istorie în domeniu. În 1996, IBM a lansat MedSpeak, un produs de recunoaștere continuă a vorbirii conceput pentru medici (pentru a dicta note medicale) – remarcat ca primul sistem comercial de vorbire continuă pentru un domeniu specific. IBM a urmat curând cu un produs de consum general cunoscut sub numele de IBM ViaVoice. Între timp, Microsoft și Apple integrau de asemenea recunoașterea de bază a vorbirii în sistemele lor de operare. Apple avea o funcție numită PlainTalk (și o interfață cunoscută ca „Speakable Items”) până la mijlocul anilor '90, care permitea utilizatorilor să execute comenzi vocale simple pe un Macintosh. Microsoft oferea un Speech SDK pentru Windows și în 2000 a integrat recunoașterea vorbirii în Office XP, iar mai târziu în Windows însuși (Windows Vista în 2007 a venit cu o recunoaștere vocală îmbunătățită încorporată). Aceste sisteme încorporate erau adesea pretențioase și subutilizate de consumatori, dar semnalau că controlul vocal devenea o funcție standard mai degrabă decât o noutate science-fiction.

O altă dezvoltare importantă a anilor '90 a fost utilizarea recunoașterii vorbirii în telefonia. Pe măsură ce liniile telefonice au devenit digitale și calculul a devenit mai ieftin, companiile au început să implementeze servicii vocale automate. În 1996, BellSouth (un operator regional de telecomunicații) a introdus un serviciu „portal vocal” unde clienții puteau suna și naviga meniuri sau obține informații vorbind comenzi. Dacă ați vorbit vreodată cu un arbore telefonic („Vă rugăm să spuneți sau să apăsați 1 pentru facturare…”), ați experimentat moștenirea acestor inovații din anii '90. Sistemele telefonice timpurii aveau un vocabular limitat (adesea doar numere sau da/nu, sau o listă fixă de opțiuni), dar arătau că recunoașterea vorbirii putea gestiona sarcini precum rutarea apelurilor și obținerea de informații hands-free. Aceste sisteme Interactive Voice Response (IVR) s-au înmulțit, iar până în anii 2000, multe companii le foloseau pentru a automatiza serviciul clienți – uneori spre frustrarea clienților, dar reducând și timpii de așteptare pentru întrebări de bază.

Până la sfârșitul anilor 1990, stadiul actual al artei în recunoașterea vorbirii se lăuda cu cifre impresionante pentru acea vreme: dimensiuni ale vocabularului de zeci de mii de cuvinte, capacitate de vorbire continuă independentă de vorbitor și rate de eroare a cuvintelor în scădere constantă. Totuși, o experiență tipică a utilizatorului putea implica o precizie de oriunde între 80–95% în condiții bune. De fapt, în jurul anului 2001, precizia medie pe vorbire generală era de doar aproximativ 80% – însemnând că unul din cinci cuvinte ar fi recunoscut greșit fără o vorbire atentă sau corectură. Acel nivel de precizie nu era suficient pentru multe aplicații (imaginați-vă că trebuie să corectați fiecare al cincilea cuvânt dintr-o transcriere), ceea ce însemna că tehnologia vocală, deși mult îmbunătățită, nu „ajunsese” încă pe deplin ca interfață omniprezentă. Rămâneau multe provocări: mediile zgomotoase ar deruta sistemele, la fel și vorbirea cu accent puternic sau conversația naturală rapidă. Visul unei recunoașteri vocale impecabile, la nivel uman era încă la orizont. Nu știam, dar o abordare nouă în deceniul următor avea să împingă în sfârșit performanța la acel nivel eluziv.

Anii 2000: Big Data și ascensiunea lentă către o precizie mai bună

Anii 2000 au fost un amestec eterogen pentru recunoașterea vocală. Pe de o parte, tehnologia a devenit mai larg disponibilă – integrată în sistemele de operare, folosită în centrele de apel, implementată în piețe de nișă precum transcrierea medicală. Pe de altă parte, progresul părea incremental. De-a lungul celei mai mari părți a deceniului, nu au existat descoperiri fundamentale asemănătoare cu introducerea HMM-urilor în anii ’70 sau cu marile salturi din anii ’80. În schimb, îmbunătățiri inginerești constante au redus treptat ratele de eroare. Până în 2001, după cum s-a menționat, acuratețea tipică se situa în jurul valorii de 80% pentru dictarea fără restricții. Creșterea acestei cifre se dovedea dificilă cu abordările existente.

Cu toate acestea, mai multe tendințe din anii 2000 au pregătit terenul pentru revoluția viitoare:

  • Puterea de calcul și conectivitatea cloud: calculatoarele personale continuau să devină mai rapide, dar mai important, la mijlocul anilor 2000 a avut loc ascensiunea internetului și a cloud computing-ului. Aceasta însemna că recunoașterea vocală putea fi efectuată pe servere puternice, nu pe dispozitivul utilizatorului. În loc să fie limitate de CPU-ul de pe PC-ul de acasă sau de pe smartphone-ul timpuriu, dispozitivele puteau înregistra vocea, o puteau trimite prin rețea și primi înapoi textul recunoscut de la o fermă de servere puternice. Această externalizare a calculului a fost critică. De exemplu, în 2008, Google a lansat un serviciu telefonic gratuit de informații numit GOOG-411 și la scurt timp după aceea o aplicație de smartphone pentru căutare vocală. Când rosteai o interogare în aplicația Google, vocea ta era trimisă către centrele de date ale Google, unde avea loc recunoașterea. Abordarea cloud a permis aplicarea unor resurse de calcul și seturi de date masive, mult dincolo de ceea ce putea gestiona orice dispozitiv individual la acea vreme.

  • Explozia datelor: celălalt avantaj pe care îl aveau companii precum Google erau datele – multe date. De-a lungul anilor 2000, Google indexa web-ul și, de asemenea, învăța în mod discret din textul a miliarde de interogări de căutare. Tot acel text – trilioane de cuvinte – a ajutat la antrenarea unor modele de limbaj mai bune. Până la sfârșitul anilor 2000, sistemul de recunoaștere vocală în limba engleză al Google era susținut de un model de limbaj care încorpora 230 miliarde de cuvinte din interogări și text din lumea reală. Aceasta însemna că, atunci când rosteai ceva ambiguu, sistemul avea o cunoaștere statistică uriașă a ceea ce fraze sau secvențe de cuvinte sunt probabile. De exemplu, „știe” că „New York” este mult mai comun decât „gnue fork”, așa că, chiar dacă acustica este puțin neclară, modelul de limbaj îl ghidează către interpretarea corectă. Această abordare big data a început să ofere recunoașterii vocale un impuls vizibil în acuratețe în sarcini precum căutarea vocală, unde contextul și probabilitatea contează foarte mult.

  • Dispozitive mobile și asistenți vocali: la sfârșitul deceniului, a apărut o nouă paradigmă – vocea ca interfață pentru telefoanele mobile. Primele smartphone-uri și PDA-uri aveau ecrane mici și butoane minuscule, așa că introducerea vocală era atractivă. iPhone-ul Apple (2007) a popularizat smartphone-ul modern, iar nu mult după aceea, vocea a apărut și ea. În 2011, Apple a introdus Siri, asistentul controlat vocal pe iPhone. Siri putea nu doar să recunoască vorbirea, ci și să interpreteze intenția utilizatorului (datorită tehnicilor de înțelegere a limbajului natural) și să efectueze sarcini precum trimiterea de mesaje sau obținerea de informații. Siri a fost urmat rapid de asistentul vocal propriu al Google și, în cele din urmă, de Alexa de la Amazon în 2014 (care locuia în Echo, un difuzor inteligent autonom). Dintr-o dată, să vorbești cu o mașină a trecut de la o activitate de nișă la o experiență mainstream pentru consumatori – milioane de oameni își întrebau telefoanele pentru indicații sau difuzoarele inteligente să le pună muzică. Această creștere a utilizării în anii 2010 a furnizat și mai multe date, creând un ciclu virtuos: mai mulți utilizatori care vorbesc însemna mai multe date pentru a îmbunătăți sistemele, ceea ce le-a făcut mai precise și mai utile, atrăgând și mai mulți utilizatori.

Până la sfârșitul anilor 2000, recunoașterea vocală se îmbunătățise indiscutabil – dar adevărata revoluție urma să vină. Mulți din domeniu simțeau că progresul stagnase cu tehnicile existente (HMM-uri cu caracteristici proiectate cu atenție și modele de limbaj). Ratele de eroare erau blocate în intervalul 10–20% pentru sarcini dificile. Există sentimentul că ar putea fi nevoie de o abordare fundamental nouă pentru a ajunge la ultima milă a performanței la nivel uman. După cum s-a dovedit, semințele acelei noi abordări fuseseră deja plantate – sub forma rețelelor neuronale profunde, care erau pe cale să revină spectaculos în anii 2010.

Revoluția timpurie a învățării profunde (anii 2010): Rețelele neuronale lovesc din nou

Anul 2009 este adesea citat ca un punct de cotitură în recunoașterea vocală. După ani de hibernare, modelele de rețele neuronale au revenit cu putere – de data aceasta înarmate cu o putere de calcul mult mai mare și volume de date decât în anii 1980. O echipă de cercetători condusă de Geoffrey Hinton a demonstrat că o nouă generație de rețele neuronale profunde (DNN-uri) putea depăși semnificativ metodele tradiționale în sarcinile de recunoaștere vocală. Au reușit acest lucru folosind învățarea profundă: rețele neuronale cu multe straturi de neuroni artificiali, antrenate pe seturi de date foarte mari. Cum au depășit limitările anterioare? În termeni simpli, trei lucruri se schimbaseră:

  1. Pre-antrenare nesupravegheată: Hinton și colegii au introdus o modalitate de a „pre-antrena” rețelele profunde strat cu strat folosind Mașini Boltzmann Restrânse (RBM) – practic învățând fiecare strat să extragă caracteristici utile din datele audio înainte de a regla fin întreaga rețea. În 2009, au arătat că stivuirea acestor RBM-uri putea produce îmbunătățiri dramatice ale preciziei vocale. Acest truc inteligent de antrenare a ajutat la rezolvarea problemei modului de a antrena eficient rețele foarte profunde (ceea ce era anterior foarte dificil din cauza problemelor precum dispariția gradientului).

  2. Mai multe date: Până în 2010, existau mult mai multe date audio digitale disponibile pentru antrenare – ore întregi de vorbire transcrisă din proiecte, arhive și web. Învățarea profundă prosperă pe date mari. Cu cât rețeaua poate învăța din mai multe exemple, cu atât își poate ajusta mai bine numeroșii parametri. Această disponibilitate a datelor era ceva ce pionierii din anii ’80 pur și simplu nu aveau.

  3. Putere de calcul mai mare (în special GPU-uri): Anii 2010 au văzut o explozie în utilizarea unităților de procesare grafică (GPU-uri) pentru calcul general. GPU-urile s-au dovedit a fi excelente pentru tipul de calcule paralele, intensive în matrice, de care au nevoie rețelele neuronale. Aceasta însemna că ceea ce obișnuia să dureze săptămâni pe un CPU în anii ’90 putea fi făcut în ore pe un cluster de GPU până în 2010. După cum a formulat o analiză, combinația de algoritmi îmbunătățiți, date masive de antrenare și procesoare puternice a permis învățării profunde să devină în cele din urmă practică la scară industrială.

Impactul asupra recunoașterii vocale a fost imediat și profund. În loc să proiecteze cu migală caracteristici precum MFCC-urile, cercetătorii puteau alimenta spectrograme audio relativ brute într-o rețea neuronală profundă, iar rețeaua își învăța propriile caracteristici – reprezentări subtile ale sunetelor vorbirii optimizate pentru recunoaștere. Aceste modele profunde au început să depășească sistemele tradiționale HMM cu modele de amestec gaussian cu o marjă considerabilă. În unele cazuri, ratele de eroare au scăzut cu 20–30% relativ peste noapte la trecerea la un model acustic bazat pe DNN.

Până în jurul anului 2012, atât Microsoft cât și Google implementaseră rețele neuronale profunde în sistemele lor de recunoaștere vocală de producție pentru sarcini precum căutarea vocală. Rezultatele erau tangibile pentru utilizatori – dintr-odată smartphone-ul sau software-ul de dictare era mult mai bun la înțelegerea ta. Cercetătorii Microsoft au raportat că trecerea la o rețea neuronală profundă pentru modelarea acustică le-a redus rata de eroare aproape la jumătate pe un benchmark provocator. Google a remarcat de asemenea un salt semnificativ de precizie în introducerea vocală Android în jurul acelei perioade, datorită DNN-urilor. Vechile sisteme HMM nu au fost complet eliminate – inițial, cea mai eficientă rețetă a fost o abordare hibridă: folosește un DNN pentru a estima probabilitățile fonemelor (unități sonore de bază) din audio și alimentează-le într-un cadru HMM care încă impunea secvențierea temporală și se lega de un model de limbaj. Această abordare hibridă DNN-HMM a dominat prima jumătate a anilor 2010 și a fost implementată în practic toate serviciile majore vocale.

Numerele spun povestea. În jurul anului 2015, ratele de eroare la nivel de cuvânt (WER) pe teste standard precum Switchboard (un corpus de conversații telefonice reale) se apropiau de o singură cifră. În 2016, IBM a anunțat că a atins un WER de 6.9%, un minim record la acea vreme. Doar un an mai târziu, Microsoft a raportat că a ajuns la 5.9%, despre care au susținut că este aproximativ la nivelul transcriitorilor umani profesioniști (pentru acel test). La scurt timp după, IBM a ripostat cu 5.5%, iar apoi Microsoft și alții l-au dus și mai jos. Până în 2017, Microsoft ajunsese la aproximativ 5.1% eroare – realizând în esență ceea ce ei numeau „paritate umană” în recunoașterea vorbirii conversaționale. Și Google nu era departe; un raport Internet Trends din 2017 arăta că sistemul vocal al Google atingea o acuratețe de circa 95%, ceea ce echivalează aproximativ cu rata de eroare a unui ascultător uman care transcrie vorbirea de zi cu zi. În mai puțin de un deceniu, învățarea profundă redusese drastic rata de eroare de la problematicul interval de ~20% până la ~5%. Aceasta a fost o realizare de referință – în sfârșit, utilizarea recunoașterii vorbirii putea fi la fel de fiabilă precum trimiterea audio-ului tău către un transcriitor uman (în anumite scenarii).

Până în 2017, sistemele de recunoaștere vocală atinseseră o acuratețe de aproximativ 95% pe testele de referință – aproximativ echivalentă cu acuratețea transcriitorilor umani în condiții similare. Această îmbunătățire rapidă, vizibilă în rata de eroare în scădere (mai mare este mai rău) pe grafic, a fost determinată de apariția rețelelor neuronale profunde.

Efectul acestei descoperiri nu a fost doar academic – a fost resimțit de consumatori. Dintr-odată, interfețele vocale au trecut de la stângace și predispuse la erori la cu adevărat utile. Aceasta a fost perioada în care Alexa de la Amazon, Assistant de la Google, Cortana de la Microsoft și Siri îmbunătățit de la Apple se luptau toate pentru supremație. Acești asistenți nu ar fi fost viabili cu câțiva ani mai devreme, cu rate de eroare mai mari; până în 2016 erau suficient de buni încât milioane de oameni au început să se bazeze pe ei pentru sarcini de zi cu zi. Este relevant că până la sfârșitul anilor 2010, să vorbești cu mașinile a devenit normal. Mașinile aveau control vocal, smartphone-urile te încurajau să dictezi mesaje, iar servicii precum transcrierea automată a mesajelor vocale sau a videoclipurilor au devenit mai precise și mai accesibile. Recunoașterea vorbirii era oficial pretutindeni.

Totuși, povestea învățării profunde nu s-a încheiat cu acele prime DNN-uri. Cercetătorii au continuat să inoveze, împingând limitele a ceea ce puteau face sistemele de recunoaștere a vorbirii.

Era modernă: modele end-to-end și dincolo de ele

După succesul inițial al sistemelor hibride DNN-HMM, domeniul recunoașterii vorbirii s-a orientat către abordări de învățare profundă și mai integrate. În loc să aibă module separate (model acustic, dicționar de pronunție, model de limbă) conectate împreună, cercetătorii s-au întrebat: Putem antrena o singură rețea neuronală mare pentru a mapa direct formele de undă ale vorbirii la transcrieri text? Răspunsul, în cele din urmă, a fost da – acestea sunt cunoscute sub numele de modele de recunoaștere a vorbirii end-to-end. Începând cu aproximativ 2014, un val de cercetări a arătat că antrenarea end-to-end nu era doar posibilă, ci putea egala performanța vechilor pipeline-uri, cu condiția să existe suficiente date.

Una dintre primele metode end-to-end a folosit o abordare numită Connectionist Temporal Classification (CTC), pionierată de Alex Graves. CTC permitea unei RNN (rețea neuronală recurentă) să învețe singură alinierile dintre audio și textul de ieșire, fără a avea nevoie de date de antrenament pre-segmentate. În 2014, Graves și colegii săi au demonstrat o RNN bazată pe CTC care putea transcrie vorbirea direct în caractere. În esență, rețeaua a învățat să „asculte” și să ortografiească propoziția caracter cu caracter, gestionând intern lungimile variabile și sincronizarea. Totuși, primele modele CTC aveau un dezavantaj: presupuneau independența între caracterele de ieșire, ceea ce însemna că se bazau încă pe un model de limbă extern pentru a corecta ieșirea finală (pentru a se asigura că propoziția are sens). Uneori făceau greșeli de ortografie caraghioase sau produceau aiureli fără acel ajutor suplimentar.

Următorul salt a venit odată cu modelele sequence-to-sequence bazate pe atenție. În 2016, cercetătorii din mediul academic și din industrie (de exemplu, de la Carnegie Mellon, Google Brain și Universitatea din Montreal) au introdus sisteme cu o arhitectură encoder-decoder care utilizează un mecanism de atenție. Denumită sugestiv „Listen, Attend and Spell”, această abordare avea o rețea encoder care digera audio-ul de intrare într-o reprezentare de caracteristici de nivel înalt, iar apoi o rețea decoder care acordă atenție ieșirii encoder-ului și generează caractere de text unul câte unul – „silabisind” efectiv vorbirea recunoscută. Mecanismul de atenție permitea modelului să se concentreze dinamic pe diferite părți ale audio-ului pe măsură ce producea fiecare caracter, ceea ce este oarecum ca un transcriptor uman care ascultă și scrie simultan, ținând evidența poziției sale. Aceste modele bazate pe atenție nu necesitau un lexicon de pronunție separat sau un model de limbaj; teoretic, puteau învăța totul din maparea brută audio-la-text. Până la sfârșitul lui 2016, astfel de modele egalaseră și chiar depășiseră sistemele bazate pe CTC pe unele benchmark-uri. Și, important, un model end-to-end este mai simplu de implementat – nu trebuie să porți un model de limbaj n-gram de 5 GB pe telefon, de exemplu. Acest lucru a făcut practică pentru prima dată ideea de recunoaștere vocală pe dispozitiv, ceea ce este atractiv pentru confidențialitate și utilizare offline.

De atunci, am asistat la rafinări continue: variante precum RNN-Transducers (care combină idei din CTC și atenție) și adoptarea unor arhitecturi neuronale mai noi precum Rețelele Neuronale Convoluționale (CNN) și Transformer-ele pentru vorbire. De exemplu, în 2019 NVIDIA a anunțat modele end-to-end (cu nume memorabile precum Jasper și QuartzNet) care erau puternic optimizate cu straturi CNN, obținând rate de eroare la nivel de cuvânt de aproximativ 3% pe anumite seturi de test. Astfel de cifre se apropie de punctul în care ultimele câteva erori ar putea fi chiar pentru că transcriptul uman avea erori! Mai mult, modelele bazate pe transformer cu auto-atenție (celebre pentru revoluționarea procesării textului) au fost aplicate vorbirii cu mare succes, oferindu-ne sisteme mai rapide și chiar mai precise în anii 2020.

O altă tendință modernă este valorificarea învățării nesupravegheate și semi-supravegheate. Sisteme recente precum wav2vec 2.0 de la Facebook (ca să dăm un exemplu) pot învăța din audio neetichetat ascultând practic milioane de ore de vorbire fără transcripturi și învățând structura sunetului. Apoi, cu o cantitate mai mică de date etichetate, se ajustează fin pentru a face transcriere. Acest lucru abordează o problemă cheie: majoritatea limbilor lumii nu au seturi de date uriașe transcrise pe care să se antreneze. Învățarea auto-supravegheată și învățarea prin transfer permit unui model antrenat pe o limbă (sau pe audio general) să fie adaptat la o altă limbă sau la un domeniu special cu mult mai puține date. Acest lucru este crucial pentru răspândirea recunoașterii vocale de înaltă calitate dincolo de limbile majore și în mai multe aplicații.

Astăzi, recunoașterea vocală este cu adevărat o parte a vieții de zi cu zi. Este în buzunarele noastre, în bucătăriile noastre, în mașinile noastre și chiar ne vorbește înapoi. Asistenții virtuali o folosesc pentru a seta cronometre și a răspunde la întrebări; software-ul de dictare transcrie ședințe și note ale medicilor; boții de servicii pentru clienți triază apelurile; gadgeturile controlate vocal abundă. Abordarea prin învățare profundă a făcut recunoașterea atât ultra-precisă, cât și în timp real. Multe sisteme rulează acum complet pe dispozitiv (fără nevoie de internet) pentru viteză și confidențialitate, în timp ce altele folosesc cloud-ul pentru a gestiona procesarea intensă și a se îmbunătăți continuu. De fapt, serviciile vocale moderne bazate pe cloud joacă adesea un rol dual: servesc utilizatorul convertind vorbirea în text și, de asemenea, învață de la utilizator (anonim) adăugând acel fragment de audio și rezultatul său la datele de antrenament în continuă creștere. De fiecare dată când folosești dictarea vocală sau vorbești cu Alexa, există o șansă bună ca acele date să ajute la rafinarea modelelor din spatele scenei. Într-un fel, recunoscătorii vocali de astăzi nu termină niciodată de învățat – se îmbunătățesc câte puțin cu fiecare voce pe care o aud, la fel cum un om acumulează experiență.

Desigur, aventura nu s-a încheiat. În ciuda progreselor incredibile, provocările persistă. Limbajul uman este minunat de divers, iar IA se confruntă uneori cu asta. Accentele regionale puternice sau dialectele pot încă deruta un sistem care nu a fost antrenat pe ele. Zgomotul de fundal și situațiile cu mai mulți vorbitori (cum ar fi transcrierea unei conversații animate la cină) sunt încă scenarii dificile. Și, în timp ce câteva limbi majore (engleza, mandarina, spaniola etc.) se bucură de recunoaștere aproape de ultimă oră, există mii de limbi (și mult mai multe dialecte) pentru care recunoașterea vocală bună nu este încă disponibilă. Următoarea frontieră este extinderea tehnologiei la toți oamenii și toate limbile, posibil prin construirea de seturi de date mai incluzive sau prin utilizarea tehnicilor de învățare cross-lingvistică.

Cu toate acestea, traiectoria recunoașterii vocale oferă multe motive de optimism. În intervalul de 70+ ani am trecut de la o mașină care abia recunoștea zece cifre izolate la software care poate transcrie vorbirea fluentă cu 95–99% precizie în timp real. Fiecare eră s-a construit pe ultima: primii inventatori au demonstrat că vorbirea poate fi capturată; era DARPA a introdus puterea modelării probabilistice; anii 1980 au consolidat algoritmii statistici pentru scară; anii 1990 au făcut-o accesibilă consumatorilor; iar anii 2010 au adus mașini de învățare care au spart în sfârșit codul performanței la nivel uman. Este o istorie a inovației persistente, cu progrese care se întâmplă adesea în salturi și opriri – decenii lente de cercetare urmate de salturi bruște când calculatoarele sau algoritmii au ajuns din urmă.

De la Audrey la Siri, de la cuvinte izolate la conversații întregi, recunoașterea vocală a evoluat într-o tehnologie matură și indispensabilă. Și încă evoluează – pe măsură ce dispozitivele noastre continuă să asculte (și sperăm, să înțeleagă), experiența devine mai bună pas cu pas. Poate nu avem încă computerul complet conversațional din Star Trek de pe nava Enterprise, dar suntem mai aproape ca niciodată. După cum a observat un expert, sistemele vocale AI de astăzi sunt „la fel de dinamice și creative precum limbile umane înseși”, învățând și adaptându-se continuu pe măsură ce vorbim cu ele. Cu alte cuvinte, povestea recunoașterii vocale este departe de a se fi încheiat – dar ce poveste a fost până acum.

Lecturi suplimentare și surse

  1. Computer History Museum. "Timeline of Speech Recognition Milestones" (Articol)

  2. Pierce, J.R. "Whither Speech Recognition?" – The Journal of the Acoustical Society of America (1969)

  3. Zhou, B. "Speech Recognition: From Research to Practice" – Stanford EE 292C Lecture Notes (2017)

  4. Hinton, G. et al. "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups" – IEEE Signal Processing Magazine (2012)

  5. Baker, J. "Trainable Grammars for Speech Recognition" – Proceedings of the DARPA Speech and Natural Language Workshop (1990)

  6. Deng, L. & Li, X. "Machine Learning Paradigms for Speech Recognition: An Overview" – IEEE Transactions on Audio, Speech, and Language Processing (2013)

  7. Jelinek, F. "Statistical Methods for Speech Recognition" – MIT Press (1997)

  8. Schmidhuber, J. "Deep Learning in Neural Networks: An Overview" – Neural Networks (2015)

  9. IBM Archives. "IBM Shoebox: Voice-Activated Calculator Demo" (Exponat istoric)

  10. Rabiner, L. & Juang, B.H. "Fundamentals of Speech Recognition" – Prentice Hall (1993)

  11. Lee, K.F. "Speaker-Independent Phone Recognition Using Hidden Markov Models" – IEEE Transactions on Acoustics, Speech, and Signal Processing (1989)

  12. Meeker, M. "Internet Trends Report" – Kleiner Perkins (2017)

  13. Graves, A. et al. "Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks" (lucrare PDF, 2006)

  14. Xiong, W. et al. "Achieving Human Parity in Conversational Speech Recognition" – Cercetare Microsoft (2016)

  15. Norvig, P. "Despre Chomsky și cele două culturi ale învățării statistice" – The Atlantic (2011)

  16. Hinton, G. et al. "Un algoritm de învățare rapidă pentru rețelele de credință profundă" – Neural Computation (2006)

  17. Glass, J. "O perspectivă istorică asupra recunoașterii vorbirii" – MIT Spoken Language Systems (2003)

  18. Amodei, D. et al. "Deep Speech 2: Recunoașterea vorbirii end-to-end în engleză și mandarină" (lucrare arXiv, 2016)

  19. Hannun, A. et al. "Deep Speech: Extinderea recunoașterii vorbirii end-to-end" (lucrare arXiv, 2014)

  20. Mohamed, A. et al. "Recunoașterea vorbirii cu învățare profundă: progrese și tendințe" – IEEE Signal Processing Magazine (2019)

  21. Saon, G. et al. "Recunoașterea vorbirii telefonice conversaționale în engleză de către oameni și mașini" – IBM Research (2017)

  22. LeCun, Y., Bengio, Y., & Hinton, G. "Învățarea profundă" – Nature (2015)

  23. Hinton, G. et al. "Rețele de credință profundă pentru modelarea acustică" (lucrare PDF, 2012)

← Toate articolele

Continuă lectura

Vezi toate articolele

Începe transcrierea

Obține transcrierea completă gratuit, fără limită zilnică. Testează acuratețea de top din industrie cu V4-Pro.

Începe transcrierea gratuit