Fra Audrey til Deep Learning: Talegenkendelsens episke historie

Få teknologier har rejst en så snoet vej som talegenkendelse. Årtier før vi i flæng spurgte smartphones om vejret, drømte science fiction om talende computere – fra Star Trek-besætningen, der samtaler med deres rumskib, til HAL 9000 i 2001: A Space Odyssey. At gøre den fantasi til virkelighed krævede generationer af forskere, støtte gennembrud og lejlighedsvise spring af tro. Tale kan føles magisk, men bag det ligger en historie om tidlige eksperimenter, statsstøttede quests, statistiske revolutioner og fremkomsten af deep learning. Dette indlæg udforsker den rejse æra for æra – de centrale teknikker, personer, virksomheder og milepæle, der bragte os fra en klodset stemmegadget fra 1950'erne til nutidens AI-systemers næsten menneskelige nøjagtighed.
Tidlige drømme og de første talende maskiner (1950'erne–1960'erne)
Talegenkendelse-forskning begyndte for alvor i 1950'erne, selvom ønsket om at kommunikere med maskiner er endnu ældre. Bell Laboratories gik i spidsen i 1952 ved at skabe en enhed med det charmerende navn "Audrey" (Automatic Digit Recognizer). Bell Labs' Audrey (1952) var en banebrydende talegenkendelsesmaskine, der kunne genkende talte cifre 0 gennem 9 – om end kun med en enkelt stemme (skaberens) og ved hjælp af et enormt analogt kredsløbsopsætning. Audrey var imponerende for sin tid: den opnåede omkring 90% nøjagtighed med opfinderens stemme, men ydeevnen faldt for andre talere. Systemet måtte "lære" lidt med hver ny brugers stemme og var langt fra praktisk – det var højere end en person, fyldt med vakuumrør og forbrugte store mængder strøm. Alligevel beviste Audrey, at en maskine kunne lytte til menneskelig tale på en begrænset måde og genkende et simpelt ordforråd (cifrene nul til ni).
IBMs "Shoebox"-demonstration (1962) fremviste en tidlig stemmestyret lommeregner, der genkendte 16 talte ord (cifre og grundlæggende kommandoer). Et årti efter Audrey præsenterede IBM sin Shoebox på 1962 World's Fair – en gadget, der kunne forstå tal 0–9 og nogle få kontrolord ("plus", "minus", "total" osv.). Shoebox var i det væsentlige en stemmestyret additionsmaskine. Rundt om i verden spirede lignende eksperimenter: forskere i England, Japan og andre steder byggede prototypesystemer, der kunne genkende et meget begrænset sæt stavelser eller ord. I slutningen af 1960'erne havde nogle laboratorier hardware, der genkendte et lille sæt fonetiske elementer (for eksempel en håndfuld vokaler og konsonanter) som et springbræt til ord.
Disse tidlige systemer var hardwired og opgavespecifikke. De fungerede generelt kun for isolerede ord (et ad gangen med pauser imellem) og ofte kun for den taler, der trænede dem. I slutningen af 1960'erne vovede en lys ung forsker ved navn Raj Reddy – dengang ph.d.-studerende ved Stanford – at tage fat på en større udfordring: at få en computer til at forstå kontinuerlig tale uden pauser. Ved hjælp af en af de første DEC PDP-1-computere med specielle analog-til-digital-konvertere byggede Reddy en rudimentær vokalgenkender og var banebrydende for teknikker til kontinuerlig talegenkendelse. Hans arbejde antydede en fremtid, hvor man ikke behøvede at...tale...sådan...for at blive forstået af en maskine. Alligevel var teknologibegrænsningerne i 1950'erne–60'erne alvorlige: meget få transistorer eller hukommelse til at håndtere den strøm af data, som tale genererer, og endnu ingen konsensus om, hvordan man programmerer en maskine til at afkode menneskeligt sprogs kompleksitet. Men alt det var ved at ændre sig med et skub fra en ny sponsor: det amerikanske forsvarsministerium.
1970'erne: Forsvarsfinansiering og det statistiske vendepunkt
I 1971 lancerede DARPA (Defense Advanced Research Projects Agency) et dristigt femårigt program for at fremskynde fremskridt inden for taleforståelse. Målet var ambitiøst – et system, der kunne genkende mindst 1,000 ord (omtrent ordforrådet hos en 3-årig) i midten af 1970'erne. Flere topinstitutioner, herunder Carnegie Mellon University (hvor Raj Reddy var blevet professor), fik midler til at udforske forskellige tilgange. På dette tidspunkt konkurrerede to filosofier for talegenkendelse:
-
Skabelonmatchning: Én tilgang lod computeren gemme optagede skabeloner af ord og forsøge at matche indkommende talelyde til disse skabeloner. Da folk taler i forskelligt tempo, blev en teknik kaldet dynamic time warping brugt til at strække eller trække tidsaksen for de optagede mønstre for at tilpasse sig det nye input. Tænk på det som et fonetisk matchningsspil – hvis den indkommende "hello"-bølgeform lignede en hastighedsændret version af et gemt "hello", blev det genkendt. Dette fungerede OK for meget små ordforråd, men havde svært ved at følge med, efterhånden som ordforrådene voksede, eller talen varierede.
-
Regelbaseret AI med sproglig viden: En anden tilgang forsøgte at inkorporere menneskelig viden om sprog. Forskere skrev komplekse sproglige regler – fonetiske regler for lyde, leksikale regler for ord, syntaktiske regler for sætninger osv. – til at styre genkendelsen. Systemet ville analysere tale på flere niveauer og forsøge at "gætte" den bedste fortolkning ved at anvende disse regler, noget i retning af et ekspertsystem. Dette var intellektuelt tiltalende, da det afspejlede, hvordan en lingvist kunne gribe problemet an, men det var ekstremt svært at bygge et komplet sæt regler for virkelig tale.
Tidligt troede mange eksperter, at kun ved at indbygge sproglig intelligens kunne talegenkendelse forbedres. Men en fundamental indsigt fra informationsteorien begyndte at tippe vægtskålen mod en anden tilgang. Claude Shannon, informationsteoriens fader, havde demonstreret forudsigeligheden i sprog gennem et berømt eksperiment i 1951. Han fik sin kone Betty Shannon til at forsøge at gætte tekst ét bogstav ad gangen fra en roman – når først et par bogstaver var kendt, kunne Betty præcist forudsige mange af de resterende bogstaver og ord. Dette viste, at menneskeligt sprog er meget redundant og statistisk – visse lyde og ord er langt mere sandsynlige givet konteksten af det, der kom før. For talegenkendelse betød dette, at en computer kunne udnytte sandsynlighed og kontekst til at indsnævre mulighederne for, hvad en person sagde, i stedet for at stole udelukkende på bogstavelig bølgeformsmatchning eller håndlavede regler.
At omfavne denne idé var oprindeligt kontroversielt – det virkede "kontraintuitivt" for nogle ingeniører, som foretrak eksplicit AI-ræsonnement. Men efterhånden som DARPA-projekterne skred frem, begyndte de statistikbaserede metoder at skinne. Carnegie Mellons team byggede for eksempel et system kaldet Harpy, som nåede målet om et ordforråd på 1,000 ord i 1976. Harpy introducerede en teknik kaldet beam search til effektivt at gennemsøge mulige ordsekvenser og vurdere, hvilke der gav mening i konteksten. I det væsentlige kunne Harpy genkende hele sætninger og bruge en sprogmodel (en statistisk model over ordsekvenser) til at afgøre mellem tvetydige lydfortolkninger. Dette var et kæmpe spring: Harpy kunne forstå ikke bare isolerede ord, men sammenhængende tale i sætninger, begrænset til sit ordforråd. Dets leksikon på 1,011 ord og smarte afkodningsstrategi var sammenlignelige med evnerne hos et lille barn – en treårig, der aldrig lader sig distrahere.
Samtidig arbejdede en ung forsker ved navn James "Jim" Baker (og hans kone Janet Baker) på et andet DARPA-finansieret projekt ved CMU. I 1974 udviklede de DRAGON-systemet, som tog det dristige skridt at bruge ren statistisk modellering til tale. Jim Bakers doktorafhandling i 1975 introducerede brugen af Hidden Markov Models (HMM'er) til talegenkendelse – et probabilistisk rammeværk, der behandler talelyde som en sekvens af statistiske tilstande. I et HMM-baseret system forsøger man ikke at matche en optaget skabelon præcist. I stedet trænes computeren på eksempeldata til at estimere sandsynlighederne for, at visse lyde eller ord forekommer i sekvens. Hvis det lyder abstrakt, er et intuitivt eksempel: forestil dig at forsøge at forstå en vens dæmpede tale ved at overveje, hvilke ord de sandsynligvis siger i konteksten. HMM'er gav talegenkendelse en kraftfuld matematisk måde at gøre netop det på – at modellere usikkerheden i lyde og beslutte den mest sandsynlige ordsekvens. Bakers Dragon-system demonstrerede, at store-ordforråds kontinuerlig talegenkendelse var mulig med denne statistiske tilgang. Dette var et vendepunkt: det viste, at man kunne "lære" maskinen ved hjælp af data og sandsynligheder i stedet for at programmere den med endeløse sproglige regler.
Flere andre bemærkelsesværdige systemer opstod fra DARPA-indsatsen i 1971–76. Hearsay-II udforskede for eksempel en hybrid "blackboard"-arkitektur, hvor flere videnskilder (akustisk fonetik, syntaks, semantik osv.) alle samarbejdede om at afkode tale og skrev deres delvise hypoteser på en virtuel tavle, så andre kunne forbedre dem. Dette var et tidligt forsøg på at kombinere de statistiske og vidensbaserede tilgange – selvom det var elegant, var det komplekst og beregningsmæssigt tungt for sin tid. Ved udgangen af 1970'erne havde feltet takket være disse projekter bevist, at maskinforståelse af talt sprog var muligt, i det mindste i begrænsede domæner. Men ydeevnen var stadig langt fra perfekt, og uden for laboratoriet var disse systemer endnu ikke praktiske. Scenen var dog sat for hurtige forbedringer, efterhånden som regnekraften voksede i de kommende årtier.
1980'erne: Hidden Markov-modeller tager over
I 1980'erne skiftede talegenkendelse afgørende mod statistiske metoder, især Hidden Markov-modeller. En stor katalysator var endnu en runde af den amerikanske regerings investering i taleforskning fra 1984, kombineret med oprettelsen af standarddatasæt og evalueringsbenchmarks. Organisationer som National Institute of Standards and Technology (NIST) koordinerede årlige tests på fælles databaser, hvilket ansporede konkurrence og målbar fremgang blandt forskningsgrupper (hos CMU, SRI, BBN, MIT, Bell Labs og andre). For første gang talte alle samme sprog – bogstaveligt talt ved at bruge de samme testkorpora – hvilket muliggjorde direkte sammenligning af teknikker og hurtig iteration.
I denne periode blev Hidden Markov Model (HMM)-algoritmer den dominerende teknologi til talegenkendelse. HMM'er viste sig at være et perfekt match til talens sekventielle, variable natur. Ved at opdele talte ord i frames (små tidsudsnit) og statistisk modellere sandsynligheden for forskellige lyde og overgange kunne HMM-baserede systemer "lære" akustiske mønstre fra data. Lige så vigtigt kunne de inkorporere sprogmodeller – sandsynligheder for ordsekvenser – for at lave sammenhængende transskriptionsgæt. Resultatet var et stort spring i ordforrådsstørrelse og nøjagtighed: fra et par hundrede ord i 1970'erne til flere tusinde ord i midten af 1980'erne. Hos IBM omfavnede et team ledet af Fred Jelinek den probabilistiske tilgang helhjertet. De udviklede et system med kodenavnet Tangora, rettet mod kontordiktering, som i 1985 angiveligt kunne genkende et ordforråd på 20,000 ord ved hjælp af HMM'er og bigram/trigram-sprogmodeller. (Tangora var passende opkaldt efter en amerikansk skrivehastighedschampion, hvilket understregede IBMs mål om at opnå hurtig, effektiv diktering.)
I mellemtiden forlod Baker-parret (Jim og Janet) akademia for at kommercialisere deres ideer. De grundlagde Dragon Systems i 1982, fast besluttede på at bringe talegenkendelse ud i rigtige produkter. En tidlig succes kom, da Dragons software blev licenseret til Apricot PC i 1984 – hvilket gjorde den britisk-producerede Apricot-computer til den første personlige computer med indbygget stemmegenkendelse. Dette var primitivt efter nutidens standarder (systemet håndterede sandsynligvis et lille kommandosæt), men det signalerede starten på, at taleteknologi bevægede sig fra forskningslaboratorier ud på markedet.
Et stort gennembrud i slutningen af 1980'erne var at opnå taleruafhængig genkendelse – systemer, der ikke længere skulle trænes grundigt på en bestemt brugers stemme. I 1987 udviklede Kai-Fu Lee, en ph.d.-studerende under Raj Reddy, CMU Sphinx, som hyldes som det første taleruafhængige system til kontinuerlig talegenkendelse. Sphinx kombinerede det bedste fra det foregående årtis innovationer: det brugte Bakers' HMM-algoritmer og beam search-strategien fra Harpy, men nu kunne ét system håndtere mange stemmer uden individuel gentræning. Dette var afgørende; at kræve, at brugere brugte timer på at træne et system, havde været en enorm barriere for praktisk brug. (Før Sphinx krævede nogle systemer, at man gentog tusindvis af ord for at træne dem – en svær salgstale for forbrugerne!) Med taleruafhængigheden kom visionen om en generelt anvendelig stemmegrænseflade meget tættere på. Ved slutningen af 1980'erne var ordforrådet i førende systemer vokset kraftigt, kontinuerlig tale med moderat grammatisk kompleksitet var mulig, og fejlraten fortsatte med at falde langsomt. Hvad der engang var en DARPA-storudfordring på 1,000 ord, var vokset til 20,000+ ord i ordforrådet, og genkendelsen nærmede sig normale menneskelige talehastigheder.
Det er værd at bemærke, at nogle forskere i baggrunden af 1980'erne eksperimenterede med en helt anden tilgang: kunstige neurale netværk. Tidlige neurale netværksmodeller (som time-delay neural nets og Boltzmann-maskiner) blev afprøvet på småskala-taleopgaver, såsom fonemgenkendelse, i denne æra. Faktisk udviklede Geoffrey Hinton og andre backpropagation-algoritmen i midten af 1980'erne, som i teorien kunne træne flerlags neurale netværk til at klassificere komplekse mønstre. Men på det tidspunkt havde neurale netværk endnu ikke styrtet de herskende HMM'er. Årsagerne var praktiske: begrænset regnekraft og knappe data gjorde det svært for neurale net at skinne ud over små demoer. Som en AI-historie bemærkede, gennemgik neurale net cyklusser af hype i 60'erne og 80'erne, men faldt i "AI-vintre", når de ikke kunne leve op til forventningerne med datidens hardware. Så gennem 1980'erne forblev indsatsen inden for talegenkendelse centreret om omhyggeligt konstruerede statistiske modeller og ekspertbaseret feature engineering. Og det arbejde betalte sig, da vi gik ind i 1990'erne – årtiet hvor talende maskiner endelig begyndte at ramme forbrugermarkedet.
1990'erne: Fra laboratorium til forbruger (bryd tavsheden)
I begyndelsen af 1990'erne var talegenkendelse ved at skifte fra et nicheforskningsemne til noget, der kunne pakkes som et kommercielt produkt. Personlige computere var blevet hurtige nok til at køre enklere tale-motorer i realtid, og virksomheder så potentiale i dikteringssoftware og stemmestyrede grænseflader. Den første bølge af produkter kom dog med betydelige begrænsninger. I 1990 udgav Dragon Systems Dragon Dictate, hyldet som det første talegenkendelsesprodukt til forbrugerne. Det kørte på en high-end pc og lod en bruger indtaste tekst med stemmen… men der var en hage: man skulle tale et… ord… ad… gangen, bevidst pausende mellem hvert ord. Denne "diskret tale"-tilstand var nødvendig på grund af den begrænsede regnekraft og de mindre avancerede modeller – kontinuerlig tale var for svær at håndtere i realtid på en pc fra den æra. På trods af denne unaturlige stil var det for nogle brugere (især dem, der ikke nemt kunne bruge et tastatur) revolutionerende overhovedet at kunne skrive tekst med stemmen.
Igennem hele 1990'erne kom der hurtige forbedringer inden for både algoritmer og databehandling. Forskerne forfinede deres HMM-modeller, tilføjede bedre metoder til feature extraction (som MFCC – mel-frekvens cepstrale koefficienter – der indfanger de klanglige karakteristika ved tale) og brugte større træningskorpora. Computere blev, i overensstemmelse med Moore's lov, drastisk hurtigere og kunne håndtere mere komplekse beregninger. I midten af 90'erne blev drømmen om kontinuerlig, naturlig taleinput på en pc realiseret. I 1997 lancerede Dragon Systems Dragon NaturallySpeaking, som for første gang lod brugere diktere på en normal, flydende måde – op til 100 ord i minuttet – uden pauser mellem ordene. Det var ikke perfekt (brugerne skulle stadig gennemgå en indledende træning, og softwaren fungerede bedst, hvis man talte tydeligt og nogenlunde jævnt), men det var et gennembrud inden for brugervenlighed. I dets første år var NaturallySpeaking et blockbuster-produkt, hvilket indikerede en stærk efterspørgsel efter talestyring på trods af de resterende særheder. (Ikke mere gentagne belastningsskader fra at skrive lange dokumenter – nu kunne man få det af at tale til sin computer!)
NaturallySpeaking var ikke alene. IBM havde også været aktiv og udnyttet sin lange historie på området. I 1996 lancerede IBM MedSpeak, et produkt til kontinuerlig talegenkendelse skræddersyet til læger (til at diktere medicinske notater) – bemærket som det første kommercielle kontinuerlige talesystem til et specifikt domæne. IBM fulgte snart op med et generelt forbrugerprodukt kendt som IBM ViaVoice. I mellemtiden var Microsoft og Apple også i gang med at integrere grundlæggende talegenkendelse i deres styresystemer. Apple havde en funktion kaldet PlainTalk (og en grænseflade kendt som "Speakable Items") i midten af 90'erne, som lod brugere udføre simple stemmekommandoer på en Macintosh. Microsoft tilbød en Speech SDK til Windows og i 2000 indbyggede de talegenkendelse i Office XP og senere i Windows selv (Windows Vista i 2007 blev leveret med en forbedret indbygget talegenkendelse). Disse indbyggede systemer var ofte finurlige og underudnyttede af forbrugerne, men de signalerede, at stemmestyring var ved at blive en standardfunktion snarere end en sci-fi-nyhed.
En anden vigtig udvikling i 90'erne var brugen af talegenkendelse inden for telekommunikation. Efterhånden som telefonlinjer blev digitale, og databehandling blev billigere, begyndte virksomheder at implementere automatiserede stemmetjenester. I 1996 introducerede BellSouth (et regionalt telefonselskab) en "voice portal"-tjeneste, hvor kunder kunne ringe ind og navigere i menuer eller få information ved at tale kommandoer. Hvis du nogensinde har talt med et telefontræ ("Sig eller tryk 1 for fakturering..."), har du oplevet arven fra disse 90'er-innovationer. Tidlige telefonbaserede systemer havde et begrænset ordforråd (ofte kun tal eller ja/nej eller en fast liste af valgmuligheder), men de viste, at talegenkendelse kunne håndtere opgaver som at viderestille opkald og hente information håndfrit. Disse Interactive Voice Response-systemer (IVR) blev udbredt, og i 2000'erne brugte mange virksomheder dem til at automatisere kundeservice – nogle gange til kundernes frustration, men det reducerede også ventetider for grundlæggende forespørgsler.
Ved udgangen af 1990'erne kunne state of the art inden for talegenkendelse prale af imponerende tal for tiden: ordforrådsstørrelser på titusindvis af ord, kontinuerlig taleevne uafhængig af taler, og ordfejlraten faldt støt. En typisk brugeroplevelse kunne dog stadig indebære en nøjagtighed på alt fra 80–95% under gode forhold. Faktisk var den gennemsnitlige nøjagtighed for generel tale omkring 2001 kun omkring 80% – hvilket betyder, at hvert femte ord ville blive fejlgenkendt uden omhyggelig tale eller korrekturlæsning. Det nøjagtighedsniveau var ikke tilstrækkeligt til mange anvendelser (forestil dig at skulle rette hvert femte ord i en udskrift), hvilket betød, at taleteknologi, selvom den var meget forbedret, endnu ikke helt var "ankommet" som en allestedsnærværende grænseflade. Mange udfordringer bestod: støjende miljøer ville bringe systemerne i knæ, det samme ville stærkt accentueret tale eller hurtig naturlig samtale. Drømmen om fejlfri talegenkendelse på menneskeligt niveau var stadig i horisonten. Lidt vidste vi, at en ny tilgang i det kommende årti endelig ville presse ydeevnen op på det undvigende niveau.
2000'erne: Big Data og den langsomme klatren mod bedre nøjagtighed
2000'erne var lidt af en blandet pose for talegenkendelse. På den ene side blev teknologien mere bredt tilgængelig – indbygget i styresystemer, brugt i callcentre, implementeret i nichemarkeder som medicinsk transskription. På den anden side føltes fremskridtene trinvise. Gennem det meste af årtiet var der ingen fundamentale gennembrud som indførelsen af HMM'er i 70'erne eller de store spring i 80'erne. I stedet slibede vedvarende tekniske forbedringer gradvist fejlraten ned. Ved 2001 lå den typiske nøjagtighed, som nævnt, omkring 80% for ubegrænset diktering. At presse det tal højere op viste sig vanskeligt med de eksisterende tilgange.
Dog lagde flere tendenser i 2000'erne grunden til den kommende revolution:
-
Regnekraft og cloud-forbindelse: Personlige computere blev ved med at blive hurtigere, men endnu vigtigere var fremkomsten af internettet og cloud computing i midten af 2000'erne. Det betød, at talegenkendelse kunne foregå på kraftfulde servere i stedet for på brugerens enhed. I stedet for at være begrænset af CPU'en på din hjemme-PC eller tidlige smartphone, kunne enheder optage din stemme, sende den over netværket og få den genkendte tekst tilbage fra en kraftig serverfarm. Denne offloading af beregning var afgørende. For eksempel lancerede Google i 2008 en gratis telefonoplysningstjeneste kaldet GOOG-411 og kort efter en smartphone-app til stemmesøgning. Når du talte en forespørgsel ind i Google-appen, blev din stemme sendt til Googles datacentre, hvor genkendelsen fandt sted. Cloud-tilgangen gjorde det muligt at anvende enorme computerressourcer og datasæt, langt ud over hvad nogen enkelt enhed kunne håndtere på det tidspunkt.
-
Dataeksplosion: Den anden fordel, som virksomheder som Google havde, var data – masser af data. Gennem 2000'erne indekserede Google nettet og lærte samtidig i det stille af teksten fra milliarder af søgeforespørgsler. Al den tekst – billioner af ord – hjalp med at træne bedre sprogmodeller. I slutningen af 2000'erne blev Googles engelske talegenkendelsessystem understøttet af en sprogmodel, der inkorporerede 230 milliarder ord fra virkelige forespørgsler og tekst. Det betød, at når du sagde noget tvetydigt, havde systemet en enorm statistisk viden om, hvilke sætninger eller ordsekvenser der er sandsynlige. For eksempel "ved" det, at "New York" er langt mere almindeligt end "gnue fork", så selv hvis akustikken er lidt uklar, guider sprogmodellen det til den korrekte fortolkning. Denne big data-tilgang begyndte at give talegenkendelse et mærkbart løft i nøjagtighed i opgaver som stemmesøgning, hvor kontekst og sandsynlighed betyder meget.
-
Mobile enheder og stemmeassistenter: I slutningen af årtiet opstod et nyt paradigme – stemmen som interface til mobiltelefoner. Tidlige smartphones og PDA'er havde små skærme og små knapper, så stemmeinput var attraktivt. Apples iPhone (2007) populariserede den moderne smartphone, og ikke længe efter kom stemmen med på vognen. I 2011 introducerede Apple Siri, den stemmestyrede assistent på iPhone. Siri kunne ikke blot genkende tale, men også fortolke brugerens hensigt (takket være teknikker til naturlig sprogforståelse) og udføre opgaver som at sende beskeder eller hente information. Siri blev hurtigt fulgt af Googles egen stemmeassistent og til sidst Amazons Alexa i 2014 (som boede i Echo, en selvstændig smart-højttaler). Pludselig gik det at tale til en maskine fra at være en nicheaktivitet til at være en mainstream forbrugeroplevelse – millioner af mennesker spurgte deres telefoner om vej eller deres smart-højttalere om at spille musik. Denne stigning i brugen i 2010'erne gav endnu flere data og skabte en god cirkel: flere brugere, der taler, betød flere data til at forbedre systemerne, hvilket igen gjorde dem mere nøjagtige og nyttige og tiltrak endnu flere brugere.
Ved udgangen af 2000'erne var talegenkendelse uden tvivl blevet forbedret – men det virkelige gennembrud var endnu ikke kommet. Mange i feltet følte, at fremskridtene var stagneret med de eksisterende teknikker (HMM'er med omhyggeligt designede features og sprogmodeller). Fejlraten sad fast i 10–20%-intervallet for svære opgaver. Der var en fornemmelse af, at der måske var brug for en fundamentalt ny tilgang for at nå den sidste mil til menneskelig ydeevne. Som det viste sig, var frøene til den nye tilgang allerede blevet plantet – i form af dybe neurale netværk, som var på vej til at gøre et spektakulært comeback i 2010'erne.
Tidlig deep learning-revolution (2010'erne): Neurale netværk slår igen
Året 2009 citeres ofte som et vendepunkt inden for talegenkendelse. Efter mange års dvale gjorde neural netværksmodeller et bragende comeback – denne gang udstyret med langt større regnekraft og datamængder end i 1980'erne. Et hold forskere ledet af Geoffrey Hinton demonstrerede, at en ny type dybe neurale netværk (DNN'er) kunne overgå de gamle metoder betydeligt på talegenkendelsesopgaver. De opnåede dette ved at bruge deep learning: neurale netværk med mange lag af kunstige neuroner, trænet på meget store datasæt. Hvordan overvandt de de tidligere begrænsninger? I enkle vendinger var tre ting ændret:
-
Uovervåget forudtræning: Hinton og kolleger introducerede en måde at "forudtræne" dybe netværk ét lag ad gangen ved hjælp af Restricted Boltzmann Machines (RBM'er) – dybest set lærte de hvert lag at udtrække nyttige features fra lyddataene, før hele netværket blev finjusteret. I 2009 viste de, at stakning af disse RBM'er kunne give dramatiske forbedringer i talegenkendelsesnøjagtighed. Dette smarte træningstrick hjalp med at løse problemet med, hvordan man effektivt træner meget dybe netværk (hvilket tidligere var meget svært på grund af problemer som forsvindende gradienter).
-
Mere data: I 2010 var der langt mere digitale lyddata tilgængelige til træning – timevis af transskriberet tale fra projekter, arkiver og internettet. Deep learning trives med big data. Jo flere eksempler netværket kan lære af, jo bedre kan det justere sine mange parametre. Denne datatilgængelighed var noget, pionererne i 80'erne simpelthen ikke havde.
-
Større regnekraft (især GPU'er): I 2010'erne eksploderede brugen af grafikprocessorer (GPU'er) til generel databehandling. GPU'er viste sig at være fremragende til den slags parallelle, matrix-tunge beregninger, som neurale netværk kræver. Det betød, at det, der tidligere tog uger på en CPU i 90'erne, kunne gøres på timer på en GPU-klynge i 2010. Som en analyse udtrykte det, muliggjorde kombinationen af forbedrede algoritmer, massive træningsdata og kraftfulde processorer, at deep learning endelig blev praktisk i industriel skala.
Indvirkningen på talegenkendelse var øjeblikkelig og dybtgående. I stedet for møjsommeligt at designe features som MFCC'er kunne forskerne føde relativt rå lydspektrogrammer ind i et dybt neuralt net, og netværket ville lære sine egne features – subtile repræsentationer af talelyde optimeret til genkendelse. Disse dybe modeller begyndte at overgå de traditionelle HMM-systemer med Gaussian mixture-modeller med en betydelig margin. I nogle tilfælde faldt fejlraten med 20–30% relativt set nærmest natten over, når man skiftede til en DNN-baseret akustisk model.
Omkring 2012 havde både Microsoft og Google implementeret dybe neurale netværk i deres produktionssystemer til talegenkendelse til opgaver som stemmesøgning. Resultaterne var mærkbare for brugerne – pludselig var din smartphone eller dikteringssoftware meget bedre til at forstå dig. Microsoft-forskere rapporterede, at skiftet til et dybt neuralt netværk til akustisk modellering næsten halverede deres fejlrate på en udfordrende benchmark. Google bemærkede ligeledes et betydeligt spring i nøjagtighed for Androids stemmeinput omkring den tid takket være DNN'er. De gamle HMM-systemer blev ikke helt kasseret – i starten var den mest effektive opskrift en hybrid tilgang: brug en DNN til at estimere sandsynlighederne for fonemer (grundlæggende lydenheder) fra lyd, og før disse ind i et HMM-rammeværk, der stadig håndhævede tidsmæssig sekvensering og var koblet til en sprogmodel. Denne hybride DNN-HMM-tilgang dominerede første halvdel af 2010'erne og blev implementeret i stort set enhver større taletjeneste.
Tallene fortæller historien. Omkring 2015 nærmede ordfejlraten (WER) på standardtests som Switchboard (et korpus af rigtige telefonopkald) sig encifrede tal. I 2016 meddelte IBM, at de havde opnået en WER på 6.9%, et rekordlavt niveau på det tidspunkt. Bare et år senere rapporterede Microsoft at have nået 5.9%, hvilket de hævdede var nogenlunde på niveau med professionelle menneskelige transskribenter (til den test). Kort efter slog IBM tilbage med 5.5%, og derefter drev Microsoft og andre den endnu lavere. I 2017 havde Microsoft nået omkring 5.1% fejl – hvilket i det væsentlige opnåede det, de kaldte »menneskelig paritet« i genkendelse af konversationelt tale. Og Google var ikke langt bagud; en Internet Trends-rapport i 2017 viste, at Googles talesystem opnåede omkring 95% nøjagtighed, hvilket nogenlunde svarer til fejlraten for en menneskelig lytter, der transskriberer dagligdags tale. På mindre end et årti havde deep learning skåret fejlraten ned fra det problematiske ~20%-interval ned til ~5%. Dette var en milepæl – endelig kunne brug af talegenkendelse være lige så pålidelig som at sende sin lyd til en menneskelig transskribent (i visse scenarier).
I 2017 havde talegenkendelsessystemer nået omkring 95% nøjagtighed på benchmarktests – nogenlunde svarende til nøjagtigheden af menneskelige transskribenter under lignende forhold. Denne hurtige forbedring, synlig i den faldende fejlrate (højere er dårligere) på grafen, blev drevet af fremkomsten af dybe neurale netværk.
Effekten af dette gennembrud var ikke kun akademisk – den blev mærket af forbrugerne. Pludselig gik stemmegrænseflader fra klodsede og fejlbehæftede til genuint nyttige. Dette var perioden, hvor Amazons Alexa, Googles Assistant, Microsofts Cortana og Apples forbedrede Siri alle kæmpede om overherredømmet. Disse assistenter ville ikke have været levedygtige få år tidligere med højere fejlrater; i 2016 var de gode nok til, at millioner af mennesker begyndte at stole på dem til dagligdags opgaver. Det siger noget, at i slutningen af 2010'erne blev det normalt at tale med maskiner. Biler havde stemmestyring, smartphones opfordrede dig til at diktere beskeder, og tjenester som automatisk transskription af voicemails eller videoer blev mere nøjagtige og overkommelige. Talegenkendelse var officielt overalt.
Alligevel sluttede deep learning-historien ikke med de tidlige DNN'er. Forskerne fortsatte med at innovere og skubbe til grænserne for, hvad talegenkendelsessystemer kunne gøre.
Den moderne æra: End-to-end-modeller og videre
Efter den indledende succes med hybride DNN-HMM-systemer bevægede talegenkendelsesfeltet sig mod endnu mere integrerede deep learning-tilgange. I stedet for at have separate moduler (akustisk model, udtaleordbog, sprogmodel) sammensat, spurgte forskerne: Kan vi træne et stort neuralt netværk til direkte at kortlægge talebølgeformer til tekstransskriptioner? Svaret var til sidst ja – disse er kendt som end-to-end-talegenkendelsesmodeller. Startende omkring 2014 viste en strøm af forskning, at end-to-end-træning ikke kun var mulig, men kunne matche ydeevnen af de gamle pipelines, givet nok data.
En af de første end-to-end-metoder brugte en tilgang kaldet Connectionist Temporal Classification (CTC), pioneret af Alex Graves. CTC tillod et RNN (recurrent neural network) at lære justeringer mellem lyd og outputtekst af sig selv, uden behov for forsegmenterede træningsdata. I 2014 demonstrerede Graves og kolleger et CTC-baseret RNN, der kunne transskribere tale til tegn direkte. I det væsentlige lærte netværket at »lytte« og stave sætningen ét tegn ad gangen og håndterede de variable længder og timing internt. Dog havde de tidlige CTC-modeller en ulempe: de antog uafhængighed mellem outputtegn, hvilket betød, at de stadig var afhængige af en ekstern sprogmodel for at rette det endelige output (for at sikre, at sætningen gav mening). De lavede nogle gange fjollede stavefejl eller producerede volapyk uden den ekstra hjælp.
Det næste spring kom med opmærksomhedsbaserede sekvens-til-sekvens-modeller. I 2016 introducerede forskere fra både akademia og industri (f.eks. ved Carnegie Mellon, Google Brain og University of Montreal) systemer med en encoder-decoder-arkitektur, der anvender en opmærksomhedsmekanisme. Denne tilgang, som med rette blev døbt "Listen, Attend and Spell", havde et encodernetværk, der bearbejdede inputlyden til en højniveau-funktionsrepræsentation, og derefter et decodernetværk, der retter opmærksomheden mod encoderens output og genererer teksttegn ét ad gangen – og dermed effektivt "staver" den genkendte tale. Opmærksomhedsmekanismen lod modellen dynamisk fokusere på forskellige dele af lyden, efterhånden som den producerede hvert tegn, hvilket er lidt som en menneskelig transskribent, der lytter og skriver samtidig og holder styr på, hvor de er. Disse opmærksomhedsbaserede modeller krævede ikke et separat udtaleleksikon eller sprogmodel; de kunne teoretisk set lære alt fra den rå lyd-til-tekst-mapping. Ved udgangen af 2016 havde sådanne modeller matchet og endda overgået de CTC-baserede systemer på nogle benchmarks. Og vigtigt: en end-to-end-model er nemmere at implementere – du behøver for eksempel ikke at have en 5 GB n-gram-sprogmodel på din telefon. Dette gjorde det for første gang praktisk at tænke på talegenkendelse på enheden, hvilket er attraktivt for privatliv og offline brug.
Siden da har vi set fortsatte forbedringer: varianter som RNN-Transducere (som kombinerer ideer fra CTC og opmærksomhed) og anvendelsen af nyere neurale arkitekturer som Convolutional Neural Networks (CNN'er) og Transformers til tale. For eksempel annoncerede NVIDIA i 2019 end-to-end-modeller (med fængende navne som Jasper og QuartzNet), der var yderst optimeret med CNN-lag og opnåede ordfejlprocenter omkring 3% på visse testsæt. Sådanne tal nærmer sig det punkt, hvor de sidste få fejl måske endda skyldes, at den menneskelige transskription havde fejl! Desuden er transformer-baserede modeller med self-attention (berømte for at revolutionere tekstbehandling) blevet anvendt på tale med stor succes og har givet os hurtigere og endnu mere præcise systemer i 2020'erne.
En anden moderne trend er at udnytte ikke-superviseret og semi-superviseret læring. Nyere systemer som Facebooks wav2vec 2.0 (for at nævne et eksempel) kan lære af umærket lyd ved i praksis at lytte til millioner af timers tale uden transskriptioner og lære lydens struktur. Derefter finjusterer de med en mindre mængde mærkede data for at udføre transskription. Dette løser et centralt problem: de fleste af verdens sprog har ikke store transskriberede datasæt at træne på. Self-superviseret læring og transfer learning gør det muligt at tilpasse en model, der er trænet på ét sprog (eller på generel lyd), til et andet sprog eller et specielt domæne med langt mindre data. Dette er afgørende for at udbrede højkvalitets-talegenkendelse ud over de store sprog og til flere anvendelser.
I dag er talegenkendelse virkelig en del af hverdagen. Den er i vores lommer, vores køkkener, vores biler og taler endda tilbage til os. Virtuelle assistenter bruger den til at sætte timere og besvare spørgsmål; dikteringssoftware transskriberer møder og lægens noter; kundeservicebotter triagerer opkald; stemmestyrede dimser er overalt. Deep learning-tilgangen har gjort genkendelse både ultrapålidelig og i realtid. Mange systemer kører nu helt på enheden (ingen internetforbindelse nødvendig) for hastighed og privatliv, mens andre bruger skyen til at håndtere tung behandling og forbedre sig løbende. Faktisk spiller moderne skybaserede taletjenester ofte en dobbeltrolle: de tjener brugeren ved at konvertere tale til tekst, og de lærer også af brugeren (anonymt) ved at tilføje den lille lydsnutt og dets resultat til stadigt voksende træningsdata. Hver gang du bruger stemmediktering eller taler til Alexa, er der god chance for, at dataene hjælper med at forfine modellerne bag kulisserne. På en måde er dagens talegenkendere aldrig færdige med at lære – de forbedres en lille smule med hver stemme, de hører, meget ligesom et menneske, der får erfaring.
Selvfølgelig er rejsen ikke forbi. På trods af utrolige fremskridt består udfordringerne. Menneskets sprog er vidunderligt mangfoldigt, og AI har nogle gange svært ved det. Kraftige regionale accenter eller dialekter kan stadig narre et system, der ikke er trænet på dem. Baggrundsstøj og situationer med flere talere (som at transskribere en livlig middagssamtale) er stadig vanskelige scenarier. Og selvom en håndfuld store sprog (engelsk, mandarin, spansk osv.) nyder godt af næsten state-of-the-art-genkendelse, er der tusindvis af sprog (og mange flere dialekter), for hvilke god talegenkendelse endnu ikke er tilgængelig. Den næste grænse er at udvide teknologien til alle mennesker og alle sprog, muligvis ved at opbygge mere inkluderende datasæt eller bruge tværsproglige læringsteknikker.
Ikke desto mindre giver talegenkendelsens bane rigelig grund til optimisme. I løbet af 70+ år gik vi fra en maskine, der knap nok genkendte ti isolerede cifre, til software, der kan transskribere flydende tale med 95–99% nøjagtighed i realtid. Hver æra byggede på den foregående: de tidlige opfindere beviste, at tale kunne opfanges; DARPA-æraen introducerede kraften i probabilistisk modellering; 1980'erne cementerede statistiske algoritmer til skala; 1990'erne gjorde det tilgængeligt for forbrugerne; og 2010'erne indvarslede læringsmaskiner, som endelig knækkede koden til ydeevne på menneskeligt niveau. Det er en historie om vedvarende innovation, hvor fremskridt ofte sker i ryk og stød – langsomme årtier med forskning efterfulgt af pludselige spring, når databehandling eller algoritmer indhentede det.
Fra Audrey til Siri, fra isolerede ord til hele samtaler har talegenkendelse udviklet sig til en moden, uundværlig teknologi. Og den udvikler sig stadig – efterhånden som vores enheder fortsætter med at lytte (og vi håber, forstå), bliver oplevelsen bedre bit for bit. Vi har måske endnu ikke Star Treks fuldt samtalende computer på stjerneskibet Enterprise, men vi er tættere på end nogensinde. Som en ekspert rammende bemærkede, er nutidens AI-talesystemer "lige så dynamiske og kreative, som menneskelige sprog selv er", og de lærer og tilpasser sig kontinuerligt, mens vi taler til dem. Med andre ord er historien om talegenkendelse langt fra forbi – men sikke en historie det har været indtil nu.
Yderligere læsning og kilder
-
Computer History Museum. "Timeline of Speech Recognition Milestones" (Artikel)
-
Pierce, J.R. "Whither Speech Recognition?" – The Journal of the Acoustical Society of America (1969)
-
Zhou, B. "Speech Recognition: From Research to Practice" – Stanford EE 292C Lecture Notes (2017)
-
Jelinek, F. "Statistical Methods for Speech Recognition" – MIT Press (1997)
-
Schmidhuber, J. "Deep Learning in Neural Networks: An Overview" – Neural Networks (2015)
-
IBM Archives. "IBM Shoebox: Voice-Activated Calculator Demo" (Historisk udstilling)
-
Rabiner, L. & Juang, B.H. "Fundamentals of Speech Recognition" – Prentice Hall (1993)
-
Meeker, M. "Internet Trends Report" – Kleiner Perkins (2017)
-
Norvig, P. "Om Chomsky og de to kulturer inden for statistisk læring" – The Atlantic (2011)
-
Hinton, G. et al. "En hurtig læringsalgoritme til dybe belief-netværk" – Neural Computation (2006)
-
Glass, J. "Et historisk perspektiv på talegenkendelse" – MIT Spoken Language Systems (2003)
-
Hannun, A. et al. "Deep Speech: Skalering af end-to-end talegenkendelse" (arXiv-artikel, 2014)
-
LeCun, Y., Bengio, Y., & Hinton, G. "Deep learning" – Nature (2015)
-
Hinton, G. et al. "Deep Belief Networks til akustisk modellering" (PDF artikel, 2012)
