Fra Audrey til dyp læring: Talegjenkjenningens episke historie

Få teknologier har reist en så kronglete vei som talegjenkjenning. Tiår før vi uanstrengt ba smarttelefoner om været, drømte science fiction om snakkende datamaskiner – fra Star Trek-mannskapet som samtalte med romskipet sitt, til HAL 9000 i 2001: En romodyssé. Å gjøre den fantasien til virkelighet krevde generasjoner av forskere, jevne gjennombrudd og enkelte trossprang. Tale kan føles magisk, men bak ligger en historie om tidlige eksperimenter, statlig støttede satsinger, statistiske revolusjoner og fremveksten av dyp læring. Dette innlegget utforsker den reisen epoke for epoke – de viktigste teknikkene, menneskene, selskapene og milepælene som brakte oss fra en klumpete talegadget på 1950-tallet til den nesten menneskelige nøyaktigheten til dagens AI-systemer.
Tidlige drømmer og de første snakkende maskinene (1950–1960)
Talegjenkjenning-forskning startet egentlig på 1950-tallet, selv om ønsket om å kommunisere med maskiner er enda eldre. Bell Laboratories ledet an i 1952 ved å lage en enhet med det sjarmerende navnet «Audrey» (Automatic Digit Recognizer). Bell Labs' Audrey (1952) var en banebrytende talegjenkjenningsmaskin som kunne gjenkjenne talte tall 0 gjennom 9 – riktignok bare med én stemme (skaperens egen) og ved hjelp av et enormt analogt kretsoppsett. Audrey var imponerende for sin tid: den oppnådde rundt 90% nøyaktighet med oppfinnerens stemme, men ytelsen falt for andre talere. Systemet måtte «lære» litt for hver ny brukerstemme og var langt fra praktisk – det var høyere enn en person, fylt med vakuumrør og brukte mye strøm. Likevel beviste Audrey at en maskin kunne lytte til menneskelig tale på en begrenset måte, og gjenkjenne et enkelt ordforråd (tallene null til ni).
IBMs «Shoebox»-demonstrasjon (1962) viste en tidlig stemmestyrt kalkulator som gjenkjente 16 talte ord (tall og grunnleggende kommandoer). Et tiår etter Audrey avduket IBM sin Shoebox på verdensutstillingen i 1962 – en dings som kunne forstå tallene 0–9 og noen få kontrollord («pluss», «minus», «total» osv.). Shoebox var i hovedsak en stemmestyrt addisjonsmaskin. Over hele verden dukket lignende eksperimenter opp: forskere i England, Japan og andre steder bygde prototypsystemer som kunne gjenkjenne et svært begrenset sett med stavelser eller ord. Mot slutten av 1960-tallet hadde noen laboratorier maskinvare som gjenkjente et lite sett med fonetiske elementer (for eksempel en håndfull vokaler og konsonanter) som et springbrett til ord.
Disse tidlige systemene var hardkodede og oppgavespesifikke. De fungerte vanligvis bare for isolerte ord (ett om gangen, med pauser imellom), og ofte bare for taleren som trente dem. På slutten av 1960-tallet våget en lys ung forsker ved navn Raj Reddy – den gang doktorgradsstudent ved Stanford – å ta fatt på en større utfordring: å få en datamaskin til å forstå kontinuerlig tale uten pauser. Ved hjelp av en av de første DEC PDP-1-datamaskinene med spesielle analog-til-digital-omformere bygde Reddy en rudimentær vokalgjenkjenner og var banebrytende for teknikker for kontinuerlig talegjenkjenning. Arbeidet hans antydet en fremtid der man ikke trengte å…snakke…slik…for å bli forstått av en maskin. Likevel var teknologibegrensningene på 1950–60-tallet alvorlige: svært få transistorer eller minne til å håndtere flommen av data som tale genererer, og ingen enighet ennå om hvordan man programmerer en maskin til å dekode kompleksiteten i menneskelig språk. Men alt dette var i ferd med å endre seg med et dytt fra en ny sponsor: det amerikanske forsvarsdepartementet.
1970-tallet: Forsvarsfinansiering og den statistiske vendingen
I 1971 lanserte DARPA (Defense Advanced Research Projects Agency) et dristig femårsprogram for å fremskynde fremgangen innen taleforståelse. Målet var ambisiøst – et system som kunne gjenkjenne minst 1,000 ord (omtrent ordforrådet til en 3-åring) innen midten av 1970-tallet. Flere toppinstitusjoner, inkludert Carnegie Mellon University (der Raj Reddy hadde blitt professor), fikk midler til å utforske ulike tilnærminger. På denne tiden konkurrerte to filosofier for talegjenkjenning:
-
Malmatching: Én tilnærming lot datamaskinen lagre innspilte maler av ord og forsøke å matche innkommende talelyder til disse malene. Siden folk snakker i ulikt tempo, ble en teknikk kalt dynamisk tidsforvrengning brukt for å strekke eller krympe tidsaksen til de innspilte mønstrene for å tilpasse seg den nye inndataen. Tenk på det som et fonetisk matching-spill – hvis den innkommende «hei»-bølgeformen så ut som en hastighetsendret versjon av en lagret «hei», ble den gjenkjent. Dette fungerte OK for svært små vokabularer, men slet når vokabularene vokste eller talen varierte.
-
Regelbasert AI med språklig kunnskap: En annen tilnærming forsøkte å inkorporere menneskelig kunnskap om språk. Forskere skrev komplekse språklige regler – fonetiske regler for lyder, leksikalske regler for ord, syntaktiske regler for setninger, etc. – for å styre gjenkjenningen. Systemet ville analysere tale på flere nivåer og forsøke å «gjette» den beste tolkningen ved å anvende disse reglene, noe som lignet et ekspertsystem. Dette var intellektuelt tiltalende, da det speilet hvordan en lingvist kan nærme seg problemet, men det var ekstremt vanskelig å bygge et komplett sett med regler for tale i den virkelige verden.
Tidlig trodde mange eksperter at bare ved å bygge inn språklig intelligens kunne talegjenkjenning forbedres. Imidlertid begynte en grunnleggende innsikt fra informasjonsteorien å vippe vekten mot en annen tilnærming. Claude Shannon, informasjonsteoriens far, hadde demonstrert forutsigbarheten i språk gjennom et berømt eksperiment i 1951. Han lot sin kone Betty Shannon prøve å gjette tekst én bokstav om gangen fra en roman – når noen få bokstaver var kjent, kunne Betty nøyaktig forutsi mange av de gjenværende bokstavene og ordene. Dette viste at menneskelig språk er svært redundant og statistisk – visse lyder og ord er langt mer sannsynlige gitt konteksten av det som kom før. For talegjenkjenning betydde dette at en datamaskin kunne utnytte sannsynlighet og kontekst for å begrense mulighetene for hva en person sa, i stedet for å stole utelukkende på bokstavelig bølgeformmatching eller håndlagde regler.
Å omfavne denne ideen var opprinnelig kontroversielt – det virket «kontraintuitivt» for noen ingeniører som foretrakk eksplisitt AI-resonnement. Men etter hvert som DARPA-prosjektene skred frem, begynte de statistikkbaserte metodene å skinne. Carnegie Mellons team, for eksempel, bygde et system kalt Harpy som oppnådde målet om et vokabular på 1,000 ord innen 1976. Harpy introduserte en teknikk kalt strålesøk for effektivt å søke gjennom mulige ordsekvenser og vurdere hvilke som ga mening i kontekst. I hovedsak kunne Harpy gjenkjenne hele setninger og bruke en språkmodell (en statistisk modell av ordsekvenser) til å bestemme mellom tvetydige lydtolkninger. Dette var et enormt sprang: Harpy kunne forstå ikke bare isolerte ord, men kontinuerlig tale i setninger, begrenset til sitt vokabular. Dets leksikon på 1,011 ord og smarte dekodingsstrategi var sammenlignbare med evnene til et lite barn – en treåring som aldri blir distrahert.
Samtidig jobbet en ung forsker ved navn James «Jim» Baker (og hans kone Janet Baker) med et annet DARPA-finansiert prosjekt ved CMU. I 1974 utviklet de DRAGON-systemet, som tok det dristige skrittet å bruke rent statistisk modellering for tale. Jim Bakers doktoravhandling i 1975 introduserte bruken av skjulte Markov-modeller (HMM-er) for talegjenkjenning – et sannsynlighetsrammeverk som behandler talelyder som en sekvens av statistiske tilstander. I et HMM-basert system forsøker man ikke å matche en innspilt mal nøyaktig. I stedet blir datamaskinen trent på eksempeldata for å estimere sannsynlighetene for at visse lyder eller ord forekommer i sekvens. Hvis det høres abstrakt ut, er et intuitivt eksempel: tenk deg at du prøver å forstå en venns dempede tale ved å vurdere hvilke ord de sannsynligvis sier i kontekst. HMM-er ga talegjenkjenning en kraftfull matematisk måte å gjøre nettopp det på – å modellere usikkerheten i lyder og bestemme den mest sannsynlige ordsekvensen. Bakers Dragon-system demonstrerte at storvokabular kontinuerlig talegjenkjenning var mulig med denne statistiske tilnærmingen. Dette var et vendepunkt: det viste at man kunne «lære» maskinen ved hjelp av data og sannsynligheter, i stedet for å programmere den med endeløse språklige regler.
Flere andre bemerkelsesverdige systemer kom ut av DARPA-innsatsen 1971–76. Hearsay-II, for eksempel, utforsket en hybrid «tavle»-arkitektur der flere kunnskapskilder (akustisk fonetikk, syntaks, semantikk osv.) samarbeidet om å dekode tale, og skrev sine delvise hypoteser på en virtuell tavle slik at andre kunne forbedre dem. Dette var et tidlig forsøk på å kombinere de statistiske og kunnskapsbaserte tilnærmingene – selv om det var elegant, var det komplekst og beregningsmessig tungt for sin tid. Ved slutten av 1970-tallet hadde feltet, takket være disse prosjektene, bevist at maskinforståelse av talt språk var gjennomførbart, i det minste i begrensede domener. Men ytelsen var fortsatt langt fra perfekt, og utenfor laboratoriet var disse systemene ennå ikke praktiske. Scenen var imidlertid satt for raske forbedringer etter hvert som datakraften vokste i de kommende tiårene.
1980-tallet: Skjulte Markov-modeller tar over
1980-tallet så talegjenkjenning bevege seg avgjørende mot statistiske metoder, spesielt skjulte Markov-modeller. En stor katalysator var nok en runde med amerikanske myndigheters investering i taleforskning fra og med 1984, kombinert med opprettelsen av standarddatasett og evalueringsbenchmarks. Organisasjoner som National Institute of Standards and Technology (NIST) koordinerte årlige tester på felles databaser, noe som ansporet konkurranse og målbar fremgang blant forskningsgrupper (ved CMU, SRI, BBN, MIT, Bell Labs og andre). For første gang snakket alle samme språk – bokstavelig talt ved å bruke de samme testkorpusene – noe som muliggjorde direkte sammenligning av teknikker og rask iterasjon.
I denne perioden ble algoritmer for skjulte Markov-modeller (HMM) den dominerende teknologien for talegjenkjenning. HMM-er viste seg å være en perfekt match for den sekvensielle, variable naturen til tale. Ved å dele opp talte ord i rammer (små tidsbiter) og statistisk modellere sannsynligheten for ulike lyder og overganger, kunne HMM-baserte systemer «lære» akustiske mønstre fra data. Like viktig var det at de kunne inkorporere språkmodeller – sannsynligheter for ordsekvenser – for å gjøre sammenhengende transkripsjonsgjetninger. Resultatet var et stort sprang i vokabularstørrelse og nøyaktighet: fra noen få hundre ord på 1970-tallet til flere tusen ord midt på 1980-tallet. For eksempel, hos IBM, omfavnet et team ledet av Fred Jelinek den probabilistiske tilnærmingen helhjertet. De utviklet et system med kodenavnet Tangora, rettet mot kontordiktering, som ifølge rapportene innen 1985 kunne gjenkjenne et vokabular på 20,000 ord ved hjelp av HMM-er og bigram-/trigram-språkmodeller. (Tangora var passende oppkalt etter en amerikansk skrivehastighetsmester, noe som understreket IBMs mål om å oppnå rask og effektiv diktering.)
I mellomtiden forlot Bakerne (Jim og Janet) akademia for å kommersialisere ideene sine. De grunnla Dragon Systems i 1982, fast bestemt på å bringe talegjenkjenning til reelle produkter. En tidlig suksess kom da Dragons programvare ble lisensiert til Apricot-PC-en i 1984 – noe som gjorde den britiskproduserte Apricot-datamaskinen til den første personlige datamaskinen med innebygd talegjenkjenning. Dette var primitivt etter dagens standarder (systemet håndterte sannsynligvis et lite kommandosett), men det signaliserte starten på at taleteknologi beveget seg fra forskningslaboratorier til markedet.
En stor gjennombrudd på slutten av 1980-tallet var å oppnå taleruavhengig gjenkjenning – systemer som ikke lenger måtte trenes omfattende på en bestemt brukers stemme. I 1987 utviklet Kai-Fu Lee, en doktorgradsstudent under Raj Reddy, CMU Sphinx, som regnes som det første taleruavhengige systemet for gjenkjenning av kontinuerlig tale. Sphinx kombinerte det beste fra forrige tiårs innovasjoner: det brukte Bakers' HMM-algoritmer og beam search-strategien fra Harpy, men nå kunne ett system håndtere mange stemmer uten individuell trening. Dette var avgjørende; kravet om at brukere måtte bruke timer på å trene opp et system hadde vært en enorm barriere for praktisk bruk. (Før Sphinx trengte noen systemer at du gjentok tusenvis av ord for å trene dem – et vanskelig salg for forbrukere!) Med taleruavhengighet kom visjonen om et generelt brukbart talegrensesnitt mye nærmere. Mot slutten av 1980-tallet hadde vokabularet til ledende systemer vokst enormt, kontinuerlig tale med moderat grammatikalsk kompleksitet var mulig, og feilratene fortsatte å synke sakte. Det som en gang var en DARPA-storutfordring på 1,000 ord, hadde vokst til 20,000+ ord i vokabular, og gjenkjenningen nærmet seg normale menneskelige talehastigheter.
Det er verdt å merke seg at noen forskere i bakgrunnen på 1980-tallet eksperimenterte med en helt annen tilnærming: kunstige nevrale nettverk. Tidlige nevrale nettverksmodeller (som time-delay neural nets og Boltzmann-maskiner) ble prøvd på småskala talepgaver, som fonemgjenkjenning, i denne perioden. Faktisk utviklet Geoffrey Hinton og andre backpropagation-algoritmen på midten av 1980-tallet, som i teorien kunne trene flerlags nevrale nettverk til å klassifisere komplekse mønstre. På den tiden klarte imidlertid ikke nevrale nettverk ennå å velte de rådende HMM-ene. Årsakene var praktiske: begrenset datakraft og knapphet på data gjorde det vanskelig for nevrale nett å skinne utover små demonstrasjoner. Som en AI-historie bemerket, gikk nevrale nett gjennom sykluser med hype på 60- og 80-tallet, men falt inn i «AI-vintre» når de ikke kunne innfri forventningene med datidens maskinvare. Gjennom 1980-tallet forble derfor aktiviteten innen talegjenkjenning sentrert rundt nøye konstruerte statistiske modeller og ekspertbasert funksjonsutforming. Og det arbeidet gav avkastning da vi gikk inn i 1990-tallet – tiåret da talende maskiner endelig begynte å nå forbrukermarkedet.
1990-tallet: Fra laboratorium til forbruker (å bryte stillheten)
Tidlig på 1990-tallet var talegjenkjenning i ferd med å gå fra å være et nisjeforskningsemne til noe som kunne pakkes som et kommersielt produkt. Personlige datamaskiner hadde blitt raske nok til å kjøre enklere talemotorer i sanntid, og selskaper så potensial i dikteringsprogramvare og stemmestyrte grensesnitt. Den første produktbølgen kom imidlertid med betydelige begrensninger. I 1990 lanserte Dragon Systems Dragon Dictate, omtalt som det første talegjenkjenningsproduktet for forbrukere. Det kjørte på en high-end PC og lot en bruker skrive inn tekst med stemmen … men det var en hake: du måtte snakke ett… ord… om… gangen, med bevisste pauser mellom hvert ord. Denne «diskret tale»-modusen var nødvendig på grunn av begrenset prosessorkraft og mindre avanserte modeller – kontinuerlig tale var for vanskelig å håndtere i sanntid på en PC fra den æraen. Til tross for denne unaturlige stilen var det for noen brukere (spesielt de som ikke lett kunne bruke et tastatur) revolusjonerende å i det hele tatt kunne forfatte tekst med stemmen.
Gjennom hele 1990-tallet kom det raske forbedringer både innen algoritmer og databehandling. Forskere foredlet HMM-modellene sine, la til bedre metoder for funksjonsuttrekk (som MFCC – mel-frequency cepstral coefficients – som fanger opp de klanglige egenskapene ved tale), og brukte større treningskorpus. Datamaskiner, i tråd med Moores lov, ble drastisk raskere og kunne håndtere mer komplekse beregninger. Mot midten av 90-tallet ble drømmen om kontinuerlig, naturlig taleinndata på en PC realisert. I 1997 lanserte Dragon Systems Dragon NaturallySpeaking, som for første gang lot brukere diktere på en normal, flytende måte – opptil 100 ord i minuttet – uten å ta pauser mellom ordene. Det var ikke perfekt (brukerne måtte fortsatt gjennom en innledende opplæring, og programvaren fungerte best hvis man snakket tydelig og noenlunde jevnt), men det var et gjennombrudd innen brukervennlighet. I sitt første år var NaturallySpeaking et kjempeprodukt, noe som indikerte en sterk etterspørsel etter talestyring til tross for de gjenstående særhetene. (Ikke mer belastningsskade fra å skrive lange dokumenter – nå kunne du få det av å snakke til datamaskinen!)
NaturallySpeaking var ikke alene. IBM hadde også vært aktive og utnyttet sin lange historie på feltet. I 1996 lanserte IBM MedSpeak, et produkt for kontinuerlig talegjenkjenning skreddersydd for leger (for å diktere medisinske notater) – omtalt som det første kommersielle systemet for kontinuerlig tale for et spesifikt domene. IBM fulgte snart opp med et generelt forbrukerprodukt kjent som IBM ViaVoice. I mellomtiden integrerte også Microsoft og Apple grunnleggende talegjenkjenning i operativsystemene sine. Apple hadde en funksjon kalt PlainTalk (og et grensesnitt kjent som «Speakable Items») mot midten av 90-tallet som lot brukere utføre enkle talekommandoer på en Macintosh. Microsoft tilbød en Speech SDK for Windows og i 2000 bygde de talegjenkjenning inn i Office XP, og senere i Windows selv (Windows Vista i 2007 ble levert med forbedret innebygd talegjenkjenning). Disse innebygde systemene var ofte vanskelige og lite brukt av forbrukere, men de signaliserte at talestyring var i ferd med å bli en standardfunksjon snarere enn en sci-fi-nyhet.
En annen viktig utvikling på 90-tallet var bruken av talegjenkjenning i telefontjenester. Etter hvert som telefonlinjene ble digitale og databehandling ble billigere, begynte selskaper å ta i bruk automatiserte taletjenester. I 1996 introduserte BellSouth (en regional teleoperatør) en «voice portal»-tjeneste der kunder kunne ringe inn og navigere i menyer eller få informasjon ved å si kommandoer. Hvis du noen gang har snakket med et telefontre («Vennligst si eller trykk 1 for fakturering…»), har du opplevd arven fra disse innovasjonene på 90-tallet. Tidlige telefonbaserte systemer hadde begrenset vokabular (ofte bare tall eller ja/nei, eller en fast liste med alternativer), men de viste at talegjenkjenning kunne håndtere oppgaver som å rute samtaler og hente informasjon hands-free. Disse Interactive Voice Response (IVR)-systemene spredte seg, og innen 2000-tallet brukte mange selskaper dem for å automatisere kundeservice – noen ganger til kundenes frustrasjon, men også for å redusere ventetider for enkle forespørsler.
Ved slutten av 1990-tallet kunne det fremste innen talegjenkjenning vise imponerende tall for tiden: vokabularstørrelser på titusenvis av ord, taleruavhengig kontinuerlig talefunksjonalitet, og ordfeilrater som jevnt falt. Likevel kunne en typisk brukeropplevelse innebære en nøyaktighet på mellom 80–95% under gode forhold. Faktisk var gjennomsnittlig nøyaktighet for generell tale rundt 2001 bare omtrent 80% – noe som betyr at ett av fem ord ville bli feilgjenkjent uten nøye uttale eller korrekturlesing. Det nøyaktighetsnivået var ikke tilstrekkelig for mange applikasjoner (tenk deg å måtte rette hvert femte ord i en transkripsjon), noe som betydde at taleteknologi, selv om den var mye forbedret, ennå ikke helt hadde «ankommet» som et allestedsnærværende grensesnitt. Mange utfordringer gjenstod: støyende omgivelser ville få systemene til å feile, det samme ville sterkt aksentert tale eller rask naturlig samtale. Drømmen om feilfri talegjenkjenning på menneskelig nivå var fortsatt i horisonten. Lite visste vi at en ny tilnærming i det kommende tiåret endelig skulle presse ytelsen til det unnvikende nivået.
2000-tallet: Big Data og den langsomme klatringen mot bedre nøyaktighet
2000-tallet var en litt blandet opplevelse for talegjenkjenning. På den ene siden ble teknologien mer tilgjengelig – innebygd i operativsystemer, brukt i callsentre, tatt i bruk i nisjemarkeder som medisinsk transkripsjon. På den annen side føltes fremgangen trinnvis. Gjennom mesteparten av tiåret var det ingen fundamentale gjennombrudd i likhet med introduksjonen av HMM-er på 70-tallet eller de store sprangene på 80-tallet. I stedet reduserte jevne ingeniørforbedringer gradvis feilratene. Ved 2001, som nevnt, lå typisk nøyaktighet rundt 80% for ubegrenset diktering. Å presse det tallet høyere viste seg vanskelig med de eksisterende tilnærmingene.
Imidlertid la flere trender på 2000-tallet grunnlaget for den kommende revolusjonen:
-
Datakraft og skykonnektivitet: Personlige datamaskiner ble stadig raskere, men enda viktigere var fremveksten av internett og skycomputing på midten av 2000-tallet. Dette betydde at talegjenkjenning kunne gjøres på kraftige servere i stedet for på brukerens enhet. I stedet for å være begrenset av CPU-en på hjemme-PC-en eller den tidlige smarttelefonen, kunne enheter ta opp stemmen din, sende den over nettverket og få tilbake den gjenkjente teksten fra en kraftig serverfarm. Denne avlastningen av beregninger var avgjørende. For eksempel lanserte Google i 2008 en gratis telefontjeneste kalt GOOG-411 og like etter en smarttelefonapp for talesøk. Når du sa en forespørsel inn i Google-appen, ble stemmen din sendt til Googles datasentre, hvor gjenkjenningen fant sted. Skybasert tilnærming gjorde det mulig å bruke enorme databehandlingsressurser og datasett, langt utover hva noen enkelt enhet kunne håndtere på den tiden.
-
Dataeksplosjon: Den andre fordelen selskaper som Google hadde, var data – massevis av data. Gjennom 2000-tallet indekserte Google nettet og lærte også i det stille fra teksten i milliarder av søk. All den teksten – billioner av ord – bidro til å trene bedre språkmodeller. Mot slutten av 2000-tallet var Googles engelske talegjenkjenningssystem støttet av en språkmodell som omfattet 230 milliarder ord med virkelige forespørsler og tekst. Dette betydde at når du sa noe tvetydig, hadde systemet en enorm statistisk kunnskap om hvilke fraser eller ordsekvenser som er sannsynlige. For eksempel «vet» den at «New York» er langt vanligere enn «gnue fork», så selv om akustikken er litt uklar, veileder språkmodellen den til riktig tolkning. Denne big data-tilnærmingen begynte å gi talegjenkjenning et merkbart løft i nøyaktighet under oppgaver som talesøk, hvor kontekst og sannsynlighet betyr mye.
-
Mobile enheter og stemmeassistenter: Mot slutten av tiåret dukket et nytt paradigme opp – stemme som grensesnitt for mobiltelefoner. Tidlige smarttelefoner og PDA-er hadde små skjermer og bittesmå knapper, så stemmeinndata var attraktivt. Apples iPhone (2007) populariserte den moderne smarttelefonen, og ikke lenge etter kom stemmen på kjøpet. I 2011 introduserte Apple Siri, den stemmestyrte assistenten på iPhone. Siri kunne ikke bare gjenkjenne tale, men også tolke brukerens intensjon (takket være teknikker for naturlig språkforståelse) og utføre oppgaver som å sende meldinger eller hente informasjon. Siri ble raskt fulgt av Googles egen stemmeassistent og til slutt Amazons Alexa i 2014 (som bodde i Echo, en frittstående smart høyttaler). Plutselig gikk det å snakke til en maskin fra å være en nisjeaktivitet til å bli en mainstream forbrukeropplevelse – millioner av mennesker ba telefonene sine om veibeskrivelse eller de smarte høyttalerne sine om å spille musikk. Denne økningen i bruk på 2010-tallet ga enda mer data og skapte en god sirkel: flere brukere som snakket betydde mer data for å forbedre systemene, noe som igjen gjorde dem mer nøyaktige og nyttige og tiltrakk seg enda flere brukere.
Ved slutten av 2000-tallet hadde talegjenkjenning utvilsomt blitt bedre – men det virkelige gjennombruddet gjenstod. Mange i fagfeltet følte at fremgangen hadde flatet ut med de eksisterende teknikkene (HMM-er med nøye konstruerte trekk og språkmodeller). Feilratene satt fast i 10–20%-området for vanskelige oppgaver. Det var en følelse av at en fundamentalt ny tilnærming kunne være nødvendig for å komme den siste milen til menneskelig ytelse. Som det viste seg, var frøene til den nye tilnærmingen allerede plantet – i form av dype nevrale nettverk, som var i ferd med å gjøre en spektakulær tilbakekomst på 2010-tallet.
Tidlig dyp læring-revolusjon (2010-tallet): Nevrale nettverk slår tilbake
Året 2009 blir ofte nevnt som et vendepunkt i talegjenkjenning. Etter år i dvale gjorde nevrale nettverksmodeller en bråkete retur – denne gangen utstyrt med langt større datakraft og datamengder enn på 1980-tallet. Et team av forskere ledet av Geoffrey Hinton demonstrerte at en ny type dype nevrale nettverk (DNN-er) kunne overgå de gamle metodene betydelig på talegjenkjenningsoppgaver. De oppnådde dette ved å bruke dyp læring: nevrale nettverk med mange lag av kunstige nevroner, trent på svært store datasett. Hvordan overvant de de tidligere begrensningene? Enkelt sagt hadde tre ting endret seg:
-
Uovervåket forhåndstrening: Hinton og kolleger introduserte en måte å «forhåndstrene» dype nettverk ett lag om gangen ved hjelp av Restricted Boltzmann Machines (RBMs) – i praksis å lære hvert lag å trekke ut nyttige egenskaper fra lyddataene før finjustering av hele nettverket. I 2009 viste de at stablet disse RBM-ene kunne gi dramatiske forbedringer i talenøyaktighet. Dette smarte treningstrikset bidro til å løse problemet med hvordan man effektivt trener svært dype nettverk (som tidligere var svært vanskelig på grunn av problemer som forsvinnende gradienter).
-
Mer data: Innen 2010 var det langt mer digitale lyddata tilgjengelig for trening – timevis med transkribert tale fra prosjekter, arkiver og nettet. Dyp læring trives med store data. Jo flere eksempler nettverket kan lære av, jo bedre kan det justere de mange parameterne sine. Denne datatilgjengeligheten var noe pionerene på 80-tallet rett og slett ikke hadde.
-
Større datakraft (spesielt GPU-er): På 2010-tallet eksploderte bruken av grafikkprosessorer (GPU-er) til generell databehandling. GPU-er viste seg å være utmerkede for den typen parallelle, matriseintensive beregninger som nevrale nettverk krever. Dette betydde at det som pleide å ta uker på en CPU på 90-tallet, kunne gjøres på timer på en GPU-klynge innen 2010. Som en analyse uttrykte det, muliggjorde kombinasjonen av forbedrede algoritmer, massive treningsdata og kraftige prosessorer at dyp læring endelig ble praktisk på bransjenivå.
Innvirkningen på talegjenkjenning var umiddelbar og dyp. I stedet for møysommelig å designe funksjoner som MFCC-er, kunne forskere mate relativt rå lydspektrogrammer inn i et dypt nevralt nett, og nettverket ville lære sine egne funksjoner – subtile representasjoner av talelyder optimalisert for gjenkjenning. Disse dype modellene begynte å overgå de tradisjonelle HMM-systemene med gaussisk miksturmodell med betydelig margin. I noen tilfeller falt feilratene med 20–30% relativt over natten når man byttet til en DNN-basert akustisk modell.
Rundt 2012 hadde både Microsoft og Google tatt i bruk dype nevrale nettverk i sine produksjonssystemer for talegjenkjenning for oppgaver som talesøk. Resultatene var merkbare for brukerne – plutselig var smarttelefonen eller dikteringsprogramvaren din mye bedre til å forstå deg. Forskere hos Microsoft rapporterte at overgangen til et dypt nevralt nettverk for akustisk modellering nesten halverte feilraten deres på en krevende referansetest. Google bemerket på samme måte et betydelig nøyaktighetshopp i Androids talekommandoinndata rundt den tiden, takket være DNN-er. De gamle HMM-systemene ble ikke fullstendig kastet ut – i utgangspunktet var den mest effektive oppskriften en hybrid tilnærming: bruk en DNN til å estimere sannsynlighetene for fonemer (grunnleggende lydenheter) fra lyd, og mate disse inn i et HMM-rammeverk som fortsatt håndhevet tidsmessig sekvensering og var knyttet til en språkmodell. Denne hybride DNN-HMM-tilnærmingen dominerte første halvdel av 2010-tallet og ble tatt i bruk i praktisk talt alle store taletjenester.
Tallene forteller historien. Rundt 2015 nærmet ordfeilratene (WER) på standardtester som Switchboard (et korpus med ekte telefonsamtaler) seg enkeltsifrede tall. I 2016 kunngjorde IBM at de hadde oppnådd en WER på 6.9%, som var rekordlavt på den tiden. Bare ett år senere rapporterte Microsoft at de nådde 5.9%, som de hevdet var omtrent på nivå med profesjonelle menneskelige transkriberere (for den testen). Kort tid etter svarte IBM med 5.5%, og deretter drev Microsoft og andre den enda lenger ned. Ved 2017 hadde Microsoft nådd omtrent 5.1% feil – i praksis oppnådd det de kalte «menneskelig paritet» i gjenkjenning av samtale tale. Og Google var ikke langt bak; en Internet Trends-rapport i 2017 viste at Googles talesystem nådde rundt 95% nøyaktighet, som omtrent tilsvarer feilraten til en menneskelig lytter som transkriberer dagligtale. På mindre enn et tiår hadde dyp læring kuttet feilraten fra det problematiske ~20%-området ned til ~5%. Dette var en milepæl – endelig kunne bruk av talegjenkjenning være like pålitelig som å sende lyden din til en menneskelig transkriberer (i visse scenarioer).
Ved 2017 hadde talegjenkjenningssystemer nådd omtrent 95% nøyaktighet på referansetester – omtrent tilsvarende nøyaktigheten til menneskelige transkriberere under lignende forhold. Denne raske forbedringen, synlig i den synkende feilraten (høyere er dårligere) på grafen, ble drevet av fremveksten av dype nevrale nettverk.
Effekten av dette gjennombruddet var ikke bare akademisk – den ble merket av forbrukerne. Plutselig gikk talegrensesnitt fra klossete og feilutsatte til virkelig nyttige. Dette var perioden da Amazons Alexa, Googles Assistant, Microsofts Cortana og Apples forbedrede Siri alle kjempet om herredømme. Disse assistentene ville ikke ha vært levedyktige noen år tidligere med høyere feilrater; ved 2016 var de gode nok til at millioner av mennesker begynte å stole på dem for hverdagsoppgaver. Det sier mye at mot slutten av 2010-årene ble det normalt å snakke med maskiner. Biler hadde talestyring, smarttelefoner oppmuntret deg til å diktere meldinger, og tjenester som autotranskripsjon av talemeldinger eller videoer ble mer nøyaktige og rimelige. Talegjenkjenning var offisielt overalt.
Likevel sluttet ikke historien om dyp læring med de tidlige DNN-ene. Forskere fortsatte å innovere og presset grensene for hva talegjenkjenningssystemer kunne gjøre.
Den moderne æraen: ende-til-ende-modeller og videre
Etter den første suksessen med hybride DNN-HMM-systemer beveget talegjenkjenningsfeltet seg mot enda mer integrerte dyp læring-tilnærminger. I stedet for å ha separate moduler (akustisk modell, uttaleordbok, språkmodell) boltet sammen, spurte forskerne: Kan vi trene ett stort nevralt nettverk til å direkte kartlegge talebølgeformer til teksttranskripsjoner? Svaret var til slutt ja – disse er kjent som ende-til-ende talegjenkjenningsmodeller. Fra rundt 2014 viste en flodbølge av forskning at ende-til-ende-trening ikke bare var mulig, men kunne måle seg med ytelsen til de gamle pipeline-ene, gitt nok data.
En av de første ende-til-ende-metodene brukte en tilnærming kalt Connectionist Temporal Classification (CTC), banebrytende av Alex Graves. CTC gjorde det mulig for en RNN (rekurrent nevralt nettverk) å lære justeringer mellom lyd og utdatatekst på egen hånd, uten å trenge forhåndssegmenterte treningsdata. I 2014 demonstrerte Graves og kolleger en CTC-basert RNN som kunne transkribere tale til tegn direkte. I praksis lærte nettverket å «lytte» og stave setningen ett tegn om gangen, og håndterte de variable lengdene og timingen internt. Imidlertid hadde de tidlige CTC-modellene en ulempe: de antok uavhengighet mellom utdatategn, noe som betydde at de fortsatt var avhengige av en ekstern språkmodell for å rette opp den endelige utdataen (for å sikre at setningen ga mening). De kunne noen ganger gjøre tullete stavefeil eller produsere vås uten den ekstra hjelpen.
Det neste spranget kom med oppmerksomhetsbaserte sekvens-til-sekvens-modeller. I 2016 introduserte forskere fra akademia og industri (f.eks. ved Carnegie Mellon, Google Brain og University of Montreal) systemer med en koder-dekoder-arkitektur som bruker en oppmerksomhetsmekanisme. Passende kalt «Listen, Attend and Spell», hadde denne tilnærmingen et kodenettverk som fordøyde inndata-lyden til en representasjon på høyt nivå, og deretter et dekodernettverk som rettet oppmerksomheten mot koderens utdata og genererte teksttegn ett om gangen – og «stavet» effektivt ut den gjenkjente talen. Oppmerksomhetsmekanismen lot modellen dynamisk fokusere på forskjellige deler av lyden mens den produserte hvert tegn, noe som er litt som en menneskelig transkribent som lytter og skriver samtidig og holder styr på hvor de er. Disse oppmerksomhetsbaserte modellene krevde ikke et separat uttaleleksikon eller språkmodell; de kunne i teorien lære alt fra den rå lyd-til-tekst-tilordningen. Ved slutten av 2016 hadde slike modeller matchet og til og med overgått CTC-baserte systemer på noen referansetester. Og viktigere, en ende-til-ende-modell er enklere å distribuere – du trenger for eksempel ikke å ha en 5 GB n-gram-språkmodell på telefonen. Dette gjorde det for første gang praktisk å tenke på talegjenkjenning på enheten, noe som er attraktivt for personvern og offline bruk.
Siden den gang har vi sett kontinuerlige forbedringer: varianter som RNN-Transducers (som kombinerer ideer fra CTC og oppmerksomhet), og bruken av nyere nevrale arkitekturer som konvolusjonsnevrale nettverk (CNN-er) og Transformers for tale. For eksempel kunngjorde NVIDIA i 2019 ende-til-ende-modeller (med fengende navn som Jasper og QuartzNet) som var svært optimalisert med CNN-lag, og oppnådde ordfeilrater på rundt 3% på visse testsett. Slike tall nærmer seg punktet der de siste feilene til og med kan skyldes at den menneskelige transkripsjonen hadde feil! Dessuten har transformer-baserte modeller med selvoppmerksomhet (kjent for å revolusjonere tekstbehandling) blitt brukt på tale med stor suksess, og gitt oss raskere og enda mer nøyaktige systemer i 2020-årene.
En annen moderne trend er å utnytte ikke-veiledet og delvis veiledet læring. Nyere systemer som Facebooks wav2vec 2.0 (for å nevne ett eksempel) kan lære av umerket lyd ved i praksis å lytte til millioner av timer med tale uten transkripsjoner og lære lydens struktur. Deretter, med en mindre mengde merket data, finjusterer de for å utføre transkripsjon. Dette løser et sentralt problem: de fleste av verdens språk har ikke enorme transkriberte datasett å trene på. Selvveiledet læring og overføringslæring lar en modell trent på ett språk (eller på generell lyd) bli tilpasset til et annet språk eller et spesielt domene med langt mindre data. Dette er avgjørende for å spre talegjenkjenning av høy kvalitet utover de store språkene og inn i flere applikasjoner.
I dag er talegjenkjenning virkelig en del av hverdagen. Den er i lommene våre, på kjøkkenet, i bilene, og snakker til og med tilbake til oss. Virtuelle assistenter bruker den til å stille timere og svare på spørsmål; dikteringsprogramvare transkriberer møter og legens notater; kundeserviceboter sorterer samtaler; talestyrte dingser er overalt. Dyp læring har gjort gjenkjenning både ultrasnøyaktig og sanntid. Mange systemer kjører nå helt på enheten (ingen internett nødvendig) for hastighet og personvern, mens andre bruker skyen til å håndtere tung prosessering og forbedre seg kontinuerlig. Faktisk utfører moderne skybaserte taletjenester ofte en dobbel rolle: de tjener brukeren ved å konvertere tale til tekst, og de lærer også fra brukeren (anonymt) ved å legge til den lille lydbiten og resultatet i stadig voksende treningsdata. Hver gang du bruker talediktering eller snakker til Alexa, er det stor sjanse for at dataene bidrar til å foredle modellene i kulissene. På en måte er dagens talegjenkjenning aldri ferdig med å lære – de forbedres bittelitt for hver stemme de hører, omtrent som et menneske som får erfaring.
Selvfølgelig er ferden ikke over. Til tross for utrolige fremskritt, gjenstår utfordringer. Menneskelig språk er fantastisk mangfoldig, og KI sliter noen ganger med det. Kraftige regionale aksenter eller dialekter kan fortsatt overrumple et system som ikke er trent på dem. Bakgrunnsstøy og situasjoner med flere talere (som å transkribere en livlig middagssamtale) er fortsatt vanskelige scenarioer. Og mens en håndfull store språk (engelsk, mandarin, spansk osv.) har nesten toppmoderne gjenkjenning, finnes det tusenvis av språk (og mange flere dialekter) der god talegjenkjenning ennå ikke er tilgjengelig. Den neste grensen er å utvide teknologien til alle mennesker og alle språk, muligens ved å bygge mer inkluderende datasett eller bruke tverrspråklige læringsteknikker.
Likevel gir utviklingen innen talegjenkjenning god grunn til optimisme. I løpet av 70+ år gikk vi fra en maskin som så vidt gjenkjente ti isolerte sifre til programvare som kan transkribere flytende tale med 95–99% nøyaktighet i sanntid. Hver epoke bygde på den forrige: de tidlige oppfinnerne beviste at tale kunne fanges opp; DARPA-æraen introduserte kraften i probabilistisk modellering; 1980-årene befestet statistiske algoritmer for skala; 1990-årene gjorde det tilgjengelig for forbrukere; og 2010-årene innvarslet lærende maskiner som endelig knekte koden for ytelse på menneskelig nivå. Det er en historie om vedvarende innovasjon, ofte med fremgang som skjer i rykk og napp – langsomme tiår med forskning etterfulgt av plutselige sprang når databehandling eller algoritmer tok igjen.
Fra Audrey til Siri, fra isolerte ord til hele samtaler, har talegjenkjenning utviklet seg til en moden, uunnværlig teknologi. Og den utvikler seg fortsatt – etter hvert som enhetene våre fortsetter å lytte (og vi håper, forstå), blir opplevelsen bedre bit for bit. Vi har kanskje ikke Star Treks fullt samtalende datamaskin på starship Enterprise ennå, men vi er nærmere enn noen gang. Som en ekspert treffende bemerket, er dagens KI-talesystemer «like dynamiske og kreative som menneskelige språk er i seg selv», og de lærer og tilpasser seg kontinuerlig mens vi snakker til dem. Med andre ord, historien om talegjenkjenning er langt fra over – men for en historie det har vært så langt.
Videre lesning og kilder
-
Computer History Museum. "Timeline of Speech Recognition Milestones" (Artikkel)
-
Pierce, J.R. "Whither Speech Recognition?" – The Journal of the Acoustical Society of America (1969)
-
Zhou, B. "Speech Recognition: From Research to Practice" – Stanford EE 292C Lecture Notes (2017)
-
Jelinek, F. "Statistical Methods for Speech Recognition" – MIT Press (1997)
-
Schmidhuber, J. "Deep Learning in Neural Networks: An Overview" – Neural Networks (2015)
-
IBM Archives. "IBM Shoebox: Voice-Activated Calculator Demo" (Historisk utstilling)
-
Rabiner, L. & Juang, B.H. "Fundamentals of Speech Recognition" – Prentice Hall (1993)
-
Meeker, M. "Internet Trends Report" – Kleiner Perkins (2017)
-
Norvig, P. «Om Chomsky og de to statistiske læringskulturene» – The Atlantic (2011)
-
Hinton, G. et al. «En rask læringsalgoritme for dype trosnettverk» – Neural Computation (2006)
-
Glass, J. «Et historisk perspektiv på talegjenkjenning» – MIT Spoken Language Systems (2003)
-
Hannun, A. et al. «Deep Speech: Skalering av ende-til-ende talegjenkjenning» (arXiv-artikkel, 2014)
-
LeCun, Y., Bengio, Y., & Hinton, G. «Dyp læring» – Nature (2015)
-
Hinton, G. et al. «Dype trosnettverk for akustisk modellering» (PDF artikkel, 2012)
