글로 건너뛰기

오드리에서 딥러닝까지: 음성 인식의 장대한 역사

오드리에서 딥러닝까지: 음성 인식의 장대한 역사

음성 인식만큼 구불구불한 길을 걸어온 기술도 드물다. 우리가 스마트폰에게 날씨를 물어보는 일이 당연해지기 수십 년 전, 공상과학은 말하는 컴퓨터를 꿈꿨다. 스타 트렉 승무원이 자신의 우주선과 대화하는 모습에서부터 2001: 스페이스 오디세이의 HAL 9000에 이르기까지. 그 환상을 현실로 만드는 데는 여러 세대의 연구자들, 꾸준한 돌파구, 그리고 가끔씩의 믿음의 도약이 필요했다. 음성은 마법처럼 느껴질 수 있지만, 그 이면에는 초기 실험, 정부 지원 탐구, 통계적 혁명, 그리고 딥러닝의 부상이라는 이야기가 있다. 이 글에서는 투박한 1950년대 음성 기기에서 오늘날 AI 시스템의 거의 인간에 가까운 정확도에 이르기까지의 여정을 시대별로 살펴본다 – 핵심 기법, 인물, 기업, 그리고 이정표를 통해.

초기 꿈과 최초의 말하는 기계 (1950년대–1960년대)

음성 인식 연구는 실제로 1950년대에 시작되었지만, 기계와 소통하고자 하는 열망은 그보다 훨씬 오래되었다. 벨 연구소는 1952년에 “오드리”(Automatic Digit Recognizer)라는 사랑스러운 이름의 장치를 만들어 선도했다. 벨 연구소의 오드리(1952)는 0부터 9까지의 음성 숫자를 인식할 수 있었던 선구적인 음성 인식 기계였다 – 비록 단 한 명의 목소리(그 창시자의 목소리)로만, 그리고 거대한 아날로그 회로 장치를 사용해서였다. 오드리는 당시로서는 인상적이었다: 발명가의 목소리로 약 90%%의 정확도를 달성했지만, 다른 화자에게는 성능이 떨어졌다. 이 시스템은 새로운 사용자의 목소리마다 조금씩 *“학습”*해야 했고 실용성과는 거리가 멀었다 – 사람보다 키가 컸고, 진공관으로 가득 차 있었으며, 엄청난 전력을 소비했다. 그럼에도 오드리는 기계가 제한적인 방식으로 인간의 음성을 들을 수 있음을, 간단한 어휘(숫자 영에서 구까지)를 인식할 수 있음을 증명했다.

IBM의 “슈박스” 시연(1962)은 16개의 음성 단어(숫자와 기본 명령)를 인식하는 초기 음성 작동 계산기를 선보였다. 오드리로부터 10년 후, IBM은 1962 세계 박람회에서 슈박스를 공개했다 – 숫자 0–9과 몇 가지 제어 단어(“플러스”, “마이너스”, “토탈” 등)를 이해할 수 있는 기기였다. 슈박스는 본질적으로 음성 제어 덧셈 기계였다. 전 세계에서 유사한 실험이 싹트고 있었다: 영국, 일본 및 기타 지역의 연구자들이 매우 제한된 음절이나 단어 집합을 인식할 수 있는 프로토타입 시스템을 만들었다. 1960년대 후반까지 일부 연구소는 단어로 가는 디딤돌로서 소량의 음성 요소(예: 몇 개의 모음과 자음)를 인식하는 하드웨어를 갖추었다.

이러한 초기 시스템은 하드와이어 방식이며 특정 작업에 특화되어 있었다. 일반적으로 고립된 단어(한 번에 하나씩, 사이에 멈춤이 있음)에만 작동했고, 종종 훈련시킨 화자에게만 작동했다. 1960년대 후반, 스탠포드의 박사 과정 학생이었던 총명한 젊은 연구자 라지 레디는 더 큰 도전에 과감히 맞섰다: 컴퓨터가 멈춤 없이 연속 음성을 이해하도록 하는 것이었다. 특수 아날로그-디지털 변환기가 장착된 최초의 DEC PDP-1 컴퓨터 중 하나를 사용하여 레디는 기초적인 모음 인식기를 만들고 연속 음성 인식을 위한 기법을 개척했다. 그의 연구는 기계가 이해하도록 하기 위해…이렇게…말할…필요가 없는 미래를 암시했다. 그래도 1950년대–60년대의 기술적 한계는 심각했다: 음성이 생성하는 데이터의 홍수를 처리할 트랜지스터나 메모리가 거의 없었고, 인간 언어의 복잡성을 해독하도록 기계를 프로그래밍하는 방법에 대한 합의도 아직 없었다. 그러나 이 모든 것은 새로운 후원자, 즉 미국 국방부의 추진으로 바뀌려 하고 있었다.

1970년대: 국방 자금과 통계적 전환

1971년까지 DARPA(국방고등연구계획국)는 음성 이해의 진전을 촉진하기 위해 대담한 5개년 프로그램을 시작했다. 목표는 야심찼다 – 1970년대 중반까지 최소 1,000개의 단어(대략 3세 아동의 어휘 수준)를 인식할 수 있는 시스템. 라지 레디가 교수가 된 카네기 멜런 대학을 포함한 여러 최고 기관이 다양한 접근 방식을 탐구하도록 자금을 지원받았다. 이 시기에는 음성 인식에 대한 두 가지 철학이 경쟁하고 있었다:

  • 템플릿 매칭(Template Matching): 한 접근법은 컴퓨터가 녹음된 단어 템플릿을 저장하고 들어오는 음성 소리를 그 템플릿에 일치시키려 시도하는 것이었습니다. 사람들은 서로 다른 속도로 말하기 때문에, 녹음된 패턴의 시간 축을 늘이거나 줄여 새로운 입력과 정렬시키는 동적 시간 왜곡(dynamic time warping) 이라는 기법이 사용되었습니다. 이는 일종의 음성 매칭 게임이라고 생각하면 됩니다. 들어오는 “hello” 파형이 저장된 “hello”의 속도가 변형된 버전처럼 보이면 인식된 것입니다. 이는 매우 작은 어휘에서는 어느 정도 작동했지만, 어휘가 커지거나 발화가 달라지면 어려움을 겪었습니다.

  • 언어학적 지식을 갖춘 규칙 기반 AI: 또 다른 접근법은 언어에 대한 인간의 지식을 통합하려 했습니다. 연구자들은 인식을 안내하기 위해 복잡한 언어학적 규칙 – 소리에 대한 음성 규칙, 단어에 대한 어휘 규칙, 문장에 대한 통사 규칙 등 – 을 작성했습니다. 시스템은 여러 수준에서 음성을 분석하고 이러한 규칙을 적용하여 최선의 해석을 **“추측”**하려 했으며, 이는 어느 정도 전문가 시스템과 비슷했습니다. 이는 언어학자가 문제에 접근하는 방식을 반영한다는 점에서 지적으로 매력적이었지만, 실제 세계의 음성에 대한 완전한 규칙 집합을 구축하는 것은 극히 어려웠습니다.

초기에는 많은 전문가들이 언어학적 지능을 내장해야만 음성 인식이 향상될 수 있다고 믿었습니다. 그러나 정보 이론에서 나온 근본적인 통찰이 판세를 다른 접근법 쪽으로 기울이기 시작했습니다. 정보 이론의 아버지인 **클로드 섀넌(Claude Shannon)**은 1951의 유명한 실험을 통해 언어의 예측 가능성을 입증했습니다. 그는 아내 **베티 섀넌(Betty Shannon)**에게 소설의 텍스트를 한 글자씩 추측하게 했는데, 몇 글자가 알려지자 베티는 남은 많은 글자와 단어를 정확히 예측할 수 있었습니다. 이는 인간 언어가 매우 중복적이고 통계적임을 보여주었습니다. 즉, 특정 소리와 단어는 앞서 나온 맥락이 주어지면 훨씬 더 그럴 가능성이 높습니다. 음성 인식에서 이것은 컴퓨터가 순전히 문자 그대로의 파형 매칭이나 수작업 규칙에 의존하는 대신, 확률과 맥락을 활용하여 사람이 말한 내용의 가능성을 좁힐 수 있음을 의미했습니다.

이 아이디어를 받아들이는 것은 처음에는 논란이 되었습니다. 명시적인 AI 추론을 선호하는 일부 엔지니어들에게는 “직관에 반하는” 것처럼 보였습니다. 그러나 DARPA 프로젝트가 진행되면서 통계 기반 방법이 빛을 발하기 시작했습니다. 예를 들어 카네기 멜런(Carnegie Mellon) 팀은 **하피(Harpy)**라는 시스템을 구축하여 1976까지 1,000 단어 어휘 목표를 달성했습니다. 하피는 가능한 단어 시퀀스를 효율적으로 탐색하고 맥락에서 어떤 것이 타당한지 평가하기 위해 **빔 서치(beam search)**라는 기법을 도입했습니다. 본질적으로 하피는 전체 문장을 인식하고 언어 모델(단어 시퀀스의 통계 모델)을 사용하여 모호한 소리 해석 사이에서 결정할 수 있었습니다. 이는 엄청난 도약이었습니다. 하피는 고립된 단어뿐 아니라 어휘 범위 내에서 문장 속 연속 음성도 이해할 수 있었습니다. 1,011 단어 렉시콘과 스마트한 디코딩 전략은 한 번도 산만해지지 않는 세 살배기 어린아이의 능력에 비견되었습니다.

동시에 **제임스 “짐” 베이커(James “Jim” Baker)**라는 젊은 연구자와 그의 아내 **재닛 베이커(Janet Baker)**는 CMU에서 또 다른 DARPA 지원 프로젝트를 진행하고 있었습니다. 그들은 1974에 음성에 순전히 통계적 모델링을 사용하는 대담한 발걸음을 내디딘 DRAGON 시스템을 개발했습니다. 짐 베이커의 1975 박사 학위 논문은 음성 인식을 위한 **은닉 마르코프 모델(Hidden Markov Models, HMM)**의 사용을 도입했습니다. 이는 음성 소리를 통계적 상태의 시퀀스로 취급하는 확률적 프레임워크입니다. HMM 기반 시스템에서는 녹음된 템플릿을 정확히 일치시키려 하지 않습니다. 대신 컴퓨터는 예시 데이터로 훈련되어 특정 소리나 단어가 연속으로 발생할 확률을 추정합니다. 이것이 추상적으로 들린다면, 직관적인 예는 맥락에서 친구가 아마도 말하고 있을 법한 단어를 고려하여 친구의 흐릿한 말을 이해하려는 상황을 상상하는 것입니다. HMM은 음성 인식에 바로 그렇게 할 수 있는 강력한 수학적 방법, 즉 소리의 불확실성을 모델링하고 가장 그럴듯한 단어 시퀀스를 결정할 수 있는 방법을 제공했습니다. 베이커 부부의 드래곤 시스템은 이러한 통계적 접근법으로 대어휘 연속 음성 인식이 가능함을 입증했습니다. 이는 전환점이었습니다. 끝없는 언어학적 규칙으로 프로그래밍하는 대신 데이터와 확률을 사용하여 기계를 “가르칠” 수 있음을 보여주었기 때문입니다.

1971–76 DARPA의 노력에서 여러 주목할 만한 다른 시스템들이 등장했습니다. 예를 들어 Hearsay-II는 여러 지식 원천(음향 음성학, 구문론, 의미론 등)이 모두 음성 해독에 협력하여 부분 가설을 가상의 칠판에 적어 다른 지식 원천이 이를 개선할 수 있게 하는 하이브리드 "칠판" 아키텍처를 탐구했습니다. 이는 통계적 접근과 지식 기반 접근을 결합하려는 초기 시도였습니다. 우아했지만 당시로서는 복잡하고 계산 부하가 컸습니다. 1970년대 말까지 이러한 프로젝트 덕분에 이 분야는 적어도 제한된 영역에서는 기계가 음성 언어를 이해하는 것이 가능하다는 것을 입증했습니다. 그러나 성능은 여전히 완벽과 거리가 멀었고, 실험실 밖에서는 이러한 시스템이 아직 실용적이지 않았습니다. 하지만 이후 수십 년간 컴퓨팅 성능이 성장함에 따라 급속한 개선을 위한 무대는 마련되었습니다.

1980년대: 은닉 마르코프 모델의 등장

1980년대에 음성 인식은 통계적 방법, 특히 은닉 마르코프 모델로 결정적으로 전환했습니다. 큰 촉매 중 하나는 1984년에 시작된 음성 연구에 대한 미국 정부의 또 다른 투자 물결과 표준 데이터셋 및 평가 벤치마크의 창설이었습니다. 미국 국립표준기술연구소(NIST)와 같은 기관이 공통 데이터베이스에 대한 연례 테스트를 조정하여 연구 그룹들(CMU, SRI, BBN, MIT, Bell Labs 등) 사이의 경쟁과 측정 가능한 진전을 촉진했습니다. 처음으로 모든 사람이 같은 언어를 사용하게 되었습니다. 말 그대로 동일한 테스트 코퍼스를 사용함으로써 기술을 직접 비교하고 빠르게 반복할 수 있게 되었습니다.

이 기간 동안 은닉 마르코프 모델(HMM) 알고리즘이 음성 인식을 위한 지배적 기술이 되었습니다. HMM은 음성의 순차적이고 가변적인 특성에 완벽하게 부합하는 것으로 밝혀졌습니다. 발화된 단어를 프레임(작은 시간 조각)으로 나누고 다양한 소리와 전이의 가능성을 통계적으로 모델링함으로써 HMM 기반 시스템은 데이터로부터 **음향 패턴을 "학습"**할 수 있었습니다. 그에 못지않게 중요했던 것은 일관된 전사 추측을 위해 언어 모델, 즉 단어 시퀀스의 확률을 통합할 수 있었다는 점입니다. 그 결과 어휘 크기와 정확도가 크게 향상되었습니다. 1970년대의 수백 단어에서 1980년대 중반에는 수천 단어로 늘어났습니다. 예를 들어 IBM에서 Fred Jelinek이 이끄는 팀은 확률적 접근을 전폭적으로 받아들였습니다. 그들은 사무실 받아쓰기를 목표로 Tangora라는 코드명의 시스템을 개발했는데, 1985년까지 HMM과 바이그램/트라이그램 언어 모델을 사용하여 20,000개 단어 어휘를 인식할 수 있었다고 합니다. (Tangora는 미국의 타자 속도 챔피언의 이름을 따서 적절히 명명되었으며, 이는 고속의 효율적인 받아쓰기를 달성하려는 IBM의 목표를 강조합니다.)

한편 베이커 부부(Jim과 Janet)는 학계를 떠나 자신들의 아이디어를 상용화했습니다. 그들은 1982년에 Dragon Systems을 설립하여 음성 인식을 실제 제품으로 가져오기로 결심했습니다. 초기 성공은 Dragon의 소프트웨어가 1984년에 Apricot PC에 라이선스되면서 찾아왔습니다. 이로써 영국산 Apricot 컴퓨터는 내장 음성 인식 기능을 갖춘 최초의 개인용 컴퓨터가 되었습니다. 이는 오늘날의 기준으로는 원시적이었지만(시스템은 아마도 작은 명령 집합을 처리했을 것입니다), 음성 기술이 연구 실험실에서 시장으로 이동하기 시작했음을 알리는 신호였습니다.

1980년대 후반의 주요 돌파구는 화자 독립 인식을 달성한 것이었습니다. 즉, 더 이상 특정 사용자의 목소리로 광범위하게 훈련할 필요가 없는 시스템이었습니다. 1987년에 Raj Reddy의 지도 아래 박사 과정 학생이었던 **카이푸 리(Kai-Fu Lee)**는 **CMU 스핑크스(CMU Sphinx)**를 개발했는데, 이는 최초의 화자 독립 연속 음성 인식 시스템으로 환영받았습니다. 스핑크스는 이전 10년간의 혁신 중 최고를 결합했습니다. Harpy의 베이커 HMM 알고리즘과 빔 서치(beam search) 전략을 사용했지만, 이제 하나의 시스템이 개별 재훈련 없이 여러 목소리를 수용할 수 있었습니다. 이는 매우 중요했습니다. 사용자가 시스템을 훈련하는 데 몇 시간을 소비해야 했던 것은 실용적 사용에 큰 장벽이었습니다. (스핑크스 이전에는 일부 시스템이 훈련을 위해 수천 단어를 반복해야 했습니다 – 소비자에게는 어려운 요구였죠!) 화자 독립성으로 인해 일반적으로 사용 가능한 음성 인터페이스의 비전은 훨씬 가까워졌습니다. 1980년대 말까지 선도적인 시스템의 어휘는 급증했고, 중간 정도의 문법 복잡성을 가진 연속 음성이 가능해졌으며, 오류율은 계속 천천히 감소했습니다. 한때 1,000 단어의 DARPA 대과제였던 것이 어휘 20,000개 이상으로 성장했고, 인식은 정상적인 인간 말하기 속도에 점점 가까워지고 있었습니다.

1980년대 배경에는 일부 연구자들이 완전히 다른 접근법인 인공 신경망을 실험하고 있었다는 점을 주목할 필요가 있습니다. 초기 신경망 모델(예: 시간 지연 신경망(time-delay neural nets) 및 볼츠만 머신(Boltzmann machines))은 이 시대에 음소 인식과 같은 소규모 음성 작업에서 시도되었습니다. 실제로 **제프리 힌튼(Geoffrey Hinton)**과 다른 사람들은 1980년대 중반에 역전파(backpropagation) 알고리즘을 개발했는데, 이는 이론적으로 복잡한 패턴을 분류하기 위해 다층 신경망을 훈련할 수 있었습니다. 그러나 당시 신경망은 아직 군림하던 HMM을 능가하지 못했습니다. 이유는 실용적이었습니다. 제한된 컴퓨팅 성능과 부족한 데이터로 인해 신경망은 소규모 데모 이상으로 빛나기 어려웠습니다. AI 역사에서 언급했듯이, 신경망은 ’60년대와 ’80년대에 과대광고 주기를 겪었지만, 당시 하드웨어로 기대에 부응하지 못해 “AI 겨울”에 빠졌습니다. 그래서 1980년대까지 음성 인식의 활동은 신중하게 설계된 통계 모델과 전문가 특징 엔지니어링에 집중되어 있었습니다. 그리고 그 작업은 1990년대로 접어들면서 결실을 맺었습니다. 말하는 기계가 마침내 소비자 시장에 진출하기 시작한 10년이었죠.

1990년대: 실험실에서 소비자로 (침묵 깨기)

1990년대 초까지 음성 인식은 틈새 연구 주제에서 상업적 제품으로 포장될 수 있는 것으로 전환되고 있었습니다. 개인용 컴퓨터는 간단한 음성 엔진을 실시간으로 실행할 수 있을 만큼 빨라졌고, 기업들은 받아쓰기 소프트웨어와 음성 제어 인터페이스에서 잠재력을 보았습니다. 그러나 첫 번째 물결의 제품에는 상당한 한계가 있었습니다. 1990년에 Dragon Systems는 Dragon Dictate를 출시했는데, 소비자용 최초의 음성 인식 제품으로 환영받았습니다. 이는 고급 PC에서 실행되었고 사용자가 음성으로 텍스트를 입력할 수 있게 했습니다… 하지만 문제가 있었습니다. 한… 단어… 씩… 말해야 했고, 각 단어 사이에 의도적으로 멈춰야 했습니다. 이러한 “이산 음성” 모드는 제한된 처리 능력과 덜 발전된 모델 때문에 필요했습니다. 연속 음성은 그 시대의 PC에서 실시간으로 처리하기에는 너무 어려웠습니다. 이러한 부자연스러운 방식에도 불구하고 일부 사용자(특히 키보드를 쉽게 사용할 수 없는 사람들)에게는 음성으로 텍스트를 작성할 수 있다는 것 자체가 혁명적이었습니다.

1990년대 내내 알고리즘과 컴퓨팅 모두에서 빠른 개선이 이루어졌다. 연구자들은 HMM 모델을 정교화했고, 더 나은 특징 추출 방법(예: 음성의 음색 특성을 포착하는 MFCC – 멜 주파수 켑스트럼 계수)을 추가했으며, 더 큰 훈련 코퍼스를 사용했다. 무어의 법칙을 따라 컴퓨터는 극적으로 빨라져 더 복잡한 계산을 처리할 수 있게 되었다. 90년대 중반까지 PC에서의 연속적이고 자연스러운 음성 입력이라는 꿈이 실현되었다. 1997년에 Dragon Systems는 Dragon NaturallySpeaking을 출시했는데, 이는 사용자가 처음으로 단어 사이에 멈추지 않고 정상적이고 유연한 방식으로 받아쓰기할 수 있게 해주었다 – 분당 최대 100단어까지. 완벽하지는 않았지만(사용자는 여전히 초기 훈련을 했고, 또렷하고 다소 일정하게 말하면 소프트웨어가 가장 잘 작동했다), 이는 사용성의 획기적인 도약이었다. 첫해에 NaturallySpeaking은 대히트 제품이었으며, 이는 남아 있는 결점에도 불구하고 음성 타이핑에 대한 강한 수요를 보여주었다. (긴 문서를 타이핑해서 생기는 반복 긴장 부상은 더 이상 없었다 – 이제는 컴퓨터와 대화해서 얻을 수 있었다!)

NaturallySpeaking만 있었던 것은 아니다. IBM도 이 분야에서의 오랜 역사를 활용하며 활발히 활동하고 있었다. 1996년에 IBM은 의사들을 위해 맞춤 제작된 연속 음성 인식 제품인 MedSpeak을 출시했는데(의료 기록을 받아쓰기 위해) – 특정 영역을 위한 최초의 상용 연속 음성 시스템으로 기록되었다. IBM은 곧 IBM ViaVoice라는 범용 소비자 제품으로 뒤를 이었다. 한편 Microsoft와 Apple도 기본 음성 인식을 운영 체제에 통합하고 있었다. Apple는 90년대 중반까지 PlainTalk(그리고 “Speakable Items”로 알려진 인터페이스)라는 기능을 갖추어 사용자가 매킨토시에서 간단한 음성 명령을 할 수 있게 했다. Microsoft은 Windows용 Speech SDK를 제공했고 2000년에는 Office XP에, 이후 Windows 자체에 음성 인식을 내장했다(2007년의 Windows Vista는 개선된 내장 음성 인식과 함께 출시되었다). 이러한 내장 시스템은 종종 까다롭고 소비자들에게 잘 쓰이지 않았지만, 음성 제어가 공상과학적 신기함이 아니라 표준 기능이 되어가고 있음을 보여주었다.

90년대의 또 다른 중요한 발전은 전화 통신에서의 음성 인식 활용이었다. 전화선이 디지털화되고 컴퓨팅이 저렴해지면서 기업들은 자동화된 음성 서비스를 배치하기 시작했다. 1996년에 BellSouth(지역 통신사)는 고객이 전화를 걸어 메뉴를 탐색하거나 명령을 말하여 정보를 얻을 수 있는 “음성 포털” 서비스를 도입했다. 한 번이라도 전화 트리와 대화해 본 적이 있다면(“청구는 1이라고 말하거나 누르세요…”), 여러분은 이러한 90년대 혁신의 유산을 경험한 것이다. 초기 전화 기반 시스템은 어휘가 제한적이었지만(종종 숫자나 예/아니오, 또는 정해진 옵션 목록뿐), 음성 인식이 통화 라우팅이나 정보 검색과 같은 작업을 핸즈프리로 처리할 수 있음을 보여주었다. 이러한 IVR(대화형 음성 응답) 시스템은 확산되었고, 2000년대까지 많은 기업이 고객 서비스를 자동화하는 데 사용했다 – 때로는 고객의 불만을 사기도 했지만, 기본적인 문의의 대기 시간도 줄여주었다.

1990년대 말까지 음성 인식의 최첨단은 당시로서는 인상적인 수치를 자랑했다: 수만 단어 규모의 어휘, 화자 독립 연속 음성 능력, 그리고 꾸준히 떨어지는 단어 오류율. 그럼에도 일반적인 사용자 경험은 좋은 조건에서 80–95% 정도의 정확도를 포함할 수 있었다. 실제로 2001년 무렵 일반 음성에 대한 평균 정확도는 약 **80%**에 불과했다 – 이는 조심스럽게 말하거나 교정하지 않으면 다섯 단어 중 하나가 잘못 인식된다는 의미였다. 그 수준의 정확도는 많은 응용 분야에 충분하지 않았고(기록에서 다섯 번째 단어마다 고쳐야 한다고 상상해 보라), 이는 음성 기술이 많이 개선되었음에도 보편적인 인터페이스로서 완전히 “도래”하지는 않았음을 의미했다. 많은 과제가 남아 있었다: 시끄러운 환경은 시스템을 교란시켰고, 강한 억양의 음성이나 빠른 자연 대화도 마찬가지였다. 완벽하고 인간 수준의 음성 인식이라는 꿈은 여전히 수평선 위에 있었다. 우리가 미처 알지 못했던 것은, 다음 10년의 새로운 접근 방식이 마침내 성능을 그 어려운 수준까지 끌어올리리라는 것이었다.

2000년대: 빅 데이터와 더 나은 정확도를 향한 느린 상승

2000년대는 음성 인식에 있어 다소 엇갈린 결과를 보여준 시기였습니다. 한편으로는 이 기술이 운영 체제에 내장되고, 콜센터에서 사용되며, 의료 기록 작성과 같은 틈새 시장에 배포되면서 더 널리 이용 가능해졌습니다. 다른 한편으로는 발전이 점진적으로 느껴졌습니다. 이 10년의 대부분 동안 ’70년대의 HMM 도입이나 ’80년대의 큰 도약과 같은 근본적인 돌파구는 없었습니다. 대신 꾸준한 엔지니어링 개선이 점차 오류율을 낮췄습니다. 2001년까지, 앞서 언급한 대로 제한 없는 받아쓰기에서 일반적인 정확도는 80% 정도에 머물렀습니다. 기존 접근 방식으로는 이 수치를 더 높이는 것이 어려워 보였습니다.

그러나 2000년대의 여러 추세가 다가올 혁명의 발판을 마련했습니다:

  • 컴퓨팅 성능과 클라우드 연결성: 개인용 컴퓨터는 계속 빨라졌지만, 더 중요하게는 2000년대 중반에 인터넷과 클라우드 컴퓨팅이 부상했습니다. 이는 음성 인식이 사용자의 기기 대신 강력한 서버에서 이루어질 수 있음을 의미했습니다. 가정용 PC나 초기 스마트폰의 CPU에 제한받는 대신, 기기는 음성을 녹음해 네트워크로 전송하고 강력한 서버 팜에서 인식된 텍스트를 돌려받을 수 있었습니다. 이러한 연산의 오프로딩은 결정적이었습니다. 예를 들어, 2008년에 Google은 GOOG-411이라는 무료 전화 정보 서비스를 출시했고, 곧이어 음성 검색용 스마트폰 앱을 내놓았습니다. Google 앱에 질의를 말하면 음성이 Google의 데이터센터로 전송되어 그곳에서 인식이 이루어졌습니다. 클라우드 접근 방식은 당시 어떤 개별 기기도 감당할 수 없었던 수준을 훨씬 뛰어넘는 막대한 컴퓨팅 자원과 데이터셋을 활용할 수 있게 해주었습니다.

  • 데이터의 폭발: Google과 같은 기업이 가진 또 다른 이점은 데이터, 즉 방대한 데이터였습니다. 2000년대 내내 Google은 웹을 색인화하면서 조용히 수십억 건의 검색 질의 텍스트로부터 학습하고 있었습니다. 그 모든 텍스트, 즉 수조 개의 단어가 더 나은 언어 모델을 훈련하는 데 도움을 주었습니다. 2000년대 후반까지 Google의 영어 음성 인식 시스템은 실제 질의와 텍스트 230억 단어를 통합한 언어 모델의 뒷받침을 받았습니다. 이는 모호한 말을 했을 때 시스템이 어떤 구나 단어 순서가 나올 가능성이 높은지에 대한 방대한 통계적 지식을 갖추고 있음을 의미했습니다. 예를 들어, 시스템은 “New York”이 “gnue fork”보다 훨씬 흔하다는 것을 “알고” 있으므로, 음향이 다소 불분명하더라도 언어 모델이 올바른 해석으로 이끌어 줍니다. 이러한 빅 데이터 접근 방식은 맥락과 확률이 매우 중요한 음성 검색과 같은 작업에서 음성 인식의 정확도를 눈에 띄게 끌어올리기 시작했습니다.

  • 모바일 기기와 음성 비서: 이 10년의 끝 무렵, 새로운 패러다임이 등장했습니다 – 휴대폰의 인터페이스로서의 음성입니다. 초기 스마트폰과 PDA는 화면이 작고 버튼이 작아서 음성 입력이 매력적이었습니다. Apple의 iPhone(2007)은 현대 스마트폰을 대중화했고, 얼마 지나지 않아 음성도 함께 따라왔습니다. 2011년에 Apple는 iPhone의 음성 제어 비서인 Siri를 선보였습니다. Siri는 음성을 인식할 수 있을 뿐만 아니라 (자연어 이해 기법 덕분에) 사용자의 의도를 해석하고 메시지 전송이나 정보 검색 같은 작업을 수행할 수 있었습니다. Siri는 곧 Google의 자체 음성 비서에 이어, 결국 2014년 Amazon의 Alexa(독립형 스마트 스피커인 Echo에 탑재)로 이어졌습니다. 갑자기 기계와 대화하는 것이 틈새 활동에서 주류 소비자 경험으로 바뀌었습니다 – 수백만 명이 휴대폰에 길 안내를 요청하거나 스마트 스피커에 음악 재생을 요청하고 있었습니다. 2010년대의 이러한 사용량 급증은 더 많은 데이터를 제공하며 선순환을 만들었습니다. 더 많은 사용자가 말할수록 시스템을 개선할 데이터가 늘어나고, 그로 인해 시스템이 더 정확하고 유용해져 더 많은 사용자를 끌어들이게 되었습니다.

2000년대 말까지 음성 인식은 의심할 여지 없이 발전했습니다. 하지만 진정한 돌파구는 아직 오지 않았습니다. 이 분야의 많은 사람은 기존 기법(정교하게 설계된 특징과 언어 모델을 갖춘 HMM)으로 진전이 정체되었다고 느꼈습니다. 어려운 과제에서 오류율은 10–20% 범위에 머물렀습니다. 인간 수준 성능의 마지막 구간에 도달하려면 근본적으로 새로운 접근이 필요할지도 모른다는 인식이 있었습니다. 그리고 밝혀진 대로, 그 새로운 접근의 씨앗은 이미 심어져 있었습니다. 바로 심층 신경망의 형태로, 이는 2010년대에 극적인 부활을 앞두고 있었습니다.

초기 딥러닝 혁명(2010년대): 신경망의 반격

2009년은 흔히 음성 인식의 전환점으로 언급됩니다. 수년간 잠들어 있던 끝에, 신경망 모델이 맹렬히 돌아왔습니다. 이번에는 1980년대보다 훨씬 더 큰 컴퓨팅 파워와 방대한 데이터로 무장한 채였습니다. Geoffrey Hinton이 이끄는 연구진은 새로운 종류의 **심층 신경망(DNN)**이 음성 인식 과제에서 기존의 구세대 방식보다 크게 뛰어난 성능을 낼 수 있음을 입증했습니다. 그들은 딥러닝을 사용하여 이를 달성했습니다. 즉, 매우 큰 데이터셋으로 훈련된 많은 층의 인공 뉴런을 갖춘 신경망입니다. 그들은 이전의 한계를 어떻게 극복했을까요? 간단히 말해, 세 가지가 달라졌습니다:

  1. 비지도 사전 훈련: Hinton과 동료들은 **제한 볼츠만 머신(RBM)**을 사용하여 한 층씩 심층 네트워크를 “사전 훈련”하는 방법을 도입했습니다. 이는 본질적으로 전체 네트워크를 미세 조정하기 전에 각 층이 오디오 데이터에서 유용한 특징을 추출하도록 가르치는 것입니다. 2009에서 그들은 이러한 RBM을 쌓으면 음성 정확도에서 극적인 개선을 얻을 수 있음을 보여주었습니다. 이 영리한 훈련 기법은 매우 깊은 네트워크를 효과적으로 훈련하는 방법(기울기 소실 같은 문제로 이전에는 매우 어려웠음)을 해결하는 데 도움을 주었습니다.

  2. 더 많은 데이터: 2010까지 훈련에 사용할 수 있는 디지털 오디오 데이터가 훨씬 더 많아졌습니다. 프로젝트, 아카이브, 웹에서 수많은 시간의 전사된 음성이 있었습니다. 딥러닝은 빅데이터에서 번성합니다. 네트워크가 학습할 수 있는 더 많은 예시가 있을수록 많은 매개변수를 더 잘 조정할 수 있습니다. 이러한 데이터 가용성은 ’80년대의 선구자들에게는 단순히 없었던 것입니다.

  3. 더 큰 컴퓨팅 파워(특히 GPU): 2010년대에는 그래픽 처리 장치(GPU)를 범용 컴퓨팅에 사용하는 것이 폭발적으로 증가했습니다. GPU는 신경망이 요구하는 병렬적이고 행렬이 많은 계산에 탁월한 것으로 밝혀졌습니다. 이는 ’90년대에 CPU에서 몇 주가 걸리던 작업을 2010까지 GPU 클러스터에서 몇 시간 만에 할 수 있음을 의미했습니다. 한 분석이 표현한 대로, 개선된 알고리즘, 막대한 훈련 데이터, 강력한 프로세서의 결합 덕분에 딥러닝이 마침내 산업 전반의 규모에서 실용화될 수 있었습니다.

음성 인식에 대한 영향은 즉각적이고 심대했습니다. 연구자들은 MFCC 같은 특징을 고심하며 설계하는 대신 비교적 원시적인 오디오 스펙트로그램을 심층 신경망에 입력할 수 있었고, 네트워크는 스스로 특징을 학습했습니다. 즉, 인식에 최적화된 음성 소리의 미묘한 표현을 학습했습니다. 이러한 심층 모델은 전통적인 가우시안 혼합 모델 HMM 시스템을 상당한 차이로 능가하기 시작했습니다. 일부 경우에는 DNN 기반 음향 모델로 전환하자 오류율이 밤사이 20–30%만큼 떨어졌습니다.

2012년 즈음에는 Microsoft과 Google 모두 음성 검색과 같은 작업을 위해 생산 음성 인식 시스템에 심층 신경망을 배치했습니다. 그 결과는 사용자에게 실질적으로 다가왔습니다. 갑자기 스마트폰이나 받아쓰기 소프트웨어가 당신을 훨씬 더 잘 이해하게 된 것입니다. Microsoft 연구진은 음향 모델링에 심층 신경망으로 전환함으로써 까다로운 벤치마크에서 오류율을 거의 절반으로 줄였다고 보고했습니다. Google도 마찬가지로 그 무렵 DNN 덕분에 Android 음성 입력의 정확도가 크게 향상되었다고 언급했습니다. 기존 HMM 시스템이 완전히 버려진 것은 아니었습니다. 처음에는 가장 효과적인 방법이 하이브리드 접근법이었습니다. DNN을 사용하여 오디오에서 음소(기본 소리 단위)의 확률을 추정하고, 이를 시간적 순서를 여전히 강제하고 언어 모델과 연결된 HMM 프레임워크에 입력하는 것입니다. 이 하이브리드 DNN-HMM 접근법은 2010년대 전반기를 지배했으며 거의 모든 주요 음성 서비스에 배치되었습니다.

숫자가 그 이야기를 말해줍니다. 2015년 즈음, Switchboard(실제 전화 대화 말뭉치)와 같은 표준 테스트에서 단어 오류율(WER)은 한 자릿수에 가까워지고 있었습니다. 2016년에 IBM은 **6.9%**의 WER을 달성했다고 발표했는데, 이는 당시 기록적인 최저치였습니다. 불과 1년 후, Microsoft은 **5.9%**에 도달했다고 보고했으며, 이는 (해당 테스트에서) 대략 전문 인간 전사자와 동등한 수준이라고 주장했습니다. 얼마 지나지 않아 IBM은 **5.5%**으로 반격했고, 그 다음 Microsoft과 다른 이들이 이를 더욱 낮췄습니다. 2017년까지 Microsoft는 약 5.1% 오류에 도달했습니다. 즉, 본질적으로 대화형 음성 인식에서 그들이 *“인간 동등성”*이라고 부르는 것을 달성한 것입니다. 그리고 Google도 뒤처지지 않았습니다. 2017년의 인터넷 트렌드 보고서는 Google의 음성 시스템이 약 95% 정확도에 도달했으며, 이는 일상적인 말을 전사하는 인간 청취자의 오류율과 대략 동일하다고 보여주었습니다. 10년이 채 안 되어 딥러닝은 오류율을 문제가 많던 ~20% 범위에서 ~5%까지 대폭 줄였습니다. 이는 획기적인 성과였습니다. 마침내 음성 인식을 사용하는 것이 (특정 시나리오에서) 오디오를 인간 전사자에게 보내는 것만큼 신뢰할 수 있게 된 것입니다.

2017년까지 음성 인식 시스템은 벤치마크 테스트에서 약 95% 정확도에 도달했습니다. 이는 유사한 조건에서 인간 전사자의 정확도와 대략 동등합니다. 그래프에서 하락하는 오류율(높을수록 나쁨)로 보이는 이 급속한 개선은 심층 신경망의 등장에 의해 주도되었습니다.

이 돌파구의 효과는 학문적인 것만이 아니었습니다. 소비자들이 체감했습니다. 갑자기 음성 인터페이스는 투박하고 오류가 많던 것에서 진정으로 유용한 것으로 바뀌었습니다. 이 시기는 Amazon의 Alexa, Google의 Assistant, Microsoft의 Cortana, 그리고 Apple의 개선된 Siri가 모두 패권을 다투던 때였습니다. 이러한 비서들은 몇 년 전만 해도 더 높은 오류율 때문에 실행 가능하지 않았을 것입니다. 2016년까지 그들은 수백만 명의 사람들이 일상적인 작업에 의존하기 시작할 만큼 충분히 좋아졌습니다. 2010년대 후반까지 기계와 대화하는 것이 일상이 되었다는 점은 시사하는 바가 큽니다. 자동차에는 음성 제어가 있었고, 스마트폰은 메시지 받아쓰기를 권장했으며, 음성사서함이나 비디오의 자동 전사와 같은 서비스는 더 정확하고 저렴해졌습니다. 음성 인식은 공식적으로 어디에나 있게 되었습니다.

그러나 딥러닝 이야기는 그 초기 DNN들로 끝나지 않았습니다. 연구자들은 계속해서 혁신하여 음성 인식 시스템이 할 수 있는 것의 경계를 밀어붙였습니다.

현대: 종단 간 모델과 그 너머

하이브리드 DNN-HMM 시스템의 초기 성공 이후, 음성 인식 분야는 더욱 통합된 딥러닝 접근법으로 나아갔습니다. 별도의 모듈(음향 모델, 발음 사전, 언어 모델)을 볼트로 조인하는 대신, 연구자들은 질문했습니다. 하나의 큰 신경망을 훈련하여 음성 파형을 텍스트 전사로 직접 매핑할 수 있을까? 그 답은 결국 그렇다였습니다. 이것이 종단 간 음성 인식 모델로 알려져 있습니다. 2014년 즈음부터 시작된 일련의 연구는 종단 간 훈련이 가능할 뿐만 아니라 충분한 데이터가 주어지면 기존 파이프라인의 성능과 동등할 수 있음을 보여주었습니다.

최초의 엔드투엔드 방법 중 하나는 Alex Graves가 개척한 **Connectionist Temporal Classification (CTC)**이라는 접근법을 사용했습니다. CTC는 RNN(순환 신경망)이 사전 분할된 학습 데이터 없이도 오디오와 출력 텍스트 사이의 정렬을 스스로 학습할 수 있게 해주었습니다. 2014에서 Graves와 동료들은 음성을 문자로 직접 전사할 수 있는 CTC 기반 RNN을 시연했습니다. 본질적으로, 이 네트워크는 "듣고" 철자를 하나씩 문장으로 풀어내는 법을 학습했으며, 가변 길이와 타이밍을 내부적으로 처리했습니다. 그러나 초기 CTC 모델에는 단점이 있었습니다. 출력 문자들 사이의 독립성을 가정했기 때문에, 최종 출력을 교정하기 위해 여전히 외부 언어 모델에 의존해야 했습니다(문장이 말이 되도록 하기 위해서였죠). 그런 추가 도움 없이는 때때로 엉뚱한 철자 오류를 내거나 횡설수설하는 출력을 내곤 했습니다.

다음 도약은 어텐션 기반 시퀀스-투-시퀀스 모델과 함께 찾아왔습니다. 2016에서 학계와 업계의 연구자들(예: Carnegie Mellon, Google Brain, University of Montreal)은 어텐션 메커니즘을 사용하는 인코더-디코더 아키텍처를 갖춘 시스템을 소개했습니다. *"Listen, Attend and Spell"*이라는 이름에 걸맞게, 이 접근법은 인코더 네트워크가 입력 오디오를 고수준 특징 표현으로 소화하고, 디코더 네트워크가 인코더의 출력에 주의를 기울여 텍스트 문자를 하나씩 생성했습니다. 즉, 인식된 음성을 효과적으로 "철자로 풀어내는" 것이었습니다. 어텐션 메커니즘은 모델이 각 문자를 생성할 때 오디오의 다른 부분에 동적으로 집중할 수 있게 해주었는데, 이는 사람 전사자가 동시에 듣고 쓰면서 현재 위치를 추적하는 것과 다소 비슷합니다. 이러한 어텐션 기반 모델은 별도의 발음 사전이나 언어 모델이 필요하지 않았습니다. 이론적으로는 원시 오디오-텍스트 매핑만으로 모든 것을 학습할 수 있었습니다. 2016 말까지, 이러한 모델들은 일부 벤치마크에서 CTC 기반 시스템과 동등하거나 심지어 능가했습니다. 그리고 중요한 점은, 엔드투엔드 모델이 배포하기 더 간단하다는 것입니다. 예를 들어 휴대폰에 5 GB n-gram 언어 모델을 탑재할 필요가 없습니다. 이로 인해 처음으로 온디바이스 음성 인식을 고려하는 것이 현실적이 되었고, 이는 프라이버시와 오프라인 사용 측면에서 매력적입니다.

그 이후로 우리는 계속된 개선을 보아 왔습니다. RNN-Transducers(CTC와 어텐션의 아이디어를 결합한 변형)와 같은 변형들, 그리고 음성에 **합성곱 신경망(CNN)**과 트랜스포머 같은 더 새로운 신경 아키텍처의 도입이 있었습니다. 예를 들어, 2019에서 NVIDIA는 CNN 레이어로 고도로 최적화된 엔드투엔드 모델(Jasper와 QuartzNet 같은 눈에 띄는 이름들)을 발표하여 특정 테스트 세트에서 약 **3%**의 단어 오류율을 달성했습니다. 그러한 수치는 마지막 몇 개의 오류가 인간 전사본에 오류가 있었기 때문일 수도 있는 지점에 접근하고 있습니다. 더욱이, 자기 어텐션을 갖춘 트랜스포머 기반 모델(텍스트 처리에 혁명을 일으킨 것으로 유명한)은 음성에 적용되어 큰 성공을 거두었고, 2020년대에 더 빠르고 훨씬 더 정확한 시스템을 우리에게 선사했습니다.

또 다른 현대적 트렌드는 비지도 및 준지도 학습을 활용하는 것입니다. Facebook의 wav2vec 2.0(한 가지 예를 들자면)와 같은 최근 시스템들은 전사본 없이 수백만 시간의 음성을 사실상 들으면서 소리의 구조를 학습함으로써 레이블 없는 오디오로부터 배울 수 있습니다. 그런 다음, 더 적은 양의 레이블된 데이터로 전사를 수행하도록 미세 조정합니다. 이는 핵심 문제를 해결합니다. 세계 대부분의 언어는 학습할 거대한 전사 데이터셋을 가지고 있지 않습니다. 자기지도 학습과 전이 학습은 한 언어(또는 일반 오디오)로 학습된 모델이 훨씬 적은 데이터로 다른 언어나 특수 도메인에 적응될 수 있게 합니다. 이는 고품질 음성 인식을 주요 언어를 넘어 더 많은 애플리케이션으로 확산시키는 데 결정적입니다.

오늘날 음성 인식은 진정으로 일상생활의 일부가 되었습니다. 그것은 우리의 주머니, 부엌, 자동차 속에 있으며 심지어 우리에게 말을 걸어옵니다. 가상 비서는 이를 사용해 타이머를 설정하고 질문에 답합니다. 받아쓰기 소프트웨어는 회의와 의사의 진료 기록을 전사합니다. 고객 서비스 봇은 통화를 분류합니다. 음성 제어 기기가 넘쳐납니다. 딥러닝 접근 방식은 인식을 매우 정확하면서도 실시간으로 만들었습니다. 많은 시스템이 이제 속도와 개인정보 보호를 위해 전적으로 기기 내에서(인터넷 없이) 실행되는 반면, 다른 시스템은 클라우드를 사용해 무거운 처리를 담당하고 지속적으로 개선됩니다. 실제로 현대의 클라우드 기반 음성 서비스는 종종 이중 역할을 수행합니다. 즉, 음성을 텍스트로 변환하여 사용자에게 서비스를 제공하는 동시에, 해당 오디오 조각과 그 결과를 계속 커지는 훈련 데이터에 추가하여 사용자로부터 (익명으로) 학습합니다. 음성 받아쓰기를 사용하거나 Alexa에게 말할 때마다 그 데이터가 무대 뒤에서 모델을 개선하는 데 도움이 될 가능성이 큽니다. 어떤 의미에서 오늘날의 음성 인식기는 결코 학습을 끝내지 않습니다 – 마치 인간이 경험을 쌓는 것처럼, 듣는 각각의 목소리마다 조금씩 개선됩니다.

물론, 여정은 끝나지 않았습니다. 놀라운 진전에도 불구하고 과제는 남아 있습니다. 인간의 언어는 놀랍도록 다양하며, AI는 때때로 그것에 어려움을 겪습니다. 강한 지역 억양이나 방언은 훈련되지 않은 시스템을 여전히 혼란에 빠뜨릴 수 있습니다. 배경 소음과 다중 화자 상황(예: 활기찬 저녁 식사 대화를 전사하는 것)은 여전히 어려운 시나리오입니다. 그리고 소수의 주요 언어(영어, 중국어, 스페인어 등)는 거의 최첨단 인식을 누리지만, 좋은 음성 인식이 아직 제공되지 않는 수천 개의 언어(그리고 훨씬 더 많은 방언)가 있습니다. 다음 개척지는 더 포용적인 데이터셋을 구축하거나 교차 언어 학습 기법을 사용하여 기술을 모든 사람과 모든 언어로 확장하는 것입니다.

그럼에도 불구하고, 음성 인식의 궤적은 낙관할 충분한 이유를 제공합니다. 70년 이상의 기간 동안 우리는 열 개의 고립된 숫자를 겨우 인식하던 기계에서 95–99% 정확도로 유창한 음성을 실시간으로 전사할 수 있는 소프트웨어로 발전했습니다. 각 시대는 이전 시대를 기반으로 쌓였습니다. 초기 발명가들은 음성이 포착될 수 있음을 증명했습니다. DARPA 시대는 확률적 모델링의 힘을 도입했습니다. 1980년대는 규모 확장을 위한 통계적 알고리즘을 확립했습니다. 1990년대는 소비자가 접근할 수 있게 만들었습니다. 그리고 2010년대는 마침내 인간 수준 성능의 코드를 해독한 학습 기계를 도입했습니다. 그것은 끊임없는 혁신의 역사이며, 종종 진전은 단속적으로 일어났습니다 – 느린 수십 년의 연구가 이어지다가 컴퓨팅이나 알고리즘이 따라잡을 때 갑작스러운 도약이 일어났습니다.

Audrey에서 Siri까지, 고립된 단어에서 전체 대화까지, 음성 인식은 성숙하고 없어서는 안 될 기술로 진화했습니다. 그리고 여전히 진화하고 있습니다 – 우리의 기기가 계속 듣고(그리고 우리가 바라건대, 이해하면서) 경험은 조금씩 더 나아집니다. 우리는 아직 스타트렉의 함선 엔터프라이즈호에 있는 완전한 대화형 컴퓨터를 갖지 못했을지 모르지만, 그 어느 때보다 가까워졌습니다. 한 전문가가 적절히 언급했듯이, 오늘날의 AI 음성 시스템은 *“인간 언어 자체만큼 역동적이고 창의적”*이며, 우리가 그들에게 말할 때 지속적으로 학습하고 적응합니다. 다시 말해, 음성 인식의 이야기는 아직 끝나지 않았습니다 – 그러나 지금까지 얼마나 놀라운 이야기였는지요.

더 읽을거리 및 출처

  1. Computer History Museum. "Timeline of Speech Recognition Milestones" (Article)

  2. Pierce, J.R. "Whither Speech Recognition?" – The Journal of the Acoustical Society of America (1969)

  3. Zhou, B. "Speech Recognition: From Research to Practice" – Stanford EE 292C Lecture Notes (2017)

  4. Hinton, G. et al. "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups" – IEEE Signal Processing Magazine (2012)

  5. Baker, J. "Trainable Grammars for Speech Recognition" – Proceedings of the DARPA Speech and Natural Language Workshop (1990)

  6. Deng, L. & Li, X. "Machine Learning Paradigms for Speech Recognition: An Overview" – IEEE Transactions on Audio, Speech, and Language Processing (2013)

  7. Jelinek, F. "음성 인식을 위한 통계적 방법" – MIT Press (1997)

  8. Schmidhuber, J. "신경망에서의 딥 러닝: 개요" – Neural Networks (2015)

  9. IBM 아카이브. "IBM Shoebox: 음성 활성화 계산기 데모" (역사 전시)

  10. Rabiner, L. & Juang, B.H. "음성 인식의 기초" – Prentice Hall (1993)

  11. Lee, K.F. "은닉 마르코프 모델을 이용한 화자 독립 음소 인식" – IEEE 음향, 음성 및 신호 처리 학회지 (1989)

  12. Meeker, M. "인터넷 트렌드 보고서" – Kleiner Perkins (2017)

  13. Graves, A. 외. "연결주의 시간 분류: 순환 신경망을 이용한 비분할 시퀀스 데이터 라벨링" (PDF 논문, 2006)

  14. Xiong, W. 외. "대화형 음성 인식에서 인간 수준 달성" – Microsoft Research (2016)

  15. Norvig, P. "촘스키와 통계적 학습의 두 문화에 관하여" – The Atlantic (2011)

  16. Hinton, G. 외. "심층 신뢰 신경망을 위한 빠른 학습 알고리즘" – Neural Computation (2006)

  17. Glass, J. "음성 인식의 역사적 관점" – MIT Spoken Language Systems (2003)

  18. Amodei, D. 외. "Deep Speech 2: 영어와 중국어의 종단 간 음성 인식" (arXiv 논문, 2016)

  19. Hannun, A. 외. "Deep Speech: 종단 간 음성 인식 확장" (arXiv 논문, 2014)

  20. Mohamed, A. 외. "딥 러닝을 이용한 음성 인식: 발전과 동향" – IEEE Signal Processing Magazine (2019)

  21. Saon, G. 외. "인간과 기계에 의한 영어 대화형 전화 음성 인식" – IBM Research (2017)

  22. LeCun, Y., Bengio, Y., & Hinton, G. "딥 러닝" – Nature (2015)

  23. Hinton, G. 외. "음향 모델링을 위한 심층 신뢰 신경망" (PDF 논문, 2012)

← 전체 글

더 읽어 보기

전체 글 보기

전사 시작하기

일일 제한 없이 전체 전사문을 무료로 받아보세요. 업계 최고 수준의 정확도를 V4-Pro로 경험해 보세요.

무료로 전사 시작하기