ข้ามไปยังบทความ

จากออดรีย์สู่การเรียนรู้เชิงลึก: ประวัติศาสตร์อันยิ่งใหญ่ของการรู้จำเสียงพูด

จากออดรีย์สู่การเรียนรู้เชิงลึก: ประวัติศาสตร์อันยิ่งใหญ่ของการรู้จำเสียงพูด

น้อยเทคโนโลยีใดเดินทางบนเส้นทางที่คดเคี้ยวเท่าการรู้จำเสียงพูด หลายทศวรรษก่อนที่เราจะถามสภาพอากาศจากสมาร์ทโฟนอย่างสบายๆ นิยายวิทยาศาสตร์ได้ฝันถึงคอมพิวเตอร์ที่พูดได้ – ตั้งแต่ลูกเรือ Star Trek ที่สนทนากับยานอวกาศของพวกเขา ไปจนถึง HAL 9000 ใน 2001: A Space Odyssey การเปลี่ยนจินตนาการนั้นให้เป็นจริงต้องใช้ นักวิจัยหลายรุ่น ความก้าวหน้าอย่างต่อเนื่อง และบางครั้งก็เป็นการก้าวกระโดดของความเชื่อ เสียงอาจรู้สึกเหมือนเวทมนตร์ แต่เบื้องหลังมีเรื่องราวของ การทดลองในยุคแรก การแสวงหาที่ได้รับการสนับสนุนจากรัฐ การปฏิวัติทางสถิติ และการเพิ่มขึ้นของ深度学习 บทความนี้สำรวจการเดินทางนั้นทีละยุค – เทคนิคสำคัญ ผู้คน บริษัท และเหตุการณ์สำคัญที่นำเราจากอุปกรณ์เสียงที่เทอะทะในทศวรรษ 1950 ไปสู่ความแม่นยำใกล้เคียงมนุษย์ของระบบ AI ในปัจจุบัน

ความฝันในยุคแรกและเครื่องจักรพูดได้เครื่องแรก (ทศวรรษ 1950–1960)

การวิจัย การรู้จำเสียง เริ่มต้นขึ้นอย่างแท้จริงในทศวรรษ 1950 แม้ว่าความปรารถนาที่จะสื่อสารกับเครื่องจักรจะมีมาเก่าแก่กว่านั้น ห้องปฏิบัติการ Bell เป็นผู้นำในปี 1952 โดยการสร้างอุปกรณ์ที่ตั้งชื่ออย่างมีเสน่ห์ว่า “Audrey” (Automatic Digit Recognizer) Audrey ของ Bell Labs (1952) เป็นเครื่องรู้จำเสียงพูดบุกเบิกที่สามารถจดจำตัวเลขที่พูด 0 ถึง 9 – แม้จะเฉพาะเสียงเดียว (ของผู้สร้าง) และใช้วงจรแอนะล็อกขนาดมหึมา Audrey น่าประทับใจสำหรับยุคของมัน: มันบรรลุความแม่นยำประมาณ 90% กับเสียงของผู้ประดิษฐ์ แต่ประสิทธิภาพลดลงสำหรับผู้พูดคนอื่น ระบบต้อง “เรียนรู้” เล็กน้อยกับเสียงของผู้ใช้ใหม่แต่ละคน และ ยังห่างไกลจากการใช้งานจริง – มันสูงกว่าคน เต็มไปด้วยหลอดสุญญากาศ และใช้พลังงานมหาศาล อย่างไรก็ตาม Audrey พิสูจน์ว่าเครื่องจักรสามารถ ฟัง เสียงพูดของมนุษย์ได้ในขอบเขตจำกัด โดยจดจำคำศัพท์ง่ายๆ (ตัวเลข ศูนย์ ถึง เก้า)

การสาธิต “Shoebox” ของ IBM (1962) แสดงเครื่องคิดเลขที่ควบคุมด้วยเสียงในยุคแรกซึ่งจดจำคำพูด 16 คำ (ตัวเลขและคำสั่งพื้นฐาน) ทศวรรษหลังจาก Audrey IBM เปิดตัว Shoebox ที่งาน World’s Fair 1962 – อุปกรณ์ที่สามารถเข้าใจตัวเลข 0–9 และคำควบคุมไม่กี่คำ (“บวก”, “ลบ”, “รวม,” ฯลฯ) Shoebox แท้จริงแล้วเป็นเครื่องบวกเลขที่ควบคุมด้วยเสียง ทั่วโลก การทดลองที่คล้ายกันกำลังผุดขึ้น: นักวิจัยใน อังกฤษ ญี่ปุ่น และที่อื่นๆ สร้างระบบต้นแบบที่สามารถจดจำชุดพยางค์หรือคำที่จำกัดมากๆ ได้ ในช่วงปลายทศวรรษ 1960 ห้องปฏิบัติการบางแห่งมีฮาร์ดแวร์ที่จดจำองค์ประกอบทางเสียงชุดเล็กๆ (ตัวอย่างเช่น สระและพยัญชนะจำนวนหนึ่ง) เป็นบันไดสู่คำ

ระบบในยุคแรกเหล่านี้เป็นระบบที่ถูกกำหนดตายตัวและเฉพาะงาน โดยทั่วไปแล้วมันทำงานได้เฉพาะกับคำโดด (ทีละคำ โดยมีช่วงหยุดระหว่างคำ) และมักจะทำงานได้เฉพาะกับผู้พูดที่ฝึกมันเท่านั้น ในช่วงปลายทศวรรษ 1960 นักวิจัยรุ่นใหม่ผู้เฉลียวฉลาดชื่อ Raj Reddy – ซึ่งขณะนั้นเป็นนักศึกษาปริญญาเอกที่ Stanford – กล้าเผชิญกับความท้าทายที่ใหญ่กว่า: การทำให้คอมพิวเตอร์เข้าใจคำพูดต่อเนื่องโดยไม่มีช่วงหยุด โดยใช้หนึ่งในคอมพิวเตอร์ DEC PDP-1 เครื่องแรกที่มีตัวแปลงแอนะล็อกเป็นดิจิทัลแบบพิเศษ Reddy ได้สร้างตัวรู้จำสระแบบพื้นฐานและบุกเบิกเทคนิคสำหรับการรู้จำคำพูดต่อเนื่อง งานของเขาเป็นสัญญาณถึงอนาคตที่ผู้คนไม่จำเป็นต้อง...พูด...แบบ...นี้...เพื่อให้เครื่องจักรเข้าใจ แต่ถึงกระนั้น ข้อจำกัดทางเทคโนโลยีของทศวรรษ 1950–60 ก็รุนแรงมาก: มีทรานซิสเตอร์หรือหน่วยความจำน้อยมากที่จะจัดการกับข้อมูลมหาศาลที่คำพูดสร้างขึ้น และยังไม่มีข้อตกลงร่วมกันเกี่ยวกับวิธีการเขียนโปรแกรมเครื่องให้ถอดรหัสความซับซ้อนของภาษามนุษย์ แต่ทั้งหมดนั้นกำลังจะเปลี่ยนไปด้วยแรงผลักดันจากผู้สนับสนุนรายใหม่: กระทรวงกลาโหมสหรัฐฯ

ทศวรรษ 1970: เงินทุนจากกลาโหมและการเปลี่ยนสู่สถิติ

ภายในปี 1971 DARPA (หน่วยงานโครงการวิจัยขั้นสูงด้านกลาโหม) ได้เปิดตัวโครงการห้าปีอันกล้าหาญเพื่อกระตุ้นความก้าวหน้าในการเข้าใจคำพูด เป้าหมายนั้นทะเยอทะยาน – ระบบที่สามารถรู้จำคำได้อย่างน้อย 1,000 คำ (ประมาณคำศัพท์ของเด็กอายุ 3 ปี) ภายในกลางทศวรรษ 1970 สถาบันชั้นนำหลายแห่ง รวมถึงมหาวิทยาลัย Carnegie Mellon (ที่ Raj Reddy ได้เป็นศาสตราจารย์) ได้รับทุนเพื่อสำรวจแนวทางที่แตกต่างกัน ในเวลานี้ ปรัชญาการรู้จำคำพูดสองแนวทางกำลังแข่งขันกัน:

  • การจับคู่แม่แบบ: แนวทางหนึ่งให้คอมพิวเตอร์เก็บแม่แบบที่บันทึกไว้ของคำและพยายามจับคู่เสียงคำพูดที่เข้ามากับแม่แบบเหล่านั้น เนื่องจากผู้คนพูดด้วยความเร็วที่แตกต่างกัน จึงใช้เทคนิคที่เรียกว่า ไดนามิกไทม์วอร์ปิง เพื่อยืดหรือหดแกนเวลาของรูปแบบที่บันทึกไว้ให้สอดคล้องกับอินพุตใหม่ คิดว่ามันเป็นเกมจับคู่เสียง – ถ้ารูปคลื่นของ "hello" ที่เข้ามาดูเหมือนเวอร์ชันที่เปลี่ยนความเร็วของ "hello" ที่เก็บไว้ ก็จะถูกรู้จำ สิ่งนี้ทำงานได้ดีสำหรับคำศัพท์ที่มีขนาดเล็กมาก แต่ลำบากเมื่อคำศัพท์มีมากขึ้นหรือคำพูดมีความหลากหลาย

  • AI แบบอิงกฎด้วยความรู้ทางภาษา: อีกแนวทางหนึ่งพยายามผสานความรู้ของมนุษย์เกี่ยวกับภาษาเข้าด้วยกัน นักวิจัยเขียน กฎทางภาษาศาสตร์ที่ซับซ้อน – กฎสัทศาสตร์สำหรับเสียง กฎศัพท์สำหรับคำ กฎวากยสัมพันธ์สำหรับประโยค ฯลฯ – เพื่อชี้นำการรู้จำ ระบบจะวิเคราะห์คำพูดในหลายระดับและพยายาม “เดา” การตีความที่ดีที่สุดโดยใช้กฎเหล่านี้ คล้ายกับระบบผู้เชี่ยวชาญ สิ่งนี้ดึงดูดทางสติปัญญาเพราะสะท้อนวิธีที่นักภาษาศาสตร์อาจเข้าหาปัญหา แต่มันยากอย่างยิ่งที่จะสร้างชุดกฎที่สมบูรณ์สำหรับคำพูดในโลกจริง

ในระยะแรก ผู้เชี่ยวชาญหลายคนเชื่อว่าการจะพัฒนาการรู้จำเสียงพูดได้นั้นต้องสร้างความฉลาดทางภาษาเข้าไปเท่านั้น อย่างไรก็ตาม ข้อค้นพบพื้นฐานจากทฤษฎีสารสนเทศเริ่มทำให้ดุลเอียงไปสู่แนวทางที่แตกต่างออกไป คล็อด แชนนอน บิดาแห่งทฤษฎีสารสนเทศ ได้แสดงให้เห็นถึงความสามารถในการคาดเดาของภาษาผ่านการทดลองอันโด่งดังใน 1951 เขาให้เบตตี แชนนอน ภรรยาของเขาลองเดาข้อความทีละตัวอักษรจากนวนิยายเรื่องหนึ่ง – เมื่อรู้ตัวอักษรสองสามตัวแรก เบตตีก็สามารถคาดเดาตัวอักษรและคำที่เหลือได้อย่างแม่นยำหลายตัว สิ่งนี้แสดงให้เห็นว่าภาษามนุษย์มีความซ้ำซ้อนและเป็นสถิติสูง – เสียงและคำบางคำมีโอกาสสูงกว่ามากเมื่อพิจารณาจากบริบทของสิ่งที่มาก่อน สำหรับการรู้จำเสียงพูด นี่หมายความว่าคอมพิวเตอร์สามารถใช้ความน่าจะเป็นและบริบทเพื่อจำกัดความเป็นไปได้ของสิ่งที่คนพูด แทนที่จะพึ่งพาการจับคู่รูปคลื่นตามตัวอักษรหรือกฎที่สร้างด้วยมือเพียงอย่างเดียว

การยอมรับแนวคิดนี้ในตอนแรกเป็นที่ถกเถียง – มันดู*“ขัดกับสัญชาตญาณ”*สำหรับวิศวกรบางคนที่ชื่นชอบการให้เหตุผลแบบ AI ที่ชัดเจน แต่เมื่อโครงการ DARPA ดำเนินไป วิธีการที่อิงสถิติเริ่มโดดเด่น ตัวอย่างเช่น ทีมของ Carnegie Mellon สร้างระบบที่ชื่อ Harpy ซึ่งบรรลุเป้าหมายคำศัพท์ 1,000 คำภายในปี 1976 Harpy แนะนำเทคนิคที่เรียกว่า beam search เพื่อค้นหาลำดับคำที่เป็นไปได้อย่างมีประสิทธิภาพและประเมินว่าลำดับใดสมเหตุสมผลตามบริบท โดยพื้นฐานแล้ว Harpy สามารถรู้จำประโยคทั้งหมดและใช้แบบจำลองภาษา (แบบจำลองทางสถิติของลำดับคำ) เพื่อตัดสินใจระหว่างการตีความเสียงที่กำกวม นี่คือก้าวกระโดดครั้งใหญ่: Harpy เข้าใจไม่เพียงคำเดี่ยว ๆ แต่ยังเข้าใจคำพูดต่อเนื่องในประโยค ภายใต้ข้อจำกัดของคำศัพท์ที่มีอยู่ คลังคำ 1,011 คำและกลยุทธ์การถอดรหัสอัจฉริยะของมันเทียบได้กับความสามารถของเด็กเล็ก – เด็กสามขวบที่ไม่เคยวอกแวก

ในขณะเดียวกัน นักวิจัยรุ่นใหม่ชื่อ เจมส์ "จิม" เบเกอร์ (และภรรยาของเขา เจเน็ต เบเกอร์) กำลังทำงานในโครงการอื่นที่ได้รับทุนจาก DARPA ที่ CMU ใน 1974 พวกเขาได้พัฒนาระบบ DRAGON ซึ่งก้าวหน้าอย่างกล้าหาญด้วยการใช้การสร้างแบบจำลองทางสถิติล้วนๆ สำหรับเสียงพูด วิทยานิพนธ์ระดับปริญญาเอกของจิม เบเกอร์ใน 1975 ได้แนะนำการใช้แบบจำลองมาร์คอฟที่ซ่อนเร้น (HMMs) สำหรับการรู้จำเสียงพูด – ซึ่งเป็นกรอบความน่าจะเป็นที่ถือว่าเสียงพูดเป็นลำดับของสถานะทางสถิติ ในระบบที่ใช้ HMM จะไม่พยายามจับคู่แม่แบบที่บันทึกไว้อย่างแม่นยำ แต่คอมพิวเตอร์จะได้รับการฝึกฝนจากข้อมูลตัวอย่างเพื่อประมาณค่าความน่าจะเป็นของเสียงหรือคำบางคำที่เกิดขึ้นตามลำดับ หากฟังดูเป็นนามธรรม ตัวอย่างที่เข้าใจง่ายคือ: ลองจินตนาการว่าพยายามเข้าใจคำพูดที่อู้อี้ของเพื่อนโดยพิจารณาว่าคำใดที่น่าจะเป็นคำที่พวกเขากำลังพูดในบริบทนั้น HMM มอบวิธีทางคณิตศาสตร์อันทรงพลังให้กับการรู้จำเสียงพูดเพื่อทำเช่นนั้น – เพื่อจำลองความไม่แน่นอนในเสียงและตัดสินใจเลือกลำดับคำที่น่าจะเป็นไปได้มากที่สุด ระบบ Dragon ของตระกูลเบเกอร์ได้แสดงให้เห็นว่าการรู้จำเสียงพูดต่อเนื่องที่มีคำศัพท์จำนวนมากเป็นไปได้ด้วยวิธีการทางสถิติ นี่คือจุดเปลี่ยน: มันแสดงให้เห็นว่าคุณสามารถ "สอน" เครื่องจักรโดยใช้ข้อมูลและความน่าจะเป็น แทนที่จะเขียนโปรแกรมด้วยกฎทางภาษาที่ไม่มีที่สิ้นสุด

ระบบที่โดดเด่นอื่นๆ อีกหลายระบบเกิดขึ้นจากความพยายามของ DARPA ในช่วง 1971–76 ตัวอย่างเช่น Hearsay-II ได้สำรวจ**สถาปัตยกรรม "กระดานดำ"**แบบผสมผสาน ที่ซึ่งแหล่งความรู้หลายแหล่ง (สัทศาสตร์เชิงเสียง วากยสัมพันธ์ อรรถศาสตร์ ฯลฯ) ร่วมมือกันถอดรหัสเสียงพูด โดยเขียนสมมติฐานบางส่วนลงบนกระดานดำเสมือนเพื่อให้ผู้อื่นปรับปรุงต่อไป นี่เป็นการพยายามในช่วงแรกที่จะผสมผสานวิธีการทางสถิติและวิธีการบนฐานความรู้ – แม้จะสง่างาม แต่ก็ซับซ้อนและใช้การคำนวณหนักมากสำหรับยุคสมัยนั้น เมื่อสิ้นสุดทศวรรษ 1970 จากโครงการเหล่านี้ สาขานี้ได้พิสูจน์แล้วว่าการที่เครื่องจักรเข้าใจภาษาพูดนั้นเป็นไปได้ อย่างน้อยในขอบเขตจำกัด แต่ประสิทธิภาพยังห่างไกลจากความสมบูรณ์แบบ และนอกห้องปฏิบัติการ ระบบเหล่านี้ยังไม่สามารถใช้งานได้จริง อย่างไรก็ตาม เวทีได้ถูกจัดเตรียมไว้สำหรับการปรับปรุงอย่างรวดเร็วเมื่อพลังการคำนวณเติบโตขึ้นในทศวรรษต่อๆ มา

ทศวรรษ 1980: แบบจำลองมาร์คอฟที่ซ่อนเร้นเข้ามาครอง

ช่วงทศวรรษ 1980 การรู้จำเสียงพูดเปลี่ยนทิศทางอย่างชัดเจนไปสู่วิธีการทางสถิติ โดยเฉพาะ Hidden Markov Models ตัวกระตุ้นสำคัญประการหนึ่งคือการลงทุนรอบใหม่ของรัฐบาลสหรัฐฯ ในงานวิจัยด้านเสียงพูดที่เริ่มต้นในปี 1984 ประกอบกับการสร้างชุดข้อมูลมาตรฐานและเกณฑ์การประเมิน องค์กรอย่าง National Institute of Standards and Technology (NIST) ได้ประสานการทดสอบประจำปีบนฐานข้อมูลร่วมกัน ซึ่งกระตุ้นการแข่งขันและความก้าวหน้าที่วัดผลได้ในหมู่กลุ่มวิจัย (ที่ CMU, SRI, BBN, MIT, Bell Labs และอื่น ๆ) เป็นครั้งแรกที่ทุกคนพูดภาษาเดียวกัน – คือใช้คลังทดสอบชุดเดียวกันอย่างแท้จริง – ซึ่งทำให้สามารถเปรียบเทียบเทคนิคได้โดยตรงและวนซ้ำได้อย่างรวดเร็ว

ในช่วงนี้ อัลกอริทึม Hidden Markov Model (HMM) กลายเป็นเทคโนโลยีหลักสำหรับการรู้จำเสียงพูด HMM กลายเป็นสิ่งที่เข้ากันได้อย่างสมบูรณ์แบบกับลักษณะเชิงลำดับและแปรผันของเสียงพูด ด้วยการหั่นคำพูดออกเป็นเฟรม (ชิ้นเวลาขนาดเล็ก) และสร้างแบบจำลองทางสถิติของความเป็นไปได้ของเสียงและการเปลี่ยนผ่านต่าง ๆ ระบบที่ใช้ HMM สามารถ**“เรียนรู้” รูปแบบเสียงจากข้อมูลได้ สำคัญพอ ๆ กันคือพวกมันสามารถผนวกแบบจำลองภาษา** – ความน่าจะเป็นของลำดับคำ – เพื่อสร้างการคาดเดาการถอดความที่สอดคล้องกัน ผลลัพธ์คือการเพิ่มขึ้นอย่างมากของขนาดคำศัพท์และความแม่นยำ จากไม่กี่ร้อยคำในทศวรรษ 1970 เป็นหลายพันคำภายในกลางทศวรรษ 1980 ตัวอย่างเช่น ที่ IBM ทีมที่นำโดย Fred Jelinek ยอมรับแนวทางความน่าจะเป็นอย่างเต็มที่ พวกเขาพัฒนาระบบที่มีชื่อรหัสว่า Tangora มุ่งเป้าไปที่การเขียนตามคำบอกในสำนักงาน ซึ่งภายในปี 1985 มีรายงานว่าสามารถรู้จำคำศัพท์ 20,000 คำได้โดยใช้ HMM และแบบจำลองภาษาแบบ bigram/trigram (Tangora ตั้งชื่อได้เหมาะสมตามแชมป์การพิมพ์เร็วชาวอเมริกัน ซึ่งเน้นย้ำเป้าหมายของ IBM ในการบรรลุการเขียนตามคำบอกที่รวดเร็วและมีประสิทธิภาพ)

ในขณะเดียวกัน ตระกูล Baker (Jim และ Janet) ก็ออกจากวงวิชาการเพื่อนำแนวคิดของพวกเขาไป商业化 พวกเขาก่อตั้ง Dragon Systems ในปี 1982 มุ่งมั่นที่จะนำการรู้จำเสียงพูดไปสู่ผลิตภัณฑ์จริง ความสำเร็จในช่วงแรกเกิดขึ้นเมื่อซอฟต์แวร์ของ Dragon ได้รับอนุญาตให้ใช้กับ Apricot PC ในปี 1984 – ทำให้คอมพิวเตอร์ Apricot ที่ผลิตในอังกฤษเครื่องนั้นเป็นคอมพิวเตอร์ส่วนบุคคลเครื่องแรกที่มีความสามารถในการรู้จำเสียงพูดในตัว สิ่งนี้ยัง primitive เมื่อเทียบกับมาตรฐานปัจจุบัน (ระบบน่าจะรองรับชุดคำสั่งขนาดเล็ก) แต่มันเป็นสัญญาณ的开始ของการเปลี่ยนเทคโนโลยีเสียงพูดจากห้องวิจัยไปสู่ตลาด

ความก้าวหน้าครั้งสำคัญในช่วงปลายทศวรรษ 1980 คือการบรรลุการรู้จำเสียงแบบ ไม่ขึ้นกับผู้พูด – ระบบที่ไม่จำเป็นต้องฝึกฝนอย่างมากกับเสียงของผู้ใช้คนใดคนหนึ่งอีกต่อไป ในปี 1987 Kai-Fu Lee นักศึกษาปริญญาเอกภายใต้การดูแลของ Raj Reddy ได้พัฒนา CMU Sphinx ซึ่งได้รับการยกย่องว่าเป็น ระบบรู้จำเสียงพูดต่อเนื่องแบบไม่ขึ้นกับผู้พูดระบบแรก Sphinx รวมสิ่งที่ดีที่สุดของนวัตกรรมในทศวรรษก่อนหน้าเข้าด้วยกัน: มันใช้ อัลกอริทึม HMM ของ Bakers และกลยุทธ์การค้นหาแบบ beam search จาก Harpy แต่ตอนนี้ระบบเดียวสามารถรองรับเสียงได้หลายแบบโดยไม่ต้องฝึกใหม่เป็นรายบุคคล นี่เป็นสิ่งสำคัญยิ่ง การที่ผู้ใช้ต้องใช้เวลาหลายชั่วโมงในการฝึกระบบเคยเป็นอุปสรรคใหญ่ต่อการใช้งานจริง (ก่อน Sphinx ระบบบางระบบต้องให้คุณพูดคำหลายพันคำเพื่อฝึกมัน – เป็นข้อเสนอที่ขายยากสำหรับผู้บริโภค!) ด้วยความเป็นอิสระจากผู้พูด วิสัยทัศน์ของอินเทอร์เฟซเสียงที่ใช้งานได้ทั่วไปจึงใกล้เข้ามามากขึ้น เมื่อสิ้นสุดทศวรรษ 1980 คำศัพท์ของระบบชั้นนำได้พองตัวขึ้น การรู้จำเสียงพูดต่อเนื่องที่มีความซับซ้อนทางไวยากรณ์ระดับปานกลางเป็นไปได้ และอัตราความผิดพลาดยังคงลดลงอย่างช้าๆ สิ่งที่เคยเป็นความท้าทายใหญ่ของ DARPA ที่มีคำ 1,000 คำได้เติบโตเป็นคำศัพท์กว่า 20,000 คำ และ การรู้จำกำลังคืบหน้าไปสู่อัตราการพูดปกติของมนุษย์

น่าสังเกตว่าในฉากหลังของทศวรรษ 1980 นักวิจัยบางคนกำลังทดลองกับแนวทางที่แตกต่างอย่างสิ้นเชิง: โครงข่ายประสาทเทียม โมเดลโครงข่ายประสาทเทียมในยุคแรก (เช่น time-delay neural nets และ Boltzmann machines) ถูกนำมาทดลองกับงานเสียงพูดขนาดเล็ก เช่น การรู้จำหน่วยเสียง ในช่วงยุคนั้น ที่จริงแล้ว Geoffrey Hinton และคนอื่นๆ ได้พัฒนาอัลกอริทึม backpropagation ในกลางทศวรรษ 1980 ซึ่ง ในทางทฤษฎี สามารถฝึกโครงข่ายประสาทเทียมหลายชั้นเพื่อจำแนกรูปแบบที่ซับซ้อนได้ อย่างไรก็ตาม ในเวลานั้น โครงข่ายประสาทเทียมยังไม่สามารถโค่นล้ม HMM ที่ครองอยู่ได้ เหตุผลเป็นเรื่องปฏิบัติ: กำลังการประมวลผลที่จำกัดและข้อมูลที่ขาดแคลนทำให้โครงข่ายประสาทเทียมยากที่จะโดดเด่นเกินกว่าการสาธิตขนาดเล็ก ดังที่ประวัติศาสตร์ AI เรื่องหนึ่งระบุ โครงข่ายประสาทเทียมผ่านวงจรของการโฆษณาเกินจริงในทศวรรษ ’60 และ ’80 แต่ตกเข้าสู่ “ฤดูหนาว AI” เมื่อไม่สามารถตอบสนองความคาดหวังด้วยฮาร์ดแวร์ในยุคนั้นได้ ดังนั้นตลอดทศวรรษ 1980 ความเคลื่อนไหวในการรู้จำเสียงพูดยังคงศูนย์กลางอยู่ที่แบบจำลองทางสถิติที่ออกแบบอย่างพิถีพิถัน และการวิศวกรรมคุณลักษณะโดยผู้เชี่ยวชาญ และงานนั้นได้ผลตอบแทนเมื่อเราเข้าสู่ทศวรรษ 1990 – ทศวรรษที่เครื่องจักรพูดได้เริ่มเข้าสู่ตลาดผู้บริโภคในที่สุด

ทศวรรษ 1990: จากห้องแล็บสู่ผู้บริโภค (ทำลายความเงียบ)

ในช่วงต้นทศวรรษ 1990 การรู้จำเสียงพูดกำลังเปลี่ยนจากหัวข้อการวิจัยเฉพาะทางไปสู่สิ่งที่สามารถบรรจุเป็นผลิตภัณฑ์เชิงพาณิชย์ได้ คอมพิวเตอร์ส่วนบุคคลเร็วพอที่จะรันระบบเสียงพูดแบบง่ายในแบบเรียลไทม์ และบริษัทต่างๆ มองเห็นศักยภาพในซอฟต์แวร์เขียนตามคำบอกและอินเทอร์เฟซที่ควบคุมด้วยเสียง อย่างไรก็ตาม ผลิตภัณฑ์กลุ่มแรกมาพร้อมข้อจำกัดที่สำคัญ ในปี 1990 Dragon Systems เปิดตัว Dragon Dictate ซึ่งได้รับการยกย่องว่าเป็นผลิตภัณฑ์รู้จำเสียงพูดตัวแรกสำหรับผู้บริโภค มันทำงานบนพีซีระดับสูงและอนุญาตให้ผู้ใช้ป้อนข้อความด้วยเสียง… แต่มีเงื่อนไข: คุณต้องพูดทีละ… คำ… เท่านั้น โดยหยุดชะงักระหว่างแต่ละคำอย่างตั้งใจ โหมด “การพูดแบบไม่ต่อเนื่อง” นี้จำเป็นเนื่องจากกำลังประมวลผลที่จำกัดและโมเดลที่ล้ำหน้าน้อยกว่า – การพูดต่อเนื่องนั้นยากเกินกว่าจะจัดการได้ในแบบเรียลไทม์บนพีซีในยุคนั้น แม้จะมีรูปแบบที่ไม่เป็นธรรมชาติเช่นนี้ สำหรับผู้ใช้บางคน (โดยเฉพาะผู้ที่ไม่สามารถใช้คีย์บอร์ดได้อย่างสะดวก) การสามารถแต่งข้อความด้วยเสียงได้ถือเป็นการปฏิวัติเลยทีเดียว

ตลอดทศวรรษ 1990 มีการปรับปรุงอย่างรวดเร็วทั้งในด้านอัลกอริทึมและการประมวลผล นักวิจัยได้ปรับปรุงโมเดล HMM ของตน เพิ่มวิธีการสกัดคุณลักษณะที่ดีขึ้น (เช่น MFCC – สัมประสิทธิ์เซพสตรัลตามความถี่เมล ซึ่งจับลักษณะทิมเบรของเสียงพูด) และใช้คลังข้อมูลการฝึกที่ใหญ่ขึ้น คอมพิวเตอร์ตามกฎของมัวร์เร็วขึ้นอย่างมากและสามารถจัดการการคำนวณที่ซับซ้อนมากขึ้นได้ เมื่อถึงกลางทศวรรษ 90 ความฝันเรื่องการป้อนเสียงพูดแบบต่อเนื่องและเป็นธรรมชาติบนพีซีก็เป็นจริง ในปี 1997 Dragon Systems เปิดตัว Dragon NaturallySpeaking ซึ่งเป็นครั้งแรกที่ให้ผู้ใช้เขียนตามคำบอกในลักษณะลื่นไหลปกติ – ถึง 100 คำต่อนาที – โดยไม่ต้องหยุดระหว่างคำ มันไม่ได้สมบูรณ์แบบ (ผู้ใช้ยังต้องฝึกเบื้องต้นและซอฟต์แวร์ทำงานได้ดีที่สุดหากคุณพูดชัดเจนและค่อนข้างสม่ำเสมอ) แต่มันเป็นความก้าวหน้าครั้งสำคัญในด้านการใช้งาน ในปีแรก NaturallySpeaking เป็นผลิตภัณฑ์ที่ประสบความสำเร็จอย่างสูง ซึ่งบ่งชี้ถึงความต้องการการพิมพ์ด้วยเสียงที่แข็งแกร่งแม้จะยังมีข้อบกพร่องเหลืออยู่ (ไม่ต้องปวดเมื่อยจากการพิมพ์เอกสารยาวอีกต่อไป – ตอนนี้คุณอาจได้มันจากการพูดกับคอมพิวเตอร์แทน!)

NaturallySpeaking ไม่ได้อยู่คนเดียว IBM ก็มีความเคลื่อนไหวเช่นกัน โดยใช้ประโยชน์จากประวัติศาสตร์อันยาวนานในสาขานี้ ใน 1996 IBM เปิดตัว MedSpeak ผลิตภัณฑ์รู้จำเสียงพูดแบบต่อเนื่องที่ออกแบบมาสำหรับแพทย์ (เพื่อสั่งการบันทึกทางการแพทย์) – ได้รับการกล่าวถึงว่าเป็นระบบเสียงพูดแบบต่อเนื่องเชิงพาณิชย์ระบบแรกสำหรับโดเมนเฉพาะ IBM ตามมาอย่างรวดเร็วด้วยผลิตภัณฑ์สำหรับผู้บริโภคทั่วไปที่รู้จักในชื่อ IBM ViaVoice ขณะเดียวกัน Microsoft และ Apple ก็กำลังบูรณาการการรู้จำเสียงพูดขั้นพื้นฐานเข้ากับระบบปฏิบัติการของตนเช่นกัน Apple มีฟีเจอร์ที่เรียกว่า PlainTalk (และอินเทอร์เฟซที่รู้จักในชื่อ "Speakable Items") ภายในกลางทศวรรษ 90 ที่ให้ผู้ใช้สามารถออกคำสั่งด้วยเสียงง่ายๆ บน Macintosh Microsoft เสนอ Speech SDK สำหรับ Windows และใน 2000 ได้ฝังการรู้จำเสียงพูดไว้ใน Office XP และต่อมาใน Windows เอง (Windows Vista ใน 2007 มาพร้อมกับการรู้จำเสียงพูดในตัวที่ได้รับการปรับปรุง) ระบบในตัวเหล่านี้มักจู้จี้และถูกใช้งานน้อยโดยผู้บริโภค แต่ก็เป็นสัญญาณว่าการควบคุมด้วยเสียงกำลังกลายเป็น ฟีเจอร์มาตรฐาน มากกว่าความแปลกใหม่แบบนิยายวิทยาศาสตร์

การพัฒนาที่สำคัญอีกประการของทศวรรษ 90 คือการใช้ การรู้จำเสียงพูดในระบบโทรศัพท์ เมื่อสายโทรศัพท์เปลี่ยนเป็นดิจิทัลและการประมวลผลมีราคาถูกลง บริษัทต่างๆ เริ่มติดตั้ง บริการเสียงอัตโนมัติ ใน 1996 BellSouth (บริษัทโทรคมนาคมระดับภูมิภาค) เปิดตัวบริการ "พอร์ทัลเสียง" ที่ลูกค้าสามารถโทรเข้ามาและนำทางเมนูหรือรับข้อมูลโดยการออกคำสั่งด้วยเสียง หากคุณเคย พูดคุยกับระบบตอบรับโทรศัพท์ ("กรุณาพูดหรือกด 1 สำหรับการเรียกเก็บเงิน...") คุณได้สัมผัสมรดกของนวัตกรรมในทศวรรษ 90 เหล่านี้ ระบบโทรศัพท์ในยุคแรกมีคำศัพท์จำกัด (มักเป็นเพียงตัวเลขหรือใช่/ไม่ใช่ หรือรายการตัวเลือกที่กำหนดไว้) แต่แสดงให้เห็นว่าการรู้จำเสียงพูดสามารถจัดการงานเช่นการจัดเส้นทางสายและเรียกข้อมูลแบบไม่ต้องใช้มือ ระบบ Interactive Voice Response (IVR) เหล่านี้แพร่หลาย และภายในทศวรรษ 2000 บริษัทจำนวนมากใช้ระบบเหล่านี้เพื่อทำให้บริการลูกค้าเป็นอัตโนมัติ – บางครั้งก็สร้างความหงุดหงิดให้ลูกค้า แต่ก็ลดเวลารอสำหรับคำถามพื้นฐานด้วย

ภายในปลายทศวรรษ 1990 ความก้าวหน้าสูงสุด ในด้านการรู้จำเสียงพูดมีตัวเลขที่น่าประทับใจสำหรับยุคนั้น: ขนาดคำศัพท์หลายหมื่นคำ ความสามารถในการรู้จำเสียงพูดต่อเนื่องโดยไม่ขึ้นกับผู้พูด และอัตราความผิดพลาดของคำที่ลดลงอย่างต่อเนื่อง กระนั้น ประสบการณ์ของผู้ใช้ทั่วไปอาจมีความแม่นยำอยู่ที่ใดที่หนึ่งระหว่าง 80–95% ภายใต้เงื่อนไขที่ดี อันที่จริง ราวปี 2001 ความแม่นยำเฉลี่ยในการพูดทั่วไปอยู่ที่เพียงประมาณ 80% – หมายความว่า หนึ่งในห้าคำจะถูกรู้จำผิด หากไม่พูดอย่างระมัดระวังหรือตรวจแก้ ความแม่นยำระดับนั้นไม่เพียงพอสำหรับหลายแอปพลิเคชัน (ลองนึกถึงการต้องแก้ทุกคำที่ห้าในการถอดความ) ซึ่งหมายความว่าเทคโนโลยีเสียงพูด แม้จะพัฒนาขึ้นมากแล้ว แต่ก็ยังไม่ "มาถึง" อย่างเต็มที่ในฐานะอินเทอร์เฟซที่แพร่หลายในทุกที่ ยังมีความท้าทายอีกมากมาย: สภาพแวดล้อมที่มีเสียงรบกวนจะทำให้ระบบสับสน เช่นเดียวกับการพูดที่มีสำเนียงหนักหรือการสนทนาตามธรรมชาติที่รวดเร็ว ความฝันแห่งการรู้จำเสียงพูดที่ไร้ที่ติระดับมนุษย์ ยังอยู่บนขอบฟ้า เราแทบไม่รู้เลยว่าวิธีการใหม่ในทศวรรษที่จะมาถึงจะผลักดันประสิทธิภาพไปถึงระดับที่ยากจะไขว่คว้านั้นในที่สุด

ทศวรรษ 2000: บิ๊กดาต้าและการไต่ขึ้นอย่างช้าๆ สู่ความแม่นยำที่ดีขึ้น

ทศวรรษ 2000 เป็นช่วงที่ คละเคล้ากันไป สำหรับการรู้จำเสียงพูด ด้านหนึ่ง เทคโนโลยีก้าวสู่การใช้งานที่กว้างขวางขึ้น – ฝังอยู่ในระบบปฏิบัติการ ใช้ในศูนย์บริการลูกค้า ติดตั้งในตลาดเฉพาะเช่นการถอดความทางการแพทย์ อีกด้านหนึ่ง ความก้าวหน้ารู้สึกเป็นแบบค่อยเป็นค่อยไป ตลอดช่วงส่วนใหญ่ของทศวรรษ ไม่มีความก้าวหน้าครั้งใหญ่เทียบได้กับการนำ HMM มาใช้ในทศวรรษ ’70 หรือก้าวกระโดดครั้งใหญ่ในทศวรรษ ’80 แต่ การปรับปรุงทางวิศวกรรมอย่างต่อเนื่อง ค่อยๆ ลดอัตราความผิดพลาดลง ภายในปี 2001 ดังที่กล่าวไว้ ความแม่นยำทั่วไปอยู่ที่ประมาณ 80% สำหรับการเขียนตามคำบอกแบบไม่มีข้อจำกัด การผลักดันตัวเลขนั้นให้สูงขึ้นพิสูจน์ได้ว่ายากด้วยวิธีการที่มีอยู่

อย่างไรก็ตาม แนวโน้มหลายประการในทศวรรษ 2000 ได้ปูทางสำหรับการปฏิวัติที่กำลังจะมาถึง:

  • พลังประมวลผลและการเชื่อมต่อคลาวด์: คอมพิวเตอร์ส่วนบุคคลพัฒนาความเร็วขึ้นเรื่อย ๆ แต่สิ่งที่สำคัญยิ่งกว่าคือ ช่วงกลางทศวรรษ 2000 ได้เกิดการเติบโตของ อินเทอร์เน็ตและการประมวลผลคลาวด์ ซึ่งหมายความว่าการรู้จำเสียงพูดสามารถทำได้บนเซิร์ฟเวอร์อันทรงพลังแทนที่จะเป็นอุปกรณ์ของผู้ใช้ แทนที่จะถูกจำกัดด้วย CPU บนพีซีที่บ้านหรือสมาร์ทโฟนรุ่นแรก ๆ อุปกรณ์สามารถบันทึกเสียงของคุณ ส่งผ่านเครือข่าย และรับข้อความที่รู้จำได้กลับมาจากฟาร์มเซิร์ฟเวอร์ขนาดใหญ่ การ ถ่ายโอนภาระ การประมวลผลนี้นับว่าสำคัญยิ่ง ตัวอย่างเช่น ใน 2008 Google ได้เปิดตัวบริการข้อมูลทางโทรศัพท์ฟรีชื่อ GOOG-411 และไม่นานหลังจากนั้นก็มีแอปสมาร์ทโฟนสำหรับการค้นหาด้วยเสียง เมื่อคุณพูดคำค้นหาลงในแอป Google เสียงของคุณจะถูกส่งไปยังศูนย์ข้อมูลของ Google ซึ่งการรู้จำเกิดขึ้น วิธีการแบบคลาวด์ทำให้สามารถใช้ ทรัพยากรการประมวลผลและชุดข้อมูลมหาศาล ได้ ไกลเกินกว่าที่อุปกรณ์ใด ๆ ในขณะนั้นจะรองรับได้

  • การระเบิดของข้อมูล: ข้อได้เปรียบอีกประการที่บริษัทอย่าง Google มีคือ ข้อมูล – ข้อมูลจำนวนมาก ตลอดทศวรรษ 2000 Google ได้ทำดัชนีเว็บและยังแอบ เรียนรู้จากข้อความของคำค้นหาหลายพันล้านรายการ ข้อความทั้งหมดนั้น – หลายล้านล้านคำ – ช่วยฝึกโมเดลภาษาที่ดีขึ้น เมื่อถึงปลายทศวรรษ 2000 ระบบรู้จำเสียงภาษาอังกฤษของ Google ได้รับการสนับสนุนจากโมเดลภาษาที่รวบรวม 230 พันล้านคำ จากคำค้นหาและข้อความในโลกจริง ซึ่งหมายความว่าเมื่อคุณพูดอะไรที่กำกวม ระบบมีความรู้เชิงสถิติมหาศาลว่าวลีหรือลำดับคำใดมีแนวโน้มที่จะเป็นไปได้ ตัวอย่างเช่น ระบบ “รู้” ว่า “New York” พบบ่อยกว่า “gnue fork” มาก ดังนั้นแม้ว่าเสียงอาจจะไม่ชัดเจนนัก โมเดลภาษาก็จะชี้นำไปสู่การตีความที่ถูกต้อง วิธีการแบบบิ๊กดาต้า นี้เริ่มมอบการเพิ่มความแม่นยำอย่างเห็นได้ชัดให้กับการรู้จำเสียงพูดในงานอย่างการค้นหาด้วยเสียง ซึ่งบริบทและความน่าจะเป็นมีความสำคัญอย่างมาก

  • อุปกรณ์มือถือและผู้ช่วยเสียง: ในช่วงปลายทศวรรษ กระบวนทัศน์ใหม่ได้ถือกำเนิดขึ้น – เสียงในฐานะอินเทอร์เฟซสำหรับโทรศัพท์มือถือ สมาร์ทโฟนและ PDA ยุคแรกมีหน้าจอเล็กและปุ่มเล็ก ดังนั้นการป้อนข้อมูลด้วยเสียงจึงน่าสนใจ iPhone ของ Apple (2007) ทำให้สมาร์ทโฟนสมัยใหม่เป็นที่นิยม และไม่นานหลังจากนั้น เสียงก็เข้ามาเป็นส่วนหนึ่ง ใน 2011 Apple ได้เปิดตัว Siri ผู้ช่วยที่ควบคุมด้วยเสียงบน iPhone Siri ไม่เพียงแต่รู้จำคำพูดเท่านั้น แต่ยังตีความเจตนาของผู้ใช้ได้ (ต้องขอบคุณเทคนิคการทำความเข้าใจภาษาธรรมชาติ) และทำงานอย่างการส่งข้อความหรือดึงข้อมูล Siri ถูกตามมาอย่างรวดเร็วด้วยผู้ช่วยเสียงของ Google เอง และในที่สุด Alexa ของ Amazon ใน 2014 (ซึ่งอยู่ใน Echo ลำโพงอัจฉริยะแบบแยก) ทันใดนั้น การพูดคุยกับเครื่องจักรก็เปลี่ยนจากกิจกรรมเฉพาะกลุ่มไปสู่ประสบการณ์ผู้บริโภคกระแสหลัก – ผู้คนนับล้านกำลังถามโทรศัพท์ของตนเพื่อขอเส้นทางหรือขอให้ลำโพงอัจฉริยะเล่นเพลง การเพิ่มขึ้นของการใช้งานในทศวรรษ 2010 นี้ให้ข้อมูลมากขึ้นอีก สร้างวงจรคุณธรรม: ผู้ใช้พูดมากขึ้นหมายถึงข้อมูลมากขึ้นเพื่อปรับปรุงระบบ ซึ่งทำให้แม่นยำและมีประโยชน์มากขึ้น ดึงดูดผู้ใช้มากขึ้นไปอีก

เมื่อสิ้นสุดทศวรรษ 2000 การรู้จำเสียงพูดได้ดีขึ้นอย่างปฏิเสธไม่ได้ – แต่ความก้าวหน้าครั้งสำคัญยังมาไม่ถึง หลายคนในสาขานี้รู้สึกว่าความก้าวหน้าหยุดนิ่งด้วยเทคนิคที่มีอยู่ (HMM พร้อมคุณลักษณะและแบบจำลองภาษาที่ออกแบบอย่างระมัดระวัง) อัตราความผิดพลาดติดอยู่ในช่วง 10–20% สำหรับงานยาก มีความรู้สึกว่าอาจจำเป็นต้องใช้แนวทางใหม่โดยพื้นฐานเพื่อไปให้ถึงไมล์สุดท้ายของประสิทธิภาพระดับมนุษย์ ดังที่ปรากฏ เมล็ดพันธุ์ของแนวทางใหม่นั้นได้ถูกหว่านไปแล้ว – ในรูปแบบของโครงข่ายประสาทเทียมเชิงลึก ซึ่งกำลังจะกลับมาอย่างน่าตื่นตาตื่นใจในทศวรรษ 2010

การปฏิวัติการเรียนรู้เชิงลึกช่วงแรก (ทศวรรษ 2010): โครงข่ายประสาทเทียมตอบโต้กลับ

ปี 2009 มักถูกอ้างถึงเป็นจุดเปลี่ยนในการรู้จำเสียงพูด หลังจากจำศีลมาหลายปี แบบจำลองโครงข่ายประสาทเทียมก็กลับมาอย่างกึกก้อง – ครั้งนี้มาพร้อมพลังการประมวลผลและปริมาณข้อมูลที่มากกว่ามากเมื่อเทียบกับทศวรรษ 1980 ทีมนักวิจัยที่นำโดย Geoffrey Hinton แสดงให้เห็นว่าโครงข่ายประสาทเทียมเชิงลึก (DNNs) สายพันธุ์ใหม่สามารถเอาชนะวิธีเก่าได้อย่างมีนัยสำคัญในงานการรู้จำเสียงพูด พวกเขาทำได้โดยใช้การเรียนรู้เชิงลึก: โครงข่ายประสาทเทียมที่มีหลายชั้นของเซลล์ประสาทเทียม ฝึกฝนบนชุดข้อมูลขนาดใหญ่มาก พวกเขาเอาชนะข้อจำกัดเดิมได้อย่างไร พูดง่ายๆ คือ มีสามสิ่งเปลี่ยนไป:

  1. การฝึกล่วงหน้าแบบไม่มีผู้สอน (Unsupervised Pre-training): Hinton และเพื่อนร่วมงานได้แนะนำวิธีการ “ฝึกล่วงหน้า” เครือข่ายเชิงลึกทีละชั้นโดยใช้ Restricted Boltzmann Machines (RBMs) – ซึ่งโดยพื้นฐานคือการสอนแต่ละชั้นให้สกัดคุณลักษณะที่เป็นประโยชน์จากข้อมูลเสียงก่อนที่จะปรับแต่งเครือข่ายทั้งหมด ใน 2009 พวกเขาแสดงให้เห็นว่าการซ้อน RBMs เหล่านี้สามารถให้ผลการปรับปรุงความแม่นยำในการรู้จำเสียงได้อย่างมาก กลเม็ดการฝึกที่ชาญฉลาดนี้ช่วยแก้ปัญหาว่าจะฝึกเครือข่ายที่ลึกมากได้อย่างมีประสิทธิภาพได้อย่างไร (ซึ่งก่อนหน้านี้เป็นเรื่องยากมากเนื่องจากปัญหาเช่นการหายไปของเกรเดียนต์)

  2. ข้อมูลมากขึ้น: เมื่อถึง 2010 มีข้อมูลเสียงดิจิทัลให้ฝึกมากมายมหาศาล – ทั้งชั่วโมงแล้วชั่วโมงเล่าของเสียงพูดที่ถอดความแล้วจากโครงการต่างๆ คลังเก็บข้อมูล และเว็บ Deep learning เจริญเติบโตได้ดีกับข้อมูลขนาดใหญ่ ยิ่งมีตัวอย่างให้เครือข่ายเรียนรู้มากเท่าไร ก็ยิ่งปรับแต่งพารามิเตอร์จำนวนมากของมันได้ดีขึ้นเท่านั้น ความพร้อมของข้อมูลนี้เป็นสิ่งที่ผู้บุกเบิกในทศวรรษ 80 ไม่มีเลย

  3. พลังการประมวลผลที่มากขึ้น (โดยเฉพาะ GPUs): ทศวรรษ 2010 ได้เห็นการระเบิดของการใช้หน่วยประมวลผลกราฟิก (GPUs) สำหรับการประมวลผลทั่วไป GPUs กลายเป็นสิ่งที่ยอดเยี่ยมสำหรับการคำนวณแบบขนานที่เน้นเมทริกซ์ซึ่งโครงข่ายประสาทเทียมต้องการ ซึ่งหมายความว่าสิ่งที่เคยใช้เวลาหลายสัปดาห์บน CPU ในทศวรรษ 90 สามารถทำได้ภายในไม่กี่ชั่วโมงบนคลัสเตอร์ GPU ภายใน 2010 ดังที่บทวิเคราะห์หนึ่งกล่าวไว้ การผสมผสานของ อัลกอริทึมที่ปรับปรุงแล้ว ข้อมูลฝึกขนาดมหาศาล และโปรเซสเซอร์ที่ทรงพลัง ทำให้ deep learning กลายเป็นสิ่งที่ใช้งานได้จริงในระดับอุตสาหกรรมในที่สุด

ผลกระทบต่อการรู้จำเสียงพูดนั้นเกิดขึ้นทันทีและลึกซึ้ง แทนที่จะต้องออกแบบคุณลักษณะอย่างพิถีพิถันเช่น MFCCs นักวิจัยสามารถป้อนสเปกโตรแกรมเสียงที่ค่อนข้างดิบเข้าไปในโครงข่ายประสาทเทียมเชิงลึก และเครือข่ายก็จะเรียนรู้คุณลักษณะของตัวเอง – การแสดงแทนที่ละเอียดอ่อนของเสียงพูดที่ปรับให้เหมาะสมสำหรับการรู้จำ โมเดลเชิงลึกเหล่านี้เริ่มมีประสิทธิภาพเหนือกว่าระบบ HMM แบบ Gaussian-mixture แบบดั้งเดิมอย่างมีนัยสำคัญ ในบางกรณี อัตราความผิดพลาดลดลง 20–30% แบบชั่วข้ามคืนเมื่อเปลี่ยนมาใช้แบบจำลองเสียงเชิงเสียงที่ใช้ DNN

ภายในปี 2012 ประมาณ ทั้ง Microsoft และ Google ได้ติดตั้งเครือข่ายประสาทเทียมแบบลึกในระบบรู้จำเสียงเพื่อการผลิตของตนสำหรับงานอย่างการค้นหาด้วยเสียง ผลลัพธ์เป็นสิ่งที่จับต้องได้สำหรับผู้ใช้ – ทันใดนั้นสมาร์ทโฟนหรือซอฟต์แวร์บันทึกตามคำบอกของคุณก็ ดีขึ้นมาก ในการเข้าใจคุณ นักวิจัยของ Microsoft รายงานว่าการเปลี่ยนไปใช้เครือข่ายประสาทเทียมแบบลึกสำหรับการสร้างแบบจำลองเสียงลดอัตราความผิดพลาดลงเกือบครึ่งหนึ่งบนเกณฑ์มาตรฐานที่ท้าทาย Google เช่นกันสังเกตเห็นการกระโดดของความแม่นยำอย่างมีนัยสำคัญในการป้อนเสียงของ Android ในช่วงเวลานั้น ต้องขอบคุณ DNN ระบบ HMM แบบเก่าไม่ได้ถูกโยนทิ้งทั้งหมด – ในตอนแรก สูตรที่มีประสิทธิภาพที่สุดคือ วิธีผสมผสาน: ใช้ DNN เพื่อประมาณความน่าจะเป็นของหน่วยเสียง (หน่วยเสียงพื้นฐาน) จากเสียง และป้อนสิ่งเหล่านั้นเข้าสู่กรอบงาน HMM ที่ยังคงบังคับลำดับเวลาและเชื่อมโยงกับแบบจำลองภาษา วิธี DNN-HMM แบบผสมผสานนี้ครอบงำครึ่งแรกของทศวรรษ 2010 และถูกนำไปใช้ในบริการเสียงหลักแทบทุกแห่ง

ตัวเลขบอกเรื่องราว ราวปี 2015 อัตราความผิดพลาดระดับคำ (WER) ในการทดสอบมาตรฐานอย่าง Switchboard (คลังบทสนทนาทางโทรศัพท์จริง) กำลังเข้าใกล้หลักเดียว ในปี 2016 IBM ประกาศว่าพวกเขาบรรลุ WER ที่ 6.9% ซึ่งเป็นสถิติต่ำสุดในขณะนั้น เพียงหนึ่งปีต่อมา Microsoft รายงานว่าถึง 5.9% ซึ่งพวกเขาอ้างว่าอยู่ในระดับเดียวกับผู้ถอดความมนุษย์มืออาชีพ (สำหรับการทดสอบนั้น) ไม่นานหลังจากนั้น IBM ตอบโต้ด้วย 5.5% และจากนั้น Microsoft และคนอื่นๆ ก็ผลักดันให้ต่ำลงไปอีก ภายในปี 2017 Microsoft ได้เข้าถึงข้อผิดพลาดประมาณ 5.1% – โดยพื้นฐานแล้วบรรลุสิ่งที่พวกเขาเรียกว่า “ความเท่าเทียมของมนุษย์” ในการรู้จำเสียงสนทนา และ Google ก็ตามมาไม่ไกล; รายงาน Internet Trends ในปี 2017 แสดงให้เห็นว่าระบบเสียงของ Google ทำได้ประมาณ 95% ความแม่นยำ ซึ่งเทียบได้คร่าวๆ กับอัตราความผิดพลาดของผู้ฟังมนุษย์ที่ถอดความคำพูดในชีวิตประจำวัน ภายในเวลาไม่ถึงทศวรรษ การเรียนรู้เชิงลึกได้ ลดอัตราความผิดพลาดลงอย่างมาก จากช่วง ~20% ที่เป็นปัญหาลงมาถึง ~5% นี่คือความสำเร็จที่เป็นหมุดหมาย – ในที่สุด การใช้การรู้จำเสียงก็สามารถเชื่อถือได้พอๆ กับการส่งเสียงของคุณไปยังผู้ถอดความมนุษย์ (ในสถานการณ์บางอย่าง)

ภายในปี 2017 ระบบรู้จำเสียงได้เข้าถึงความแม่นยำประมาณ 95% ในการทดสอบเกณฑ์มาตรฐาน – เทียบได้คร่าวๆ กับความแม่นยำของผู้ถอดความมนุษย์ภายใต้เงื่อนไขที่คล้ายกัน การปรับปรุงอย่างรวดเร็วนี้ ซึ่งเห็นได้จากอัตราความผิดพลาดที่ลดลง (สูงกว่าคือแย่กว่า) บนกราฟ ถูกขับเคลื่อนโดยการถือกำเนิดของเครือข่ายประสาทเทียมแบบลึก

ผลกระทบของความก้าวหน้าครั้งนี้ไม่ได้เป็นเพียงเชิงวิชาการเท่านั้น – มันรู้สึกได้โดยผู้บริโภค ทันใดนั้น อินเทอร์เฟซเสียงก็เปลี่ยนจากที่งุ่มง่ามและเกิดข้อผิดพลาดได้ง่าย กลายเป็นสิ่งที่มีประโยชน์อย่างแท้จริง นี่คือช่วงเวลาที่ Alexa ของ Amazon, Assistant ของ Google, Cortana ของ Microsoft และ Siri ที่ได้รับการปรับปรุงของ Apple ต่างแย่งชิงความเป็นเลิศ ผู้ช่วยเหล่านี้จะไม่สามารถใช้งานได้จริงเมื่อไม่กี่ปีก่อนด้วยอัตราข้อผิดพลาดที่สูงกว่า ภายใน 2016 พวกมันดีพอที่ผู้คนนับล้านเริ่มพึ่งพาพวกมันสำหรับงานในชีวิตประจำวัน เป็นการบ่งบอกว่า ภายในปลายทศวรรษ 2010 การพูดคุยกับเครื่องจักรกลายเป็นเรื่องปกติ รถยนต์มีระบบควบคุมด้วยเสียง สมาร์ทโฟนสนับสนุนให้คุณสั่งข้อความด้วยเสียง และบริการอย่าง การถอดเสียงอัตโนมัติ ของข้อความเสียงหรือวิดีโอก็แม่นยำและราคาเข้าถึงได้มากขึ้น การรู้จำเสียงพูดกลายเป็นสิ่งที่อยู่ทุกหนทุกแห่งอย่างเป็นทางการ

แต่เรื่องราวของดีพเลิร์นนิงไม่ได้จบลงที่ DNN ยุคแรกเหล่านั้น นักวิจัยยังคงสร้างสรรค์สิ่งใหม่ ๆ โดยผลักดันขอบเขตของสิ่งที่ระบบการรู้จำเสียงพูดสามารถทำได้

ยุคสมัยใหม่: โมเดลแบบ End-to-End และอื่น ๆ

หลังจากความสำเร็จเริ่มแรกของระบบไฮบริด DNN-HMM สาขาการรู้จำเสียงพูดได้เคลื่อนไปสู่แนวทางดีพเลิร์นนิงแบบบูรณาการมากยิ่งขึ้น แทนที่จะมีโมดูลแยกกัน (โมเดลอะคูสติก พจนานุกรมการออกเสียง โมเดลภาษา) ที่ประกอบเข้าด้วยกัน นักวิจัยถามว่า: เราสามารถฝึกโครงข่ายประสาทเทียมขนาดใหญ่หนึ่งโครงข่ายเพื่อจับคู่รูปคลื่นเสียงกับข้อความถอดความโดยตรงได้หรือไม่? คำตอบในที่สุดคือ ได้ – สิ่งเหล่านี้เรียกว่า โมเดลการรู้จำเสียงพูดแบบ end-to-end เริ่มต้นราว 2014 งานวิจัยจำนวนมากแสดงให้เห็นว่าการฝึกแบบ end-to-end ไม่เพียงแต่เป็นไปได้เท่านั้น แต่ยังสามารถเทียบเท่าประสิทธิภาพของไปป์ไลน์แบบเก่าได้ หากมีข้อมูลเพียงพอ

หนึ่งในวิธีการ end-to-end แรก ๆ ใช้แนวทางที่เรียกว่า Connectionist Temporal Classification (CTC) ซึ่งบุกเบิกโดย Alex Graves CTC อนุญาตให้ RNN (โครงข่ายประสาทเทียมแบบวนซ้ำ) เรียนรู้การจัดแนวระหว่างเสียงและข้อความเอาต์พุตได้ด้วยตัวเอง โดยไม่ต้องมีข้อมูลการฝึกที่แบ่งส่วนไว้ล่วงหน้า ใน 2014 Graves และเพื่อนร่วมงานได้สาธิต RNN ที่ใช้ CTC ซึ่งสามารถถอดเสียงพูดเป็นตัวอักษรได้โดยตรง โดยพื้นฐานแล้ว โครงข่ายเรียนรู้ที่จะ “ฟัง” และสะกดออกมา ทีละตัวอักษร โดยจัดการความยาวที่แปรผันและการจับเวลาไว้ภายใน อย่างไรก็ตาม โมเดล CTC ในยุคแรกมีข้อเสีย: พวกมันสันนิษฐานความเป็นอิสระระหว่างตัวอักษรเอาต์พุต ซึ่งหมายความว่าพวกมันยังต้องพึ่งพาโมเดลภาษาภายนอกเพื่อแก้ไขเอาต์พุตสุดท้าย (เพื่อให้แน่ใจว่าประโยคสมเหตุสมผล) บางครั้งพวกมันอาจสะกดผิดอย่างน่าขันหรือสร้างข้อความไร้ความหมายหากไม่มีความช่วยเหลือเพิ่มเติมนั้น

การก้าวกระโดดครั้งต่อไปมาพร้อมกับ โมเดลลำดับต่อลำดับแบบอิงความสนใจ ใน 2016 นักวิจัยจากสถาบันการศึกษาและอุตสาหกรรม (เช่นที่ Carnegie Mellon, Google Brain และ University of Montreal) ได้แนะนำระบบที่มีสถาปัตยกรรม encoder-decoder โดยใช้ กลไกความสนใจ ซึ่งได้รับการตั้งชื่ออย่างเหมาะสมว่า “Listen, Attend and Spell” แนวทางนี้มีเครือข่าย encoder ย่อยข้อมูลเสียงอินพุตให้เป็นตัวแทนคุณลักษณะระดับสูง จากนั้นเครือข่าย decoder ที่ ให้ความสนใจ กับเอาต์พุตของ encoder และสร้างอักขระข้อความทีละตัว – ซึ่งเป็นการ “สะกด” คำพูดที่รู้จำได้อย่างมีประสิทธิภาพ กลไกความสนใจทำให้โมเดลสามารถโฟกัสแบบไดนามิกไปยังส่วนต่างๆ ของเสียงขณะที่สร้างอักขระแต่ละตัว ซึ่งคล้ายกับผู้ถอดความของมนุษย์ที่ฟังและเขียนไปพร้อมกัน โดยติดตามว่าตนอยู่ตรงไหน โมเดลที่อิงความสนใจเหล่านี้ ไม่ต้องการพจนานุกรมการออกเสียงแยกต่างหากหรือโมเดลภาษา ตามทฤษฎีแล้วพวกมันสามารถเรียนรู้ทุกอย่างจากการแมปเสียงเป็นข้อความโดยตรง เมื่อสิ้นสุด 2016 โมเดลดังกล่าวได้เทียบเท่าและ حتیเอาชนะระบบที่อิง CTC บนเกณฑ์มาตรฐานบางส่วน และที่สำคัญ โมเดลแบบ end-to-end นั้นติดตั้งใช้งานได้ง่ายกว่า – ตัวอย่างเช่น คุณไม่จำเป็นต้องพกโมเดลภาษา n-gram ขนาด 5 GB ไว้ในโทรศัพท์ของคุณ สิ่งนี้ทำให้การคิดถึง การรู้จำเสียงบนอุปกรณ์ เป็นเรื่องที่ทำได้จริงเป็นครั้งแรก ซึ่งน่าสนใจสำหรับความเป็นส่วนตัวและการใช้งานแบบออฟไลน์

นับตั้งแต่นั้นมา เราได้เห็นการปรับปรุงอย่างต่อเนื่อง: ตัวแปรอย่าง RNN-Transducers (ซึ่งรวมแนวคิดของ CTC และความสนใจเข้าด้วยกัน) และการนำสถาปัตยกรรมประสาทใหม่ๆ เช่น Convolutional Neural Networks (CNNs) และ Transformers มาใช้กับเสียง ตัวอย่างเช่น ใน 2019 NVIDIA ได้ประกาศโมเดล end-to-end (ที่มีชื่อติดหูอย่าง Jasper และ QuartzNet) ซึ่งได้รับการปรับให้เหมาะสมอย่างสูงด้วยเลเยอร์ CNN โดยมีอัตราความผิดพลาดระดับคำประมาณ 3% บนชุดทดสอบบางชุด ตัวเลขดังกล่าวกำลังเข้าใกล้จุดที่ข้อผิดพลาดสองสามข้อสุดท้ายอาจเป็นเพราะ ข้อความถอดความของมนุษย์มีข้อผิดพลาด! ยิ่งไปกว่านั้น โมเดลที่อิง transformer ที่มีความสนใจในตนเอง (มีชื่อเสียงจากการปฏิวัติการประมวลผลข้อความ) ได้ถูกนำมาใช้กับเสียงอย่างประสบความสำเร็จอย่างมาก ทำให้เราได้ระบบที่เร็วขึ้นและแม่นยำยิ่งขึ้นในทศวรรษ 2020

อีกหนึ่งแนวโน้มสมัยใหม่คือการใช้ การเรียนรู้แบบไม่มีผู้สอนและกึ่งมีผู้สอน ระบบล่าสุดอย่าง wav2vec 2.0 ของ Facebook (ยกตัวอย่างหนึ่ง) สามารถเรียนรู้จาก เสียงที่ไม่มีป้ายกำกับ ได้โดยพื้นฐานคือการฟังเสียงพูดหลายล้านชั่วโมงโดยไม่มีบทถอดความและเรียนรู้โครงสร้างของเสียง จากนั้นด้วยข้อมูลที่มีป้ายกำกับในปริมาณที่น้อยลง พวกมันจะปรับแต่งเพื่อทำการถอดความ สิ่งนี้แก้ไขปัญหาสำคัญ: ภาษาส่วนใหญ่ของโลก ไม่มี ชุดข้อมูลที่ถอดความขนาดใหญ่สำหรับการฝึกอบรม การเรียนรู้แบบมีผู้สอนตนเองและ การเรียนรู้แบบถ่ายโอน ช่วยให้โมเดลที่ฝึกบนภาษาหนึ่ง (หรือบนเสียงทั่วไป) สามารถปรับใช้กับภาษาอื่นหรือโดเมนพิเศษด้วยข้อมูลที่น้อยกว่ามาก สิ่งนี้สำคัญยิ่งต่อการเผยแพร่การรู้จำเสียงพูดคุณภาพสูงไปยังภาษาหลักและสู่แอปพลิเคชันมากขึ้น

ทุกวันนี้ การรู้จำเสียงพูดเป็น ส่วนหนึ่งของชีวิตประจำวัน อย่างแท้จริง มันอยู่ในกระเป๋าของเรา ห้องครัวของเรา รถของเรา และแม้กระทั่งพูดตอบเรากลับมา ผู้ช่วยเสมือนใช้มันเพื่อตั้งเวลาและตอบคำถาม; ซอฟต์แวร์เขียนตามคำบอกถอดความการประชุมและบันทึกของแพทย์; บอทบริการลูกค้าคัดกรองสาย; แกดเจ็ตควบคุมด้วยเสียงมีอยู่มากมาย วิธีการเรียนรู้เชิงลึกทำให้การรู้จำมีความแม่นยำสูงและ เรียลไทม์ หลายระบบทำงานบนอุปกรณ์ทั้งหมด (ไม่ต้องใช้อินเทอร์เน็ต) เพื่อความรวดเร็วและความเป็นส่วนตัว ขณะที่ระบบอื่นใช้คลาวด์เพื่อจัดการการประมวลผลหนักและปรับปรุงอย่างต่อเนื่อง ในความเป็นจริง บริการเสียงพูดบนคลาวด์สมัยใหม่มักมีบทบาทคู่: พวกมัน ให้บริการผู้ใช้ โดยการแปลงเสียงพูดเป็นข้อความ และพวกมันยัง เรียนรู้ จากผู้ใช้ (โดยไม่ระบุตัวตน) โดยการเพิ่มเสียงและผลลัพธ์นั้นลงในข้อมูลการฝึกอบรมที่เพิ่มขึ้นเรื่อยๆ ทุกครั้งที่คุณใช้การเขียนตามคำบอกด้วยเสียงหรือพูดกับ Alexa มีโอกาสดีที่ข้อมูลนั้นช่วยปรับปรุงโมเดลเบื้องหลัง ในแง่หนึ่ง ตัวรู้จำเสียงพูดในปัจจุบัน ไม่เคยเรียนรู้เสร็จสิ้น – พวกมันปรับปรุงทีละนิดกับทุกเสียงที่ได้ยิน คล้ายกับมนุษย์ที่ได้รับประสบการณ์

แน่นอน การค้นหายังไม่สิ้นสุด แม้จะมีความก้าวหน้าอันน่าทึ่ง ความท้าทายยังคงอยู่ ภาษามนุษย์มีความหลากหลายอย่างมหัศจรรย์ และ AI บางครั้งก็ต่อสู้กับสิ่งนั้น สำเนียง หรือภาษาถิ่นระดับภูมิภาคที่หนักยังสามารถทำให้ระบบที่ไม่ได้ฝึกกับมันสับสนได้ เสียงรบกวนพื้นหลังและสถานการณ์ที่มีผู้พูดหลายคน (เช่น การถอดความบทสนทนาอาหารเย็นที่คึกคัก) ยังคงเป็นสถานการณ์ที่ยากลำบาก และในขณะที่ภาษาหลักไม่กี่ภาษา (อังกฤษ จีนกลาง สเปน ฯลฯ) มีการรู้จำที่ใกล้เคียงระดับสูงสุด ยังมี หลายพันภาษา (และภาษาถิ่นอีกมากมาย) ที่การรู้จำเสียงพูดที่ดียังไม่พร้อมใช้งาน พรมแดนถัดไปคือการขยายเทคโนโลยีไปยัง ทุก คนและ ทุก ภาษา ซึ่งอาจทำได้โดยการสร้างชุดข้อมูลที่ครอบคลุมมากขึ้นหรือใช้เทคนิคการเรียนรู้ข้ามภาษา

อย่างไรก็ตาม วิถีของเทคโนโลยีการรู้จำเสียงพูดให้เหตุผลมากมายให้เรามองโลกในแง่ดีได้ ในช่วงเวลา 70+ ปี เราได้ก้าวจากเครื่องจักรที่แทบจะไม่สามารถรู้จำ ตัวเลขเดี่ยวสิบตัว ไปสู่ซอฟต์แวร์ที่สามารถถอดความเสียงพูดที่คล่องแคล่วได้ด้วยความแม่นยำ 95–99% แบบเรียลไทม์ แต่ละยุคสร้างต่อยอดจากยุคก่อนหน้า: นักประดิษฐ์ในยุคแรกพิสูจน์ว่าสามารถบันทึกเสียงพูดได้ ยุค DARPA นำพลังของการสร้างแบบจำลองเชิงความน่าจะเป็นมาใช้ ยุค 1980s ตอกย้ำอัลกอริทึมทางสถิติเพื่อรองรับการขยายขนาด ยุค 1990s ทำให้เทคโนโลยีเข้าถึงผู้บริโภคได้ และยุค 2010s เปิดตัว เครื่องจักรที่เรียนรู้ ซึ่งในที่สุดก็ไขรหัสของประสิทธิภาพระดับมนุษย์ได้ มันเป็นประวัติศาสตร์ของ นวัตกรรมที่ไม่หยุดยั้ง ซึ่งบ่อยครั้งความก้าวหน้าเกิดขึ้นแบบไม่ต่อเนื่อง – ทศวรรษแห่งการวิจัยที่เชื่องช้าตามด้วยการก้าวกระโดดอย่างฉับพลันเมื่อการประมวลผลหรืออัลกอริทึมตามทัน

จาก Audrey สู่ Siri จากคำเดี่ยวสู่บทสนทนาทั้งหมด การรู้จำเสียงพูดได้พัฒนาเป็นเทคโนโลยีที่เติบโตเต็มที่และขาดไม่ได้ และยังคงพัฒนาต่อไป – เมื่ออุปกรณ์ของเรายังคงฟัง (และเราหวังว่า เข้าใจ) ประสบการณ์ก็ดีขึ้นทีละน้อย เราอาจยังไม่มีคอมพิวเตอร์ที่สนทนาได้เต็มรูปแบบของ Star Trek บนยาน Enterprise แต่เราก็ใกล้กว่าเดิมมาก ดังที่ผู้เชี่ยวชาญท่านหนึ่งกล่าวไว้อย่างเหมาะสม ระบบเสียงพูด AI ในปัจจุบัน "มีความพลวัตและสร้างสรรค์พอๆ กับที่ภาษามนุษย์เป็น" เรียนรู้และปรับตัวอย่างต่อเนื่องขณะที่เราพูดคุยกับมัน กล่าวอีกนัยหนึ่ง เรื่องราวของการรู้จำเสียงพูดยังอีกไกลจากจุดสิ้นสุด – แต่ช่างเป็นเรื่องราวที่ผ่านมายาวนานเพียงใด

การอ่านเพิ่มเติมและแหล่งที่มา

  1. Computer History Museum. "Timeline of Speech Recognition Milestones" (Article)

  2. Pierce, J.R. "Whither Speech Recognition?" – The Journal of the Acoustical Society of America (1969)

  3. Zhou, B. "Speech Recognition: From Research to Practice" – Stanford EE 292C Lecture Notes (2017)

  4. Hinton, G. et al. "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups" – IEEE Signal Processing Magazine (2012)

  5. Baker, J. "Trainable Grammars for Speech Recognition" – Proceedings of the DARPA Speech and Natural Language Workshop (1990)

  6. Deng, L. & Li, X. "Machine Learning Paradigms for Speech Recognition: An Overview" – IEEE Transactions on Audio, Speech, and Language Processing (2013)

  7. Jelinek, F. "Statistical Methods for Speech Recognition" – MIT Press (1997)

  8. Schmidhuber, J. "Deep Learning in Neural Networks: An Overview" – Neural Networks (2015)

  9. IBM Archives. "IBM Shoebox: Voice-Activated Calculator Demo" (Historical exhibit)

  10. Rabiner, L. & Juang, B.H. "Fundamentals of Speech Recognition" – Prentice Hall (1993)

  11. Lee, K.F. "Speaker-Independent Phone Recognition Using Hidden Markov Models" – IEEE Transactions on Acoustics, Speech, and Signal Processing (1989)

  12. Meeker, M. "Internet Trends Report" – Kleiner Perkins (2017)

  13. Graves, A. et al. "Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks" (PDF paper, 2006)

  14. Xiong, W. et al. "Achieving Human Parity in Conversational Speech Recognition" – Microsoft Research (2016)

  15. Norvig, P. "On Chomsky and the Two Cultures of Statistical Learning" – The Atlantic (2011)

  16. Hinton, G. et al. "A Fast Learning Algorithm for Deep Belief Nets" – Neural Computation (2006)

  17. Glass, J. "A Historical Perspective of Speech Recognition" – MIT Spoken Language Systems (2003)

  18. Amodei, D. et al. "Deep Speech 2: End-to-End Speech Recognition in English and Mandarin" (arXiv paper, 2016)

  19. Hannun, A. et al. "Deep Speech: Scaling up End-to-end Speech Recognition" (arXiv paper, 2014)

  20. Mohamed, A. et al. "Speech Recognition with Deep Learning: Advances and Trends" – IEEE Signal Processing Magazine (2019)

  21. Saon, G. et al. "English Conversational Telephone Speech Recognition by Humans and Machines" – IBM Research (2017)

  22. LeCun, Y., Bengio, Y., & Hinton, G. "Deep Learning" – Nature (2015)

  23. Hinton, G. et al. "Deep Belief Networks for Acoustic Modeling" (PDF paper, 2012)

← บทความทั้งหมด

อ่านต่อ

ดูบทความทั้งหมด

เริ่มถอดเสียง

รับข้อความถอดเสียงฉบับเต็มฟรี ไม่มีขีดจำกัดรายวัน สัมผัสความแม่นยำระดับผู้นำอุตสาหกรรมกับ V4-Pro

เริ่มถอดเสียงฟรี