초록 열기/닫기 버튼
본 연구에서는 CTC 기반 음성인식 모델과 언어 모델의 지식을 결합하여 한국어 음성 코퍼스에서 전사 오류를 자동 검출하는 machine-in-the-loop 방법을 제안한다. 음성인식 모델의 문자오류율(CER)과 언어 모델의 혼잡도(PPL)를 활용한 세 단계 절차를 통해 전사 오류 후보군을 찾아내고, 검출된 후보의 텍스트 레이블을 검수하는 방식으로 오류 검출의 성능을 실험적으로 확인하였다. 이 연구는 한국어 음성인식 코퍼스 KsponSpeech 를 대상으로 진행하였으며, 테스트셋의 문자오류율이 검수 전 9.44%에서 8.9%로 개선되었다. 이는 테스트셋 중 약 11%의 데이터만 검수하더라도 성능 향상을 보여주며, 전체 검수에 비해 효율적인 방법임을 입증한다. 이를 통해 음성 데이터의 검수 비용을 줄일 수 있는 효율적인 machine-in-the-loop 오류 검출의 가능성을 확인하였다.
This research proposes a 'machine-in-the-loop' approach for automatic error detection in Korean speech corpora by integrating the knowledge of CTC-based speech recognition models and language models. We experimentally validated its error detection performance through a three-step procedure that leveraged Character Error Rate (CER) from the speech recognition model and Perplexity (PPL) from the language model to identify potential transcription error candidates and verify their text labels. This research focused on the Korean speech corpus, KsponSpeech, resulting in a reduction of the character error rate on the test set from 9.44% to 8.9%. Notably, this performance enhancement was achieved even when inspecting only approximately 11% of the test data, highlighting the higher efficiency of our proposed method than a comprehensive manual inspection process. Our study affirms the potential of this efficient 'machine-in-the-loop' approach for a cost-effective error detection mechanism in speech data while ensuring accuracy.
키워드열기/닫기 버튼
automatic transcription error detection, speech recognition model, language model, data-centric AI, machine-in-the-loop
