음성 인식률 테스트 계획

목적

• 문서 이름: 음성 인식률 성능 테스트 계획서 (가안)
• 작성 목적: 음성 인식률 90% 이상 달성을 위해 다양한 조건 및 환경을 세분화하여 구체적인 테스트를 수행하고, 테스트 결과를 분석하여 성능을 개선하기 위함.
• 목표 인식률: 90% 이상
• 대상 엔진: Custom STT
• 평가지표: WER (Word Error Rate), 인식 정확도
• 테스트 환경: 모바일 기기, 네트워크 품질, 통화 시나리오, 배경 소음을 고려한 테스트

내용

1. 데이터 다양성 테스트

1.1 다양한 발화 패턴

• 테스트 설명: 억양, 속도, 발음의 차이를 반영하여 다양한 사용자 음성 테스트
• 테스트 조건: 성별(남성, 여성), 나이대(10대, 20대, 30대 이상), 방언(표준어, 지역 방언 포함), 속도(빠름, 보통, 느림)

1.2 배경 소음

• 테스트 설명: 콜센터 환경을 고려하여, 다양한 배경 소음이 포함된 환경에서의 인식 성능 평가
• 테스트 조건: 배경 소음 수준(없음, 약간, 보통, 많음), 소음 유형(대화 소음, 차량 소음 등), 위치(실내, 실외)

1.3 실생활 표현

• 테스트 설명: 실생활 대화와 유사한 구어체 발화를 테스트
• 테스트 조건: 비공식적 언어, 줄임말, 비속어 포함 여부, 구어체(반말) 및 예의 표현 비교

 

항목	테스트 설명	테스트 조건	세부 조건
다양한 발화 패턴	다양한 억양, 속도, 발음의 차이를 반영	-성별: 남성, 여성 -나이: 10대, 20대, 30대 이상	• 방언: 표준어, 경상도, 전라도 방언 포함 •  속도: 빠름, 보통, 느림
배경 소음	배경 소음을 포함한 환경에서의 인식 성능	-소음 없음 -낮은 소음 (TV 소리, 공기청정기 등) - 보통 소음 (사무실, 카페) - 높은 소음 (도로, 공사 현장)	• 소음 유형: 대화 소음, 차량 소음 등 • 위치: 실내, 실외
실생활 표현	구어체 및 비공식 발화를 반영	-일상적인 대화 패턴 -줄임말 -비속어 포함 여부	• 구어체(반말) 및 예의 표현 비교

2. 성능 지표 테스트 (WER)

2.1 WER 측정

• 테스트 설명: 인식된 단어 오류율(WER) 측정을 통해 정확도 확인
• 테스트 조건: WER 구성 요소(Substitutions, Insertions, Deletions) 기록, 대화 형식 vs. 설명 형식 문장 비교, 명령어 문장(예: "열어") 테스트

2.2 다양한 문장 길이

• 테스트 설명: 짧은 문장부터 긴 문장까지 문장 길이별 인식 성능 테스트
• 테스트 조건: 짧은 문장(5단어 이하), 중간 문장(10단어), 긴 문장(15단어 이상), 복잡한 구문(종속절 포함)

2.3 문장 복잡도

• 테스트 설명: 복잡한 문장 구조나 긴 문장에서의 인식 성능 테스트
• 테스트 조건: 단순 문장, 종속절 포함 복잡 문장, 질문 형식, 의문문, 명령문, 서술문 차이 비교

3.콜센터 및 핸드폰 기반 테스트

3.1 기기 다양성 테스트

• 테스트 설명: 다양한 모바일 기기에서 인식률을 확인
• 테스트 조건: Android, iOS 기기별 인식 성능 비교, 핸드폰 내장 마이크와 유/무선 헤드셋 사용 시 인식률 비교

3.2 통신 환경 테스트

• 테스트 설명: 네트워크 품질 변화에 따른 인식 성능 확인
• 테스트 조건: 와이파이, 4G, 5G 연결 품질 및 통화 연결 품질 변화에 따른 인식 성능 확인, 통화 중 신호 세기 변화나 끊김 현상 포함

3.3 콜센터 시나리오 테스트

• 테스트 설명: 콜센터에서 자주 발생하는 발화 및 응대 패턴에 대한 인식 성능 확인
• 테스트 조건: 인바운드/아웃바운드 통화에서 고객과 상담사의 발화 패턴에 따른 성능 테스트, 대기음이 포함된 응답 상황 반영

3.4 잡음 환경 테스트

• 테스트 설명: 다양한 배경 소음을 포함한 통화 환경에서 인식 성능 확인
• 테스트 조건: 실외(길거리, 차량, 공공장소 등) 및 핸드폰 헤드셋의 노이즈 캔슬링 효과 비교

콜센터 시나리오 테스트 (세분화)

인바운드 테스트

• 고객 발화 패턴 테스트
  • 문의 유형: 고객의 질문, 요청, 불만 등 다양한 발화 유형에 따른 인식 성능 평가
  • 반복성 발화: 고객이 동일 질문을 반복하는 경우(예: “다시 한 번 말씀해주세요”) 인식 성능 확인
  • 감정 표현: 고객의 다양한 감정(화남, 좌절, 의문 등)에 따른 발음 변화와 이에 따른 인식률 비교
  • 배경 소음: 고객이 조용한 환경에서 통화하는 경우와 소음이 있는 환경에서 통화하는 경우(예: 차량 내부, 야외)
• 상담사 응대 패턴 테스트
  • 응답 유형: 상담사의 정보 제공, 확인, 공감 등 응대 방식에 따른 인식 성능 확인
  • 대기음 포함 응답: 고객을 대기 상태로 전환 후 다시 연결 시, 대기음이 포함된 응답 시나리오에서 인식률 확인
  • 확인 질문 반복: 상담사가 고객 요청에 대해 확인 또는 재확인 질문(예: "이 정보가 맞습니까?")을 할 때의 인식 성능
  • 동시 발화: 고객과 상담사가 동시에 발화하는 상황(예: 서로의 말을 끊지 않고 말할 때)에서의 인식 성능 확인

아웃바운드 테스트

• 상담사 발화 패턴 테스트
  • 안내 발화: 상담사가 고객에게 일방적으로 안내할 때의 인식 성능 (예: 제품 안내, 정보 제공 등)
  • 질문 발화: 상담사가 고객에게 질문을 던지고, 답변을 기다리는 상황에서의 인식 성능
  • 권유 발화: 특정 상품을 권유하거나, 고객의 응답을 이끌어내는 발화(예: "이 상품에 관심 있으십니까?") 시 인식률 평가
  • 반복적 발화: 고객이 응답이 없거나 혼란을 보일 때, 상담사가 동일한 정보를 반복하거나 강조하는 상황에서의 인식 성능
• 고객 반응 패턴 테스트
  • 간단 응답: 고객이 짧은 답변(예: "네", "아니요")으로 응답하는 경우와 다양한 억양에 따른 인식률 비교
  • 질문 반문: 고객이 상담사의 질문을 다시 질문으로 되묻는 경우(예: "그게 무슨 뜻이죠?")에 대한 인식 성능
  • 불만 반응: 고객이 거부하거나 불만을 표시하는 경우의 다양한 발화 패턴 인식률 확인
  • 배경 소음: 고객이 소음이 있는 환경(예: 도로, 지하철 등)에서 응답할 경우 인식 성능 확인

---

4. 모델 성능 최적화

4.1 데이터셋 확장

• 테스트 설명: 추가 데이터를 통한 모델 최적화
• 테스트 조건: 방언 및 특수 발음을 포함한 추가 발화 데이터 사용 전후 성능 비교

4.2 전처리 및 후처리 개선

• 테스트 설명: 소음 제거 및 발화 구분 최적화
• 테스트 조건: 소음 필터링, 문장 분리 성능, 음성 볼륨 및 톤 변화 대응 여부

 

항목	테스트 설명	테스트 조건	세부 조건
데이터셋 확장	추가 데이터를 통한 모델 최적화	-추가 발화 데이터: 방언 포함 여부, 특수 발음 포함 여부	• 데이터 확장 전후 성능 비교
전처리 및 후처리 개선	노이즈 제거 및 발화 구분 최적화	-소음 필터링, 문장 분리 성능	• 음성 볼륨 변화, 음성 톤 변화 대응 여부

5. 테스트 수행 방법 및 분석

5.1 테스트 단계별 수행 절차

1. 테스트 준비: 각 테스트 항목에 필요한 데이터와 조건에 맞춘 환경 준비
2. 테스트 수행: 세부 조건에 따른 테스트 케이스 실행
3. 데이터 수집: 각 항목의 성능 데이터 수집(WER 및 인식률 기록)
4. 결과 분석: 인식률 90% 이상 달성 여부 확인 및 개선 사항 분석
5. 결과 보고서 작성: 성능 개선 방안 도출 및 최종 보고서 작성

 

주요 항목(가안)	문제점	개선 방안	성능 전/후 비교
배경 소음이 높은 환경	인식률 저하	소음 필터링 기능 강화	인식률 85% → 90% 이상
긴 문장 인식	긴 문장에서 WER 증가	문장 분리 후 처리 기능 개선	인식률 80% → 92%
구어체 발화 인식	비공식적 언어 인식률 저조	비공식 발화 데이터 추가 학습	인식률 82% → 90% 이상