이 모델은 2021-11-17에 HF papers에 게시되었으며, 2023-06-20에 Hugging Face Transformers에 기여되었습니다.

XLS-R

개요

XLS-R 모델은 Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli가 XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale에서 제안했습니다.

해당 논문의 초록은 다음과 같습니다:

이 논문은 wav2vec 2.0 기반의 대규모 교차 언어 음성 표현 학습 모델인 XLS-R을 제시합니다. 공개된 128개 언어의 약 50만 시간의 음성 오디오로 최대 20억 개의 매개변수를 가진 모델을 학습했으며, 이는 알려진 기존 최대 규모 작업보다 공개 데이터가 10배 이상 많습니다. 평가는 고자원 및 저자원 언어를 포함하여 다양한 작업, 도메인, 데이터 환경, 언어를 포괄합니다. CoVoST-2 음성 번역 벤치마크에서 영어로 번역하는 21개 방향에 대해 이전 최첨단 성능보다 평균 7.4 BLEU를 향상시켰습니다. 음성 인식의 경우, XLS-R은 BABEL, MLS, CommonVoice, VoxPopuli에서 알려진 기존 최선 작업보다 성능을 향상시켜 오류율을 평균적으로 14~34% 상대적으로 낮췄습니다. XLS-R은 VoxLingua107 언어 식별에서도 새로운 최첨단 성능을 달성했습니다. 또한, 충분한 모델 크기를 갖출 경우, 영어 음성에서 다른 언어로 번역하는 설정(단일 언어 사전 학습에 유리한 설정)에서 교차 언어 사전 학습이 영어 전용 사전 학습보다 우수한 성능을 낼 수 있음을 보여줍니다. XLS-R이 세계의 더 많은 언어에 대한 음성 처리 작업 개선에 도움이 되기를 바랍니다.

관련 체크포인트는 https://huggingface.co/models?other=xls_r에서 찾을 수 있습니다.

원본 코드는 여기에서 찾을 수 있습니다.

사용 팁

• XLS-R은 음성 신호의 원시 웨이브폼에 해당하는 float 배열을 입력으로 받는 음성 모델입니다.
• XLS-R 모델은 connectionist temporal classification(CTC)을 사용하여 학습되었으므로, 모델 출력은 Wav2Vec2CTCTokenizer를 사용하여 디코딩해야 합니다.

XLS-R의 아키텍처는 Wav2Vec2 모델에 기반하며, API 참고 자료는 Wav2Vec2 문서 페이지를 참조하세요.