이 모델은 2020-05-01에 HF papers에 게시되었으며, 2020-11-16에 Hugging Face Transformers에 기여되었습니다.

HerBERT

개요

HerBERT 모델은 Piotr Rybak, Robert Mroczkowski, Janusz Tracz, Ireneusz Gawlik이 KLEJ: Comprehensive Benchmark for Polish Language Understanding에서 제안했습니다. 이는 전체 단어 동적 마스킹을 적용한 MLM 목적 함수만으로 폴란드 코퍼스로 학습된 BERT 기반 언어 모델입니다.

해당 논문의 초록은 다음과 같습니다:

최근 몇 년간 Transformer 기반 모델의 등장으로 일반 자연어 이해(NLU) 작업에서 상당한 성능 향상이 이루어졌습니다. 이러한 빠른 연구의 진전은 제안된 방법론을 공정하게 비교할 수 있는 일반 NLU 벤치마크 없이는 불가능했을 것입니다. 그러나 이러한 벤치마크는 소수의 언어에 대해서만 제공됩니다. 이 문제를 완화하기 위해, 우리는 폴란드어 이해를 위한 포괄적인 다중 작업 벤치마크와 온라인 리더보드를 소개합니다. 이 벤치마크는 실체 인식, 질의응답, 텍스트 함의 등 기존 데이터셋에서 채택된 다양한 작업으로 구성됩니다. 또한, e-commerce 도메인을 위한 새로운 감정 분석 작업인 Allegro Reviews(AR)를 소개합니다. 공통 평가 체계를 보장하고 다양한 NLU 작업으로 일반화되는 모델을 장려하기 위해, 벤치마크에는 다양한 도메인과 애플리케이션의 데이터셋이 포함됩니다. 추가로, 우리는 폴란드어에 특화되어 학습된 Transformer 기반 모델인 HerBERT를 공개합니다. HerBERT는 평균 성능이 가장 우수하며, 9개 작업 중 3개에서 최상의 결과를 달성합니다. 마지막으로, 여러 표준 베이스라인과 최근에 제안된 다국어 Transformer 기반 모델을 포함한 광범위한 평가를 제공합니다.

이 모델은 rmroczkowski가 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 예시

from transformers import HerbertTokenizer, RobertaModel


tokenizer = HerbertTokenizer.from_pretrained("allegro/herbert-klej-cased-tokenizer-v1")
model = RobertaModel.from_pretrained("allegro/herbert-klej-cased-v1", device_map="auto")

encoded_input = tokenizer.encode("Kto ma lepszą sztukę, ma lepszy rząd – to jasne.", return_tensors="pt").to(model.device)
outputs = model(encoded_input)

# HerBERT can also be loaded using AutoTokenizer and AutoModel:
from transformers import AutoModel, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("allegro/herbert-klej-cased-tokenizer-v1")
model = AutoModel.from_pretrained("allegro/herbert-klej-cased-v1", device_map="auto")

Herbert 구현은 BERT와 동일하며, 토큰화 방식만 다릅니다. API 참고 사항 및 예제는 BERT 문서를 참조하세요.

HerbertTokenizer