SpanBERT SpanBERT는 텍스트 범위를 예측하는 질문-응답과 같은 Task에서 주로 사용된다. 기존 BERT의 MLM방식과 더불어 SBO방식을 함께 사전 학습에 활용한다. token = [you, are expented, to, know, [MASK], [MASK], [MASK], [MASK], country] SBO span boundry objective의 줄임말이다. 토큰의 연속 범위를 무작위로 MASK 처리한다. 기존 BERT 모델에서는 MASK 토큰의 예측을 위해 MASK의 representations을 활용했다면 SBO에서는 연속적인 MASK 토큰의 예측을 위해 나열된 MASK의 양쪽 경계에 있는 문자 토큰의 representation을 예측에 활용한다. [you, are expent..