Abstract

• BERT는 모든 레이어에서 왼쪽과 오른쪽 문맥을 공동으로 조정함으로써 unlabeled text로부터 깊은 양방향 표현을 사전학습하도록 설계
• 그 결과로, pre-trained BERT 모델은 넓은 범위의 태스크(질문답변, language inference)를 위한 sota 모델을 만들기 위해 단 하나의 추가적인 output layer로도 fine-tuning 가능
  • 실질적 작업별 아키텍처 수정 없이 가능
• BERT는 심플하고 파워풀, GLUE에서 11개 부문에서 new-state-of-the-art(sota, 가장 우수한 모델) 결과를 얻음
  • including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).

Introduction

• 언어 모델 pre-training은 많은 NLP 과제들에 효과적임을 보여주었음
• 전체적으로 분석해 문장 관계를 파악하는 sentence-level (such as Lnguage inference and paraphrasing), 명명된 개체 인식과 같은 token-level 과제, 모델이 token-level에서 정교한 output을 내는 것을 필요로 하는 질문에 대한 답변까지
• downstream task를 해결하는 pretrained language representation을 위한 두 가지 전략은 feature_based and fine-tuning

Feature-based approach

• ELMo - pre-trained representations as additional features를 포함하는 task-specific 아키텍처를 사용

Fine-tuning approach

• Generative Pre-trained Transformer(OpenAI GPT) - minimal task-specific parameters를 도입, downstream task에서 학습됨, by 간단히 전체 pre-trained 파라미터를 파인튜닝함으로써

이 두 approach는 pre-training동안 동일한 목적함수를 공유, 일반적인 언어 표현을 학습하기 위해 단방향 언어 모델을 사용

• 현 기술들은 pre-trained representations의 power를 제한하며, 특히 fine-tuning approach에서는 더욱 그러함

• 주요 한계는, 표준 언어 모델은 단방향이고, 이는 pre-training 동안 쓰일 수 있는 아키텍처의 선택지를 제한함

• 예를 들어, OpenAI의 GPT 같은 경우, 저자들은 left-to-right 아키텍처를 사용하여 모든 토큰이 트랜스포머의 self-attention 레이어에 있는 이전 토큰에만 attend 가능

• 이러한 제한 사항은 문장 수준 과제에는 최적이 아니며, 양방향에서 문맥의 통합이 중요한 질문 답변과 같은 token-level 태스크에서 fine-tuning based approach를 적용할 때 매우 위험할 수 있음

• 따라서 이 논문에서는, BERT를 제안함으로써 fine-tuning based approaches를 개선

• Bidirectctioanl Encoder Representations from Transformers

• BERT는 이전에 언급했던 단방향의 제한사항을 완화, masked lanuage model를 사용함으로써

• pretrain된 object로서, Cloze task에 영감을 받음 (cloze task = 빈칸 채우기 task)

• MLM 은 input에서 랜덤하게 몇몇 토큰을 마스킹함

• 마스킹된 언어 모델은 인풋 데이터에서 몇몇 토큰들을 랜덤하게 마스킹, 목적은 문맥에 기초하여 masked된 단어의 원래 단어 id를 예측하는 것

• left-to-right 언어 모델 pretraining과는 다르게, MLM의 목적은 left와 right의 문맥을 통합할 수 있게 해줌, 이것은 깊은 양방향 transformer를 pre-training 하도록 함

• MLM에 더해, ‘next sentene prediction’ 과제는 전체적으로 text-pair representations를 pre-train한다.

이러한 기여는 :

• 양방향의 pre-training for language representations의 중요성을 입증함.

• Radford et al. , 단방향 언어 모델 for pre-training과는 다르게, BERT는 masked 언어모델을 사용해 pre-train된 깊은 양방향 표현을 가능하게 함

• 이는 Peters et al.과도 대조적인데, 그는 독립적으로 train된 left-to-right과 right-to-left LMs의 얕은 연쇄(shallow concatenation)을 사용

• pre-trained representations는 많은 무거운 engineered task-specific 아키텍처의 필요성을 줄임

• BERT는 많은 task-specific 아키텍처를 능가하면서 대규모 제품군의 sentence-level과 token-level 과제에서 sota performance를 성취한 첫 fine-tuning based representation 모델

• BERT는 11개의 NLP 과제에서 sota를 이룩, code와 pre-trained 모델은 여기서 볼 수 있음

2 Related Work

pre-training general language representations에 대한 긴 역사가 있고, 가장 널리 사용하는 접근 방식을 간단하게 리뷰

2.1 Unsupervised Feature-based Approaches

널리 적용 가능한 단어 표현의 학습은 non-neural과 neural 방식을 포함해 수십년동안 연구의 활발한 영역이었음

Pre-trained word embeddings는 현대 NLP 시스템의 필수적인 파트, 처음부터 학습된 임베딩보다 상당한 개선 사항을 제공

• word embedding vector를 pre-training하기 위해서, left-to-right language modeling 목표들이 사용되었으며, 또한 left와 right 문맥에서 틀린 단어들로부터 맞는 것을 구별하는 목표들도 사용됨

이러한 approach들은 더 거친 세분화를 거쳐왔음

• 문장 임베딩, 문단 임베딩

• 문장 표현을 훈련시키기 위해서, 이전의 작업들은 다음 문장의 후보들을 랭크하는 목표들을 사용

  • 이전문장의 표현이 주어지면 다음 문장 단어들을 left-to-right으로 생성하거나 auto-encoder를 denoising하는데서 파생되는 objectives를 사용

• ELMo와 그 이전 모델은 다른 차원을 따라 전통적인 워드 임베딩 연구를 일반화시킴

  • left-to-right과 a right-to-left 언어모델에서 context-sensitive 피처들을 extract
  • 각 토큰의 이러한 문맥상의 표현은 left-to-right과 right-to-left representation의 연결(concatenation)로 이루어짐

• 존재하는 task-specific 아키텍처와 문맥상의 워드 임베딩을 통합할때, ELMo는 질의응답, 감성분석, 명명개체인식과 같은 여러 주요 NLP 벤치마크에서 sota를 거머쥠

• Melamue et al. 은 LSTM을 이용해 left와 right 문맥 동시로부터 하나의 단어를 예측하는 과제를 통한 문맥적인 표현의 학습을 제안

  • ELMo와 유사하게, 그들의 모델은 feature-based이고 깊은 양방향은 아님

• Fedus et al.은 cloze task가 텍스트 생성 모델의 강건성을 개선시킬 수 있다는 것을 보여줌

2.2 Unsupervied Fine-tuning Approaches

feature-based approach와 마찬가지로, 이러한 방향에서의 가장 첫 번째 작업들은 오직 unlabeled 텍스트에서 워드 임베딩 파라미터만 사전훈련시킴

• 좀 더 최근에는, 문장이나 문서 문맥적 토큰 표현들을 생성하는 인코더들이 downstream task를 위해 unlabeled text로부터 pre-train되고 fine-tune 되어왔음
• 이러한 접근 방식의 장점은 애초에 적은 파라미터들만이 학습될 필요가 있다는 것
• 적어도 부분적으로는 이러한 이점으로 인해, OpenAI GPT는 GLUE 벤치마크로부터 많은 문장 레벨 태스크에서 이전에 sota를 달성
• left-to-right 언어 모델링과 오토 인코더 목적 함수들이 그러한 모델들을 pretraining하는 데 사용되었음

2.3 Transfer Learning from Supervised Data

언어 추론이나 기계 번역과 같은 large dataset에서 supervised task에서 효과를 보인 transfer learning에 관한 작업은 없었음

컴퓨터 비전 연구 또한 거대 사전 훈련된 모델로부터의 transfer learning의 중요성에 대해 입증함

• ImageNet으로 pre-train된 모델을 파인튜닝 하는 것이 효과적인 방법이라는것

3 BERT

BERT와 그 디테일한 구현을 소개

프레임 워크에는 크게 두 step이 존재:

• pre-training and fine-tuning
• pre-training동안, 모델은 각기 다른 pre-training 태스크에 대해 unlabeled 데이터를 학습
• fine-tuning을 위해서는 BERT는 pre-trained 파라미터들과 함께 초기화되고, 모든 파라미터들은 downstream 태스크의 labeled data를 이용해 fine-tuning됨
• 각 downstream 태스크는 같은 pre-train된 파라미터로 초기화되었다고 할 지라도 구분된 fine-tuned 모델이 존재

• 위 question-answering 예제는 이 섹션에 대한 실행 과정 예제로 사용됨
• BERT의 독특한 특징은 다양한 작업에 걸친 통합 아키텍처임
• pre-trained 아키텍처와 최종 downstream 아키텍처 사이에는 작은 차이점이 존재

Model Architecture

BERT의 모델 아키텍처는 Vaswani et al.에 설명된 원래 구현을 기반으로 한 다층 양방향 트랜스포머 인코더이며, tensor2tensor library에 출시됨

트랜스포머의 사용이 일반화 되었고 우리의 구현이 거의 원본과 동일하기 때문에, 모델 아키텍처의 철저한 배경 설명을 생략할 것이며 독자들에게 Vaswani et al.와 ‘The Annotated Transformer’과 같은 훌륭한 가이드를 나타냄