BLEU (BiLingual Evaluation Understudy score)는 학습된 모델의 생성 sequence 결과가 실제 정답과 얼마 유사한지 측정하는 metric으로, 기계 번역 task에서 주로 사용된다. 하지만 요즘은 SacreBLEU를 사용하는 것이 표준으로 자리 잡은 상태, 그 둘은 어떻게 다를까? $$ BLEU = \frac{맞춘 \ 토큰의 \ 수} {모델이 \ 생성한 \ 토큰의 \ 수} $$ Transformer 기반의 언어 모델을 활용한 연구가 대다수인 지금, BLEU를 사용하기에 존재하는 가장 큰 문제점은 모델마다 토크나이저가 다르다는 것이다. 어떤 토크나이저를 사용하여 BLEU를 측정하느냐에 따라 결과값이 바뀔 수 있는 만큼 BLEU 값에 대한 신뢰도가 하락하게되는 것은 자연스..

Abstract Question Generation(QG)는 Question Answering(QA)와 반대되는 태스크로 passage와 answer가 주어졌을 때, 해당 answer를 답으로 낼 수 있는 question을 생성하는 태스크이다. 크게 Template-based QG와 Supervised QG로 나뉠 수 있으나 두 방법 모두 단점이 존재한다. 이를 해결하기 위해 본 논문은 dataset을 쉽게 만들 수 있는 방법을 제안하여 앞선 문제를 해결한다. Introduction QG의 목표는 input으로 주어지는 passage와 answer를 바탕으로 의미있는 question을 생성하는 것이다. 이러한 QG는 data augmentation의 관점에서 QA에 적용되기도 한다. 초기의 QG는 tem..