BLEU (BiLingual Evaluation Understudy score)는 학습된 모델의 생성 sequence 결과가 실제 정답과 얼마 유사한지 측정하는 metric으로, 기계 번역 task에서 주로 사용된다. 하지만 요즘은 SacreBLEU를 사용하는 것이 표준으로 자리 잡은 상태, 그 둘은 어떻게 다를까? $$ BLEU = \frac{맞춘 \ 토큰의 \ 수} {모델이 \ 생성한 \ 토큰의 \ 수} $$ Transformer 기반의 언어 모델을 활용한 연구가 대다수인 지금, BLEU를 사용하기에 존재하는 가장 큰 문제점은 모델마다 토크나이저가 다르다는 것이다. 어떤 토크나이저를 사용하여 BLEU를 측정하느냐에 따라 결과값이 바뀔 수 있는 만큼 BLEU 값에 대한 신뢰도가 하락하게되는 것은 자연스..