KoBART 한국어 문서 요약

무엇을 하는 미션인가

한국어 문서를 한 문단으로 요약하는 미션입니다. digit82/kobart-summarization을 파인튜닝하고 ROUGE·BERTScore로 평가했습니다.

전처리와 학습 설정

입력·출력 길이는 토큰 길이 분포의 95 퍼센타일을 보고 8의 배수로 맞춰 정했습니다. 학습은 Seq2SeqTrainer로 5 에폭, learning rate는 약 3.92e-05입니다. 생성은 num_beams=4, max_length=256, min_length=10 설정을 씁니다.

평가 결과

editorial 도메인 테스트 6,894건 기준입니다.

ROUGE와 BERTScore가 다른 이야기를 합니다. ROUGE-2가 0.0677로 낮은 것은 정답 요약과 겹치는 2-gram이 적다는 뜻이고, BERTScore-F1 0.6886은 표현이 달라도 의미는 어느 정도 붙잡았다는 뜻입니다. 한국어 요약에서 어휘 겹침 기반 지표만 보면 과소평가되기 쉬운 지점입니다.

한계

• 단일 도메인(editorial) 결과이며 다른 도메인으로 일반화되지 않습니다
• 정답 요약이 하나뿐인 평가라 ROUGE가 표현 다양성을 반영하지 못합니다
• 파인튜닝 전후를 같은 조건에서 비교한 수치는 노트북에 남아 있지 않습니다