[2023 Spring NLP Seminar] How Far are We from Robust Long Abstractive Summarization? (EMNLP 2022)

 

[2023 Spring NLP Seminar] 
How Far are We from Robust Long Abstractive Summarization? (EMNLP 2022)

 

 

 

Abstract & Introduction 

 

 

기존 연구들의 한계점:
기존 연구에서는 요약의 관련성을 평가하는 ROUGE 메트릭을 주로 사용했지만, 사실성을 평가하는 메트릭은 부족
긴 문서를 요약하는 모델에서는 ROUGE 결과를 최대화하기 위해 학습하였지만, 이로 인해 사실성을 무시하는 요약이 생성되는 경우가 있음

 

본 연구의 접근 방법:
긴 문서를 추상적으로 요약하는 모델과 메트릭을 평가하기 위해 인간 주석을 수행
평가를 통해 요약의 관련성과 사실성을 평가하는 ROUGE와 다양한 사실성 메트릭(BLEURT, FactCC, etc.)을 사용하여 평가

 

결과:
긴 문서를 요약하는 모델에서는 ROUGE 결과를 최대화하는 것이 더 많은 관련성 있는 요약을 생성할 수 있지만, 사실적인 내용을 제공하지는 않을 수 있다는 것을 인식
인간 평가 결과에 따르면 ROUGE가 요약의 관련성을 평가하는 데 가장 우수한 것으로 나타남 

사실성 메트릭은 다양한 유형의 사실적 오류를 감지하는 데 있어서 중요한 한계점을 보여주며, BARTScore의 효과적인 이유를 밝혀냄이에 따라 사실성 일관성 메트릭을 개발하는데 있어서 유망한 방향을 제시
마지막으로, 폭넓은 요약 설정에서 메트릭 개발에 기여할 수 있도록 인간 주석이 포함된 긴 문서 데이터셋을 공개

 

 

 

발표를 들은 후 ... 

 

 

 

 

 

 

 

 

• 채희님 발표 

 

https://velog.io/@chaehee/How-Far-are-We-from-Robust-Long-Abstractive-Summarization-EMNLP-2022

How Far are We from Robust Long Abstractive Summarization? (EMNLP, 2022)