-
[Story Generation Study Week 02 : Story Generation & Story Completion]AI/NLP 2022. 7. 6. 13:03728x90
[Story Generation Study Week 02 : Story Generation & Story Completion]
[Story Generation Study Week 02 : Story Generation & Story Completion]
[commonsense] A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories (NAACL, 2016)
[event] Event Representations for Automated Story Generation with Deep Neural Nets (AAAI, 2018)
Strategies for structuring story generation (ACL, 2019)A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories (NAACL, 2016)
1. Commonsense
2. Story Cloze Test
3. ROC Stories
- Story Understanding 위주
- story = narrative를 갖는 텍스트
- story understanding은 script learning에 많은 비중을 두었다 (하지만, Template같은 거 구축하기 어려움)
- 블로그 포스팅 같은건 commonsense를 많이 담고 있지만, noisy하다는 문제점 있다! 인과관계 없기 때문에 이게 있는 dataset을 구축하겠다
- narrative 이해에는 Commonsense가 중요하다
- 이를 위해서 데이터셋을 어떻게 구축하는지, 테스트는 어떻게 하는지
- Contribution
- ROC Stories : Daily event 위주로 서술된 데이터 셋
- 데이터의 key property / instruction / constraint
- n-token
- Story Cloze Test : 평가 방식
- 다음의 이벤트를 예측하는 것이 아니라, 엔딩을 예측하는 것!
- 시간 분석이 중요함 !
- shuffling / TimeML
- commonsensial event의 중요성!
- event 사이의 복잡한 commonsense를 잘 파악할 것
- cloze Test : 문장에서 임의의 단어를 제거하고 시스템이 공백을 채우도록 시도함으로써, 언어 능력에 대한 시스템을 평가하는데 사용되는 테스트!
- 새로운 story cloze Test 제시 : 4개의 문장으로 구성된 context 제공하고, 2개의 ending을 주고 어떤 ending이 더 맞는 ending인지?를 통해 !
- Model : 내러티브에 대한 이해 없이 shallow 접근법에 대한 다양한 실험 진행
1. Frequency
2. N-gram overlap
3. Word2vec
4. Sentiment - Full
5. Sentiment - Last
6. Skip-thoughts Model
7. ~~~
8.
9.
[Story Generation] Paper Review : A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories
2016년 NAACL에 발표된 "A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories" 를 정리한 글입니다. 현 시점을 기준으로 107회 인용된 논문입니다.
velog.io
story generation보다는 narrative 이해에는 Commonsense가 중요하고 그를 위한 dataset 구축과 test 방식에 집중한 논문이다!
Strategies for structuring story generation (ACL, 2019)
- Global Coherence 를 나타내는 데 어려움이 있다
- 작가가 작법하는 방식대로 모델을 디자인해보자!
- 일반적으로 plot을 만들고 !
- 이런 작법 방식을 decomposition해서 모델 디자인에 적용하고자 한다!
- 세 가지 Seq2Seq로 Story를 Generate하고자 한다
1. 액션 플랜(Action Plan) :
Input: 스토리 프롬프트
Output: 액션 플랜 = predicate<V>와 argument<A>로 이뤄진 predicate-argument 구조를 지닌 문장들동사끼리만 Masking해서 ! (Verbal Attention Head) - 좀 더 다양한 동사들이 출몰할 수 있다 !
2. Story narrative: Modeling Entities
Entity를 추가하면 구체적인 스토리를 생성해낼 수 있다!
사람이 만들어낸 Entity는 굉장히 창의적이다!
Automated Annotation - NER 수행 : 같은 대상인데 다르게 언급되는 것을 잡아내기 위해 같은 엔티티끼리 클러스터링해준다!
3. Entities such as characters
새로 엔티티를 만들거나 앞에서 copy해오거나!
-> Pointer copy attention head를 사용해서 분류기가 copy를 해야될지 말아야 할지, 한다면 어떤 걸 해야할지 판단할 수 있음
- 딥러닝 파이프라인
https://velog.io/@ji1kang/Story-Generation-Strategies-for-structuring-story-generation-ACL-2019
[Story Generation] Strategies for structuring story generation (ACL, 2019)
Chapter 2. Story Generation & Story Completion A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories (NAACL, 2016) Event Repre
velog.io
728x90'AI > NLP' 카테고리의 다른 글