[논문 리뷰] “I Have No Text in My Post” : Using Visual Hints to Model User Emotions in Social Media (WWW ‘22 / Best Paper Candidate)

[논문 리뷰] “I Have No Text in My Post”
: Using Visual Hints to Model User Emotions in Social Media
(WWW ‘22 / Best Paper Candidate)

 

 

본 논문은 WWW 2022에서 Best Paper 후보에 올랐고, 저자가 한국 분이셔서 냉큼 읽었다. 

 

나 또한 Social Media를 분석하는 것에 관심이 있고, 현재 연구하는 내용도 Reddit에서 Text와 Image를 모두 고려하고 있기 때문에 매우 흥미롭게 읽었다. 

 

 

아래 설명은 존댓말로... 

 

 

Introduction

 

 

논문의 연구 배경에 대해서 말씀드리겠습니다. 현재 대부분의 소셜 미디어 플랫폼에서는 Text와 이미지, 비디오와 같이 다양한 종류의 정보들을 활용하여 상호작용을 합니다. 또한 최근에는 특히 트윗을 작성하거나 인스타 게시물을 올릴 때에도 완전한 문장을 다 쓰기보다는 간단한 해시태그들을 통해서, 또는 이미지 한 장만으로 표현하는 경우가 많습니다. 

 

하지만 현재 Emotion 관련 연구들은 주로 Text 위주로 분석을 하고, Image를 분석에 반영한다 해도, 색감이나 질감과 같은 raw한 feature들만 고려할 뿐 그 이미지 내의 Contextual Information을 고려하지 않는다는 한계가 있습니다.

 

 

따라서 본 논문에서는 3가지 Research Question을 설정하였습니다.

첫번째로 소셜 미디어 이용자들이 자신의 포스트에 어떻게 감정을 표현하는지,

두번째는 이미지 내의 visual hint들이 그 사람의 감정과 어떤 상관 관계가 있는지,

세번째는 그 visual hints들이 emotion을 예측하는데 유의미한지 검증하는 형태로 연구를 진행했다고 합니다.

 

 

 

방법은 다음과 같이 진행했다고 합니다.

 

먼저 첫번째 Question에 대해서는 Survey를 진행하여 인스타그램 포스트에서 본인의 감정을 어떻게 표현하는지 설문을 진행을 했고, 그 결과 61%가 색깔이나 질감보다는 Visual hints를 사용했다고 답했습니다.

 

또한 두번째 질문에 대해서는 Positive한 감정들과 Negative한 감정들에 대해서 각각에 관련이 있는 Visual Hints가 명확하게 다르기 때문에 이를 활용하여 Emotion Detection을 하는 것이 좋은 feature가 될 수 있음을 증명하였습니다.

 

마지막으로 Emotion prediction 모델을 구축하여 실제로도 이 Visual hints가 모델의 성능에 좋은 영향을 미친다는 것을 파악했습니다.

 

 

 

Study Procedure and Methodology

 

본 연구는 위의 figure와 같이 크게 4단계로 진행되었다고 합니다. 뒤에서 각 단계에 대해서 말씀드리도록 하겠습니다.

 

 

 

1. Survey

먼저, 3가지 Survey Question을 통해 사용자에게 설문을 진행했습니다. 설문 참여자들에게 자신의 인스타그램 포스트에서 emotional hashtag가 자신의 감정을 솔직하게 표현하는지, 또 어떻게 자신의 감정을 post에서 표현하는지, 마지막으로 포스팅하는 image에서 자신의 감정을 어떻게 표현하는지 질문했습니다.

 

 

2. Preparation

 

 

또한 대상 데이터를 모으기 위해선 6가지 감정에 대한 Hashtag를 검색해서 Graph API를 각 hashtag 당 20000개 이상의 post를 수집했다고 합니다. 이렇게 수집한 Post에서 Feature는 Text와 Image, 두 가지를 뽑았고 이미지에서는 RGB, HSV, Visual Hints를 뽑았습니다. 앞에서부터 이 Visual Hints가 사용자의 emotion과 관련도가 높다고 말하는데, 이 visual hints는 마이크로소프트에서 제공하는 Azure Cognitive Service API를 사용하여 아래 예시 그림과 같이 Object Detection을 하여 추출했습니다. 또한 Text 데이터로는 각 post의 캡션과 Hashtag를 포함했다고 합니다.

 

 

 

이렇게 앞에서 수집한 데이터를 두 방식으로 나눠 분석했습니다. 첫번째로는 RGB나 HSV와 같은 색상 정보를 활용하여 두 가지 Emotions와 상관관계가 있는 Color Distribution이 있는지 확인해보았고, 두번째로는 Azure API를 통해 추출한 Visual Hints들을 통해 두 가지 Emotions와 상관관계가 있는지 확인했습니다.

 

 

 

마지막으로 자체적으로 Text 데이터와 Image 데이터를 활용하여 Emotion Classification을 수행하는 모델을 구축했으며, Baseline으로 머신러닝 모델, 딥러닝 모델, Transfer Learning을 사용한 딥러닝 모델들을 사용했다고 합니다.

 

 

 

 

Results

 

 

위의 네 과정을 거쳐 나온 실험 결과들입니다. 

 

 

먼저 논문의 저자들이 언급했던 것처럼 데이터 분석 결과, Text가 없거나 적은 것이 현재 Social Media Trend임을 확인할 수 있었습니다.

 

 

또한 설문 결과, 소셜 미디어에서의 감정 표현 방식이 이미지와 관련 있다고 답변한 결과가 65%이며, 색상 정보들보다는 Object와 관련 있다고 답한 결과가 46.7%로 가장 큰 것을 알 수 있었습니다. 결론적으로는 위에서 정의한 Visual Hints가 효과적이었다는 것을 말하고 있습니다.

 

 

 

 

 

다음으로 아래 Figure에서 확인할 수 있는 바로는 각 감정들과 관련 있는 Topic들이 상이한 것을 알 수 있습니다. 가령 Excitement는 fashion이라는 Topic이, satisfaction은 음식이라는 토픽에서 가장 높았습니다. 반대로 반대로 슬픔, 두려움, 화남은 각각 Object, Color, State와 관련 있는 것을 알 수 있습니다.

 

 

 

 

또한 Visual Hints의 유효성을 검증하기 위해 Model을 통해 Prediction한 결과입니다. Table3을 확인해보면 Hashtag나 Caption을 활용했을 때 F1 Score가 가장 높은 것을 알 수 있었습니다. 이 결과에 대해서 논문에서는 물론 텍스트가 성능이 잘 나오긴 하지만, 텍스트 정보는 양이 많아야 좋은 성능을 보인다는 것을 옆의 그래프로 보여주었습니다. 반면에 Visual Hints는 텍스트 양에 크게 구애받지 않음을 알 수 있습니다. 즉, 텍스트 정보가 적은 현재 소셜 미디어의 특성상 Visual Hint를 활용하는 것이 효과적이다는 것을 위와 같이 보여주었습니다.

 

 

 

 

Discussions

 

즉 위 실험 결과들을 종합해보자면, 이전 연구들의 결과와 달리 Color Distribution은 Positive Emotions이나 Ne gative Emotions과는 큰 관련이 없는 것을 확인할 수 있었습니다. 오히려, 두 emotion 간의 Topic 차이가 있는 것을 확인할 수 있었습니다. Positive Emotion에서 대표적인 행복감이나 흥분감에서 자주 등장하는 Topic은 Fashion이고, 만족감에서 가장 많이 등장하는 Topic은 Food였습니다. 반대로 슬픔, 두려움, 화남은 각각 Object, Color, State와 관련 있는 것을 알 수 있습니다. 마지막으로 Model Prediction 결과, 이 Visual Hint들이 감정을 예측하고 분류하는 데에 효율적인 것을 확인할 수 있었습니다.

 

 

 

Conclusions

 

 

결론은 위 논문의 contribution과 실험 결과, discussion들을 요약한 내용들입니다.