온라인 뉴스 기사에 대해 댓글로 의견을 나누는 과정에서, 기존의 인기 기반 추천 댓글은 특정 의견만 부각시킨다는 단점이 있어, 다양한 관점의 의견을 살펴볼 수 있도록 댓글 내용의 주요 관점들(agendas)를 제시하고 필터링하여 볼 수 있게 한 인터페이스(Hagendas)에 대한 연구 입니다.
대상이 되는 환경/데이터 : 온라인 뉴스 토론 (Online news discussion)
읽은 날짜 2023.04.21
카테고리 #Viewpoints, #News, #HCI논문리뷰
Improving Readers’ Awareness of Divergent Viewpoints by Displaying Agendas of Comments in Online News Discussions
- Authors: Taewook Kim , Hyunwoo Kim , Juho Kim , Xiaojuan Ma
- DOI: https://dl.acm.org/doi/10.1145/3462204.3481761
- Keywords: Agendas; Divergent; Discussions; Online news discussions; Social media
- Issue Date: Oct. 2021
- Publisher: CSCW'21 (The ACM SIGCHI Conference on Computer-Supported Cooperative Work & Social Computing)
ABSTRACT
(배경) 온라인 뉴스 기사의 독자들은 종종 social media에서 관련된 논의를 통해 뉴스와 관련된 다양한 의견(comments)을 나누는데, 이것을 우리는 'agendas'라고 표현한다.
다양한 agendas를 갖는 온라인 토론은 독자들이 뉴스 미디어의 영향으로 갖게 된 편견 (biased influences)를 완화시키는 데 도움이 된다.
(문제점) 독자들에게 인기 투표를 기반으로 comments를 보여주는 방식은, 의견의 다양성을 보여주는 데 실패하곤 한다.
(RQ/목표) 'Hagendas'라는 POC (proof-of-concept) 디자인을 통해 온라인 뉴스 토론에서의 다양한 agendas에 대한 인식을 향상시키는 것을 목표로 한다.
* Hagendas (Hashtag + agendas)
(방법) 'Hagendas'는 뉴스 기사에서 자동으로 파생된 가능한 agendas를 보여주고, 독자들이 이에 따른 코멘트들을 필터링 하여 볼 수 있도록 한다.
(평가) MTurk를 통해 95명의 온라인 실험참여자를 모집, within-subjects 실험을 통해, Hagendas가 사용자의 온라인 뉴스 토론 참여에 어떤 영향을 미치는가를 평가한다.
(결과)
agenda tags와 filtering 기능이 사람들의 코멘트를 읽는 agendas 숫자를 눈에 띄게 증가시키진 않았다.
하지만, 77.9%의 참여자들이 온라인 뉴스 토론을 탐색할 때 이와 같은 기능을 선호한다고 응답했다.
1. INTRODUCTION
==> 독자들이 온라인 뉴스 토론의 댓글에서 언급되지 않은 주제(unvoiced topics from comments)를 인식하게 하는 방법에 대한 연구는 거의 없다.
■ 배경
- 동일한 온라인 뉴스 기사를 읽더라도, 기사의 토픽에 따라 독자들의 댓글은 다르다.
> [28] Sara Owsley Sood, Elizabeth F. Churchill, and Judd Antin. 2012.
> Automatic Identification of Personal Insults on Social News Sites.
> https://doi.org/10.1002/asi.21690
- 소셜 미디어에서 뉴스 관련 댓글을 보여주는 현재의 방법은 사용자가 다양한 agendas를 인식하는 데 도움이 되지 않는다 .
> [13] Mingkun Gao, Hyo Jin Do, and Wai-Tat Fu. (IUI 2017)
> An Intelligent Interface for Organizing Online Opinions on Controversial Topics
> https://dl.acm.org/doi/10.1145/3025171.3025230
> [14] Mingkun Gao, Hyo Jin Do, andWai-Tat Fu. 2018.
> Burst Your Bubble! An Intelligent System for Improving Awareness of Diverse Social Opinions
> https://dl.acm.org/doi/10.1145/3172944.3172970
- 현재의 인기 투표 기반 댓글 정렬 방식은, 질이 낮은 댓글을 거를 수 있지만,
인기가 없지만 중요한 주제의 댓글 또한 걸러진다는 문제가 있다.
> [24] Deokgun Park, Simranjit Sachar, Nicholas Diakopoulos, and Niklas Elmqvist. (CHI 2016)
> Supporting Comment Moderators in Identifying High Quality Online News Comments.
> https://dl.acm.org/doi/10.1145/2858036.2858389
- 대다수의 관점과 나의 관점이 다를 경우, 사람들은 발언하기를 주저할 수 있다.
> [23] E. Pariser. 2012.
> The Filter Bubble: What the Internet is Hiding from You.
> Penguin Books.
> [32] R.L. West and L.H. Turner. 2020.
> Introducing Communication Theory: Analysis and Application.
> McGraw-Hill Education.
■ 선행 연구
온라인 공간에서 다양한 의견에 대한 독자의 인식(reader's awareness of divergent opinions)을 높이기 위한 다양한 방법을 탐색한 연구들
(1) 이분법적인 설정(dichotomous settings)에서 내용 별로 댓글을 구성하는데 중점을 둔 연구
==> 아쉬운 점: 모든 토론이 양자 관계에 해당하는 것은 아니므로, 뉴스의 맥락에서 충분하지 않다.
> [14] Mingkun Gao, Hyo Jin Do, andWai-Tat Fu. 2018.
> Burst Your Bubble! An Intelligent System for Improving Awareness of Diverse Social Opinions
> https://dl.acm.org/doi/10.1145/3172944.3172970
> [17] Travis Kriplean, Jonathan Morgan, Deen Freelon, Alan Borning, and Lance Bennett. (CSCW 2012)
> Supporting Reflective Public Thought with Considerit.
> https://dl.acm.org/doi/10.1145/2145204.2145249
> [21] Sean Munson, Stephanie Y. Lee, and Paul Resnick. (ICWSM 2013)
> Encouraging Reading of Diverse Political Viewpoints with a Browser Widget.
> https://ojs.aaai.org/index.php/ICWSM/article/view/14429
(2) 텍스트 분석 시각화(text analytic visualization)을 통해 대규모 스레드 댓글의 내용을 요약하려고 시도한 작업
(예를 들어 Sankey 다이어그램 [15, 16])
==> 아쉬운 점: 이러한 도구는 주석에 기존 주제를 요약(encapsulate)하는 효과적인 수단이지만, 토론에서 한 번도 언급되지 않은 관련 의제는 제외된다.
■ 이 연구에서는
온라인 뉴스 토론의 다양한 agendas에 대한 독자의 인식을 높이기 위하여,
Hagendas (Hashtag + agendas) 라는 POC 디자인을 다룬다.
2. Hagendas: Manifesting possible agendas for discussions online
- Reddit의 r/news에 있는 features를 따라서 Proof-of-concept, Hagendas를 디자인하였다.
Hashtag: 뉴스 헤드라인과 기사 내용(기사 첫번째 문장)에서 가능한 agendas 추출하여 제시
Word-level: 단어 수준의 Hashtag를 제공한다. (그렇지 않을 경우, 특정 의도를 강요하는 것이 될 수 있음. ex: #BlackLivesMatter)
Filtering: Agenda fitlering을 통해, 첨부된 agenda와 관련된 코멘트를 남길 수 있고, hashtag를 선택하여 관련 코멘트만 볼 수 있음.
2.1 Identifying Possible Agendas
온라인 뉴스 기사에서 agendas를 추출하기 위한 NLP pipeline을 구현
(1) Identify Nouns
- 뉴스 기사의 중요한 aspects가 나타나는 헤드라인과 첫문장을 대상으로 함.
- Standford CoreNLP Part-o-Speec tager 와 Spacy Named Entity Recogniton model 사용
(2) 비슷한 agendas를 클러스터링
- Google Word2vec pre-trained model 활용
(3) 각 클러스터의 대표 agenda 선택
- WordNet을 활용하여, core node에서 가장 멀리있는 agenda를 각 클러스터의 대표로 선택
(아래의 Table 1에, 각 뉴스 기사의 헤드라인 & 추출한 Agendas가 있음.)
3. Online Experiment
< 실험 참여자 >
모집방법: Amazon MTurk를 통해 실험 참여자 모집
실험 참여자 95명 (남성 57, 여성 38)
-US 거주자 대상: 기사에 나온 사건들에 대한 최소한의 배경지식이 필요하므로.
-모두 97%이상 수락률: 트롤링 인풋을 최소화 하기 위하여.
-나이 21세-68세 (평균 37.96세, 표준편차 10.81)
-전체 과제 완료 시간 평균 55.4분 (표준편차 29.7분)
-보상: 8달러
< 실험 태스크 >
Within-subject experiment
3가지 실험 조건 - 인터페이스 디자인 3종류 (1)Baseline (2)Agenda tags (3)Agendas & Filters
실험 조건 균형
- 3가지 실험 조건에 대하여 counterbalanced하였음: ordering-effects를 없애기 위하여.
- 7개의 뉴스 기사를 준비하였고,
뉴스 기사의 순서를 변경하여, (article-interface) 쌍의 조건을 섞었다.
(We fixed the sequence of news articles to mix the pairing between the articles and the interface conditions. )
각 기사별로, Reddit r/news의 최상위 코멘트(댓글)을 크롤링하고,
크라우드 소싱을 이용하여 각 코멘트의 agendas를 라벨링했다.
3.1 Task & Procedure
pre-study survey 진행 : basic demographics 및 온라인 뉴스 기사를 읽는 것의 친숙도 파악
태스크:
- 참여자는 각 인터페이스 별로 하나의 뉴스 기사를 읽고, 태스크를 수행 (3가지 인터페이스 조건 별 모두 진행)
- 온라인 기사의 제목(헤드라인)과 원본 링크를 제공받고, 최소 1분 후 initial thoughts 코멘트1 작성
(기사를 읽지 않고 댓글 쓰는 것을 방지하기 위한 방법으로, 1분이라는 시간을 두었음.)
- 코멘트 제출 후, 다른 사람들의 코멘트를 최소 1분간 탐색 한 후,
마치 소셜미디아에 댓글을 남기는 것처럼 다시 코멘트2 작성
이 때, Agenda tags 또는 Agendas & Filters 조건이었을 경우, 적절한 Agenda tags를 함께 남겨야함.
- 코멘트2 제출 후, open-ended questions 을 포함한 short survey진행.
- 마지막으로, 모든 태스크 완료 후 Final survey 진행
(short survey - 질문)
“From the comments, what agendas have you found?”
“Did you make any changes on your comment after looking at others’ comments? Why did (or did not) change your comments?”.
(final survey - 질문)
“Among the three systems, in which one of them could you easily find various topics from comments?”
“Among three systems, in which one of them could you easily find some comments holding similar topics as yours?”
설명
4. Results and Discussions
(1) 정량적 평가
전체 참여자들이 Agenda tags 보다는 Agendas & Filters 의 코멘트를 읽고 나서 agendas를 더 많이 인식하였다. (Table 2)
하지만 Friedman test를 수행했을 때, 이런 차이들이 의미없다고 나왔다.
(2) 정성적 평가
Hgendas 효과 확인을 위해, 각 조건에서 사용자들이 발견한 agendas를 분석했다. (Table 3)
■ Improvement on awareness of divergent agendas
조건(1) baseline 환경의 참가자들은 발견하지 못하였지만,
조건 (2), (3) 참가자들의 10%이상이 동일한 agenda를 발견하고 주의를 기울인 경우가 있다.
예1) Wrong Arrest 기사의 경우,
조건(1) 참가자: 'arrest', 'admit', 'brutality'와 같은 agenda 빈도가 높음.
--> 기사의 컨택스트에서 경찰을 중심으로 agenda가 이루어짐.
조건(2), (3) 참가자: 'victim', 'felony' 와 같은 공통 agenda 빈도가 높았고, arrest, brutality의 빈도가 낮았다.
예2) Lawshuit 기사의 경우,
조건(1) 참가자: 'shot', 'murder', 'violence'와 같은 agenda 빈도가 높음.
--> 기사의 컨택스트에서 경찰의 행위를 설명하는 용어를 중심으로 agenda가 이루어짐.
조건(2), (3) 참가자: 'Colorado', 'lawsuit', 'teenager'와 같은 공통 agenda 빈도가 높았고, 'murder', 'violence' 의 빈도가 낮았다.
■ Prefer having the features (기능을 선호하는 경우)
대부분의 참가자(77.9%, 95명 중 74명)가 Hagendas를 선호하였다.
(선호 이유1) 13개 응답
-Agenda tags and filters가 다양한 agendas를 빠르게 훑어보기에 좋다.
--> 연구진이 목표했던 바에 부합함.
(선호 이유2) 6개 응답
-이 기능을 통해 보고싶지 않은 내용을 거를 수 있다.
--> Hagendas가 filter bubble 및 selective exposure(선택적 노출)을 오히려 심화시킬 수 있음. (연구진의 의도와 반대)
■ Prefer not having the features (기능이 없는 것을 선호하는 경우)
참가자의 22.1% (95명 중 21명)은 해당 기능이 없는 것을 선호하였다.
(기능을 선호하지 않는 이유)
- 추가 기능은 댓글 읽기 경험을 방해할 뿐이다.
- 추가 기능으로 인해 정신적, 인지적으로 과부하가 걸린다.
- 복잡한 인터페이스 때문에 댓글을 탐색하는 법을 몰라 헤매었다.
--> 댓글 읽기 경험을 방해하지 않으면서, Agenda를 효과적으로 표시할 수 있도록 설계하는 것이 future work이 될 수 있음.
나의 의견
논문을 선택한 이유
(1) Argument (논쟁)의 이해에 대해 관심이 있는데, viewpoint(관점, 논쟁점)의 시각에서도 생각해보라는 권유를 받아서 읽어보게 되었다.
(2) 평가 방법 메트릭을 참고하고 싶어서 선택했다.
읽고 난 후 의견
좋았던 점/참고할 점:
(1) Amazon Mechanical Turk를 활용하여 실험을 진행한 점을 참고할 만하다.
연구에서 아쉬운 점:
(1) 실제 소셜 미디어 상황과, POC로 구현된 인터페이스의 댓글 소통 상황이 확연히 다를 것이다.
기존 Reddit의 댓글화면이 아니라 낯선 인터페이스에 댓글을 남겨야 했기 때문에, 실험 참가자들의 댓글 내용이 평소와 과연 동일했을까?
실험 환경에 따라 댓글의 내용이 좀 더 유익하고 건설적인 방향으로 왜곡되었을것 같다.
(2) 평가 메트릭을 참고하고자 했으나, 평가 메트릭이 구체적이지 않고, 정량적 평가 또한 의미가 없는 것으로 나와서 아쉽다.
논문에서 아쉬운 점:
(1) 세 가지 조건에 대해서 인터페이스가 어떻게 다르게 구성되는지 인터페이스 비교 이미지가 첨부되어 있지 않아서 아쉽다.
특히 Agenda tags와 Agendas & Filters의 인터페이스 차이가 무엇인지 명쾌하지 않다.
연구 결과 분석 부분을 읽으면서 추론이 가능하지만, 각 인터페이스의 모습과 기능 차이가 더 자세히 적혀있으면 좋겠다.
