Quora와 같은 단체 토론 플랫폼에서 참여하지 않고 구경만 하는 사람들(lurker, 눈팅족)의 토론 참여를 유도하기 위한 CoArgue라는 툴의 Proof of Concept에 대한 연구입니다.
읽은 날짜 2023.05.02
카테고리 #HCI논문리뷰, #Argument, #ArgumentMining
CoArgue : Fostering Lurkers’ Contribution to Collective Arguments in Community-based QA Platforms
- Authors: Chengzhong Liu , Shixu Zhou , Dingdong Liu , Junze Li , Zeyu Huang , Xiaojuan Ma
- DOI: https://doi.org/10.1145/3544548.3580932
- Keywords: Collective Arguments, CQA Platforms, Lurker Support
- Issue Date: May, 2023
- Publisher: CHI'23: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems
ABSTRACT
배경 > 문제점 > 목표(RQ) > 방법 > 평가 > 결과 > 의의
(배경) 사람들은 CQA (Community-Based Question Answering) 플랫폼의 non-factoid 주제에 대한 토론에 참가하여, 자신의 입장을 표시하고, 근거를 제시하고, 또는 지지하는 의견에 대해 논쟁을 하면서 "collective arguments(단체 논쟁)"을 형성한다.
(문제점) 단체 논쟁의 지속가능한 발전은 몇몇 큰 공헌을 하는 사람들에게 의존하는 반면, CQA 플랫폼을 자주 사용하는 대부분의 사용자는 lurker(눈팅족)으로, 거의 의견을 드러내지 않는다.
(목적/방법) Formative study를 통해, luker들이 논쟁에 참여하는 것을 방해하는 장애물을 구체적으로 식별하고, 그 결과로 질문 스레드에서 논쟁적인 요소들을 추출하고 요약하는 파이프라인을 설계했다.
이를 바탕으로 CoArgue라는 CQA 눈팅족의 참여 동기를 이끌어내기 위한 툴을 개발했다.
(평가) within-study (N=24)로 Quora와 비슷한 baseline과 CoArgue를 비교 실험했다.
(결과) 참여자들은 CoArgue가 단체 논쟁의 참여 동기를 불러일으키고 논쟁에 참여하는 능력을 향상시키는 것에 상당히 도움이 된다고 인지했다.
-용어-
lurker = 눈팅족
CQA (Community-Based Question Answering)
factoid question = 한 두개의 단어로 대답될 수 있는 간단한 질문
1. INTRODUCTION
■ 아이템
설명
설명
■ 이 연구의 주요 기여(Contributions)
(1) CoArgue 시스템 - 인터랙티브한 시각화 시스템으로, 눈팅족이 CQA 참여를 촉진한다.
(2) Within-study - CoArgue의 유용성을 증명
(3) Design considerations - CQA플랫폼의 lukers를 격려하고 지원하기 위한 디자인 시 참고할 수 있는 고려사항
2. RELATED WORK
2.1 The Connection Between Lurkers and Online Communities
■ 온라인 커뮤니티에서 lukering behaviors를 이해하기위한 선행 연구
- 커뮤니티와 참여자간의 연결(connection)은 사용자 참여의 수준에 결정적이다.
- CQA와 같이 느슨한 연결의 커뮤니티에 참여한 사람은 luker가 되는 경향이 있다.
(1) Chen et al.
온라인 집단 학습 커뮤니티에서 개별 게시물을 거의 작성하지 않은 luker들도, 그룹 과제에서는 다른 사람과 비슷한 만큼의 기여를 할 수 있다. 즉, luker들은 자신과 연결된 커뮤니티의 구성원들에게서 동기부여를 받을 수 있다.
> Fei-Ching Chen and Hsiu-Mei Chang. (C&T 2011)
> Do Lurking Learners Contribute Less? A Knowledge Co-Construction Perspective.
> https://doi.org/10.1145/2103354.2103377
(2) Rafaeli et al.
온라인 커뮤니티에서 소속감(sense of beloing)이 사용자를 자신감 있고 편안하게 느끼게 할 수 있다.
> S. Rafaeli, G. Ravid, and V. Soroka. 2004
> De-lurking in virtual communities: a social communication network approach to measuring the effects of social and cultural capital.
> https://doi.org/10.1109/HICSS.2004.1265478
(3) Lampe et al.
소속감은 luker들이 온라인의 사용자 주도 백과사전에 지속적인 기여를 시작하게 하는 주요 요소이다.
> Clif Lampe, Rick Wash, Alcides Velasquez, and Elif Ozkaya. (CHI 2010)
> Motivations to Participate in Online Communities
> https://doi.org/10.1145/1753326.1753616
(4) Kim et al.
챗봇을 이용해서라도 lukers를 움직이게 하면, 그들의 기관의 온라인 커뮤니티에 참여를 증진시킬 수 있다.
> Soomin Kim, Jinsu Eun, Joseph Seering, and Joonhwan Lee. (CSCW1, 2021)
> Moderator Chatbot for Deliberative Discussion: Effects of Discussion Structure and Discussant Facilitation
> https://doi.org/10.1145/3449161
(4)
사용자들이 커뮤니티에 익숙해지고 기여할 자신감을 갖기 위하여, lukering은 필요한 프로세스이다.
> Blair Nonnecke and Jenny Preece. (CHI 2000)
> Lurker Demographics: Counting the Silent
> https://doi.org/10.1145/332040.332409
> Nigini Oliveira, Michael Muller, Nazareno Andrade, and Katharina Reinecke. (CSCW2, 2018)
> The Exchange in StackExchange: Divergences between Stack Overflow and Its Culturally Diverse Participants
> https://doi.org/10.1145/3274399
2.2 Visualization and NLP Techniques to Process Arguments
■ Argument Visualization
대부분 개별 argument 시각화에 초점을 맞추었고,
CQA플랫폼과 같은 포럼 기반 커뮤니티에서의 게시물 간의 연결성을 고려한 연구는 아님.
(1) Khartabil et al
Argument visualization tool을 4가지 레이아웃 카테고리로 요약
- tree visualizations, content display, interactive navigation을 포함한 복합 시각화 제안
> Dana Khartabil, Christopher Collins, SWells, Benjamin Bach, and Jessie Kennedy. (2021)
> Design and Evaluation of Visualization Techniques to Facilitate Argument Exploration
> https://doi.org/10.1111/cgf.14389
(2) Wambsganss et al.
학생들의 argumentation skill(논증 능력)을 향상시키기 위하여, argumentative components(논증 구성요소)와 relation(관계)를 파악하고(labeling), 평가 점수를 제공하는 학습 지원 시스템을 설계
> Thiemo Wambsganss, Christina Niklaus, Matthias Cetto, Matthias Söllner, Siegfried Handschuh, and Jan Marco Leimeister. (CHI 2020)
> AL: an adaptive learning support system for argumentation skills
> https://doi.org/10.1145/3313831.3376732
(3) Xia et al.
Persua system을 개발하여 claims(주장)과 다양한 유형의 premises(전제)를 시각화하여, argument의 설득력을 높임.
> Meng Xia, Qian Zhu, Xingbo Wang, Fei Nie, Huamin Qu, and Xiaojuan Ma. (CSCW2, 2022)
> Persua: A Visual Interactive System to Enhance the Persuasiveness of Arguments in Online Discussion
> https://doi.org/10.1145/3555210
■ Processing arguments with NLP techniques
선행 연구들을 따라,
먼저 claims(주장)과 premises(전제)가 있는 argument를 식별하고,
비슷한 것들끼리 클러스터링한 후,
마지막으로 사용자의 쿼리에 대한 응답으로 연관된 argumentative component를 나타내는 파이프라인을 구축.
(1) Goudas et al.
소셜미디어의 argument를 추출하기 위하여 SVM (Support-Vector Machine)과 CRF(Conditional Random Fields)에 기반한 two-step method를 제안
> Theodosis Goudas, Christos Louizos, Georgios Petasis, and Vangelis Karkaletsis. (2014)
> Argument extraction from news, blogs, and social media
> https://link.springer.com/chapter/10.1007/978-3-319-07064-3_23
(2) Akiki et al.
BERT와 GPT-2를 사용하여 argument추출 파이프라인 구현
> Abeer AlDayel and Walid Magdy. (2021)
> Stance detection on social media: State-of-the-art and trends
> https://doi.org/10.48550/arXiv.2006.03644
(3) Dumani et al.
Argument understanding을 용이하게 하는 argument retrieval 시스템 프레임워크를 제안
> Lorik Dumani, Patrick J Neumann, and Ralf Schenkel. (2020)
> A framework for argument retrieval
> https://doi.org/10.1007/978-3-030-45439-5_29
2.3 Technologies to Support CQA Users
■ CQA 사용자를 지원하는 툴 개발
(1) 게시물 하나, 또는 전체 스레드, 각 작성자와 같은 기준을 두고,
주제와 현재 아이디어에 대한 summarization(텍스트 요약)과 visualization(시각화)를 제공하는 것.
(1-1) 단일 게시물 기준
> Kushal Dave, Martin Wattenberg, and Michael Muller. (CSCW 2004)
> Flash Forums and ForumReader: Navigating a New Kind of Large-Scale Online Discussion.
> https://doi.org/10.1145/1031607.1031644
(1-2) 전체 스레드 기준
> Furu Wei, Shixia Liu, Yangqiu Song, Shimei Pan, Michelle X. Zhou, Weihong Qian, Lei Shi, Li Tan, and Qiang Zhang. (SIG KDD, 2010)
> TIARA: A Visual Exploratory Text Analytic System.
> https://doi.org/10.1145/1835804.1835827
(1-3) 각 작성자 기준
> Enamul Hoque and Giuseppe Carenini. (IUI 2015)
> ConVisIT: Interactive Topic Modeling for Exploring Asynchronous Online Conversations.
> https://doi.org/10.1145/2678025.2701370
> Deokgun Park, Simranjit Sachar, Nicholas Diakopoulos, and Niklas Elmqvist. (2016)
> Supporting Comment Moderators in Identifying High Quality Online News Comments.
> https://doi.org/10.1145/2858036.2858389
(2) CQA 스레드에서 정보의 유용성, 관련성, 정보의 풍부함(richness) 등을 시각화
> Enamul Hoque, Shafq Joty, Luis Marquez, and Giuseppe Carenini. (IUI 2017)
> CQAVis: Visual Text Analytics for Community Question Answering.
> https://doi.org/10.1145/3025171.3025210
3. FORMATIVE STUDY
3.1 Participants and Procedure
■ CQA lukers들과 반구조 인터뷰 진행, 30-40분
목적: CQA 플랫폼에서 lukering 행동의 원인을 포괄적으로 이해하기 위해
참가자: 총 11명, 사례금 $10 지급
참가자 모집:
- 온라인 광고, 소셜미디어 등으로 모집
- 조건: CQA 플랫폼을 자주 방문(적어도 일주일 한 번), 게시글 작성은 지난 1년동안 답변 게시물 3개 이하
질문: 어떤 주제가 관심을 끄는가, 침묵하게 되는 주제는 무엇인가, 어떤 종류의 기술 지원이 필요한가? 등.
3.2 Findings
< 결과 > Motivation(동기부여)와 Ability(능력)에 따른 9가지 장애물 식별
(1) Motivation
Confidence
O1. Consider the contribution from oneself is trivial | 자신의 기여가 사소하다고 생각한다.
O2. Assume the writing has to be comprehensive | 글은 포괄적이어야 한다고 가정한다.
Willingness
O3. Neglect the importance of their contributions | 자신의 기여의 중요성을 무시한다.
O4. Worry that contributing would be time-consuming | 기여하는 데 시간이 많이 걸릴 것이라고 걱정한다.
(2) Ability
Digesting
O5. Encounter difficulty on digesting unstructured arguments | 구조화되지 않은 arguments를 소화하는 데 어려움이 있음
O6. Feel overwhelmed by too many arguments Ability. | 너무 많은 arguments에 압도당하는 느낌 능력
Writing
O7. Suppose the angle to contribute is hard to locate. | 기여할 관점을 찾기가 어렵다고 가정합니다.
O8. Find it challenging to organize the scattered insights. | 흩어져 있는 인사이트를 정리하는 것이 어렵다고 느낀다.
O9. Need to maintain the engagement during the writing. | 글을 쓰는 동안 몰입을 유지해야 한다.
3.3 Design Goals
CQA 플랫폼에서 lukers를 효과적으로 지원하여 collective arguments(단체 논쟁)에 기여하도록 하기 위한, 디자인 목표 도출
- DG1. 사용자가 단체 논쟁에 참여하도록 장려하고, 논쟁에 기여할 경우의 예상되는 가치를 전달한다.
Encourage users to participate in collective arguments and communicate the envisioned value of their contributions. - DG2. 기술을 사용하여 단체 논쟁에 참여하고, 효율적인 상호작용 경험을 지원한다.
Use technology to support an engaging and efficient interaction experience with the collective arguments. - DG3. 단체 논쟁에 대하여 총체적인 관점을 제시하고, 그 과정을 잘 촉진한다.
Present a holistic view of the collective arguments and facilitates the digestion process. - DG4. 단체 주장의 기존 내용을 기반으로 기여할 내용을 찾도록 돕는다.
Help locate what to contribute based on the existing contents of collective arguments.
4. CoArgue SYSTEM
■ 분류 (Stance, Claim, Claim Center, Premise)
- Stance: people’s sentiment on a particular topic (e.g., positive, neutral, and negative)
> Abeer AlDayel and Walid Magdy. (2021)
> Stance detection on social media: State of the art and trends
> https://arxiv.org/abs/2006.03644
- Claim: the proposition to convey one’s attitude or stance on a particular topic
> Christopher Hidey, Elena Musi, Alyssa Hwang, Smaranda Muresan, and Kathleen McKeown. (2017)
> Analyzing the semantic types of claims and premises in an online persuasive forum
> https://aclanthology.org/W17-5102/
- Claim Center: the cluster of claims from collective arguments (section 4.1.2)
- Premise: the evidence or justifcation to support the corresponding claims
> Christopher Hidey, Elena Musi, Alyssa Hwang, Smaranda Muresan, and Kathleen McKeown. (2017)
> Analyzing the semantic types of claims and premises in an online persuasive forum
> https://aclanthology.org/W17-5102/
4.1 Collective Arguments Processing
■ Quora의 특정 두 Topic에 대하여 CoArgue 시스템 디자인
- Bitcoin Investment: “Should I invest in Bitcoin?”
- Self-driving Car: “Would you get into a self-driving car?”
■ CoArgue의 NLP 파이프라인
- 전체 텍스트에서 Claim과 Premises를 식별 (BART에 CMA 데이터셋 학습시킨 모델로 인퍼런스함)
- Claim별로 스탠스를 분석하여, Positive, Negative, Neutral 끼리 모음.
- 각 Claim별로 Premise 문장들을 모두 모아서 하나의 키워드를 생성함. (KeyBERT를 이용)
4.1.1 Claim and Premise Labeling
■ Claim과 Premise 추출: BART 모델을 CMV(Change My View) 데이터셋으로 학습하여 사용함.
■ Claim과 Premise 라벨링: 사전 학습된 sshleifer/distilbart-cnn-12-6 모델을 사용
4.1.2 Claim and Premise Processing
- DG3, DG4 에 해당된다.
(1) Stance Analysis
- 각 claim을 HuggingFace에서 훈련된 cardifnlp/twitterxlm -roberta-base-sentiment모델을 사용하여 sentiment label을 달았다.
(2) Claim Clustering
- 사전학습된 sentence BERT 로 claims를 고차원 벡터로 인코딩한 후,
- PCA (Principal Component Analysis)를 수행하여 차원을 축소했다.
PCA는 원본 벡터의 density를 유지하기 때문에 다른 차원 축소 방법(MDS, TSNE) 보다 실시간 시스템에서 사용하기 효과적이다.
- 이 후, Affinity Propagation algorithm을 사용하여 claim을 클러스터링하였다.
(3) Premise Keyword Extraction
- (사용자가 argument를 작성하는 것을 돕기 위하여)
- 각 claim center에서 claims를 지원하는 관련 premises를 수집한다.
- Support relation은 logical order에 의해 claim에 대한 premise의 proximity로 결정된다.
- premise를 concate해서 각 claim별 하나의 paragraph로 만들고,
- 이것을 사전 훈련된 keyBERT에 전달하여 keywords를 생성한다.
4.2 User Interface
4.2.1 Answer View
- 대응하는 UI: Figure 2의 (1)
- 내용: Quora 인터페이스와 유사한 구조. Claim의 stance에 따라 하이라이팅 표시.
- 해당되는 Design Goal:
DG3. 단체 논쟁에 대하여 총체적인 관점을 제시하고, 그 과정을 잘 촉진한다.
4.2.2 Navigation View
- 대응하는 UI: Figure 2의 (3)
- 내용: 단체 논쟁의 전체적인 이해를 위하여, 각 stance group의 Claim center를 리스트와 stance 분포를 보여줌.
각 claim center는 총 포함하는 claim 개수(popularity)로 인코딩됨.
관련 claim을 클릭하여 관련 claim을 더 탐색할 수 있음.
- 해당되는 Design Goal:
DG3. 단체 논쟁에 대하여 총체적인 관점을 제시하고, 그 과정을 잘 촉진한다.
DG4. 단체 주장의 기존 내용을 기반으로 기여할 내용을 찾도록 돕는다.
4.2.3 Chatbot View
- 대응하는 UI: Figure 2의 (5)
- 내용: 사용자에게 stance을 정하게 하고, 격려한다.
사용자가 특정 claim을 선택하면, 해당 내용에 대해 챗봇과 토론하거나 챗봇으로부터 힌트(keyword)를 얻을 수 있다.
이 후, 최종 작성 단계로 이동하여, answer post를 작성한다.
- 해당되는 Design Goal:
DG1. 사용자가 단체 논쟁에 참여하도록 장려하고, 논쟁에 기여할 경우의 예상되는 가치를 전달한다.
DG2. 기술을 사용하여 단체 논쟁에 참여하고, 효율적인 상호작용 경험을 지원한다.
4.2.4 Writing Interface and Contribution View
- 대응하는 UI: Figure 4의 1, 2
- 내용: 챗봇은 사용자와 논의한 stance, Claim과 키워드로 미리 초안이 채워진다.
사용자가 argument를 제출하고나면, 단체 논쟁에 기여한 정도를 알려준다.
(글의 길이가 다른 post에 비해 어느 정도인지, stance가 무엇이며, 해당 stance group의 proportion이 커지는 데 몇 프로 기여했는지)
- 해당되는 Design Goal:
DG1. 사용자가 단체 논쟁에 참여하도록 장려하고, 논쟁에 기여할 경우의 예상되는 가치를 전달한다.
DG2. 기술을 사용하여 단체 논쟁에 참여하고, 효율적인 상호작용 경험을 지원한다.
5. EVALUATION
Future work 수행하는 사람을 위해 study procedure, baseline system design, survey instruments 자세히 설명드림.
Within-subject study 수행
5.1 Study Procedures
■ 아이템
설명
설명
5.2 The Quora-like CQA Baseline System
■ 아이템
설명
설명
5.3 Hypotheses and Measurements
■ System usefulness
설명
설명
■ Visual Design & Interactions
설명
설명
■ System Usability
H1
H2
H3
H4
6. RESULTS
■ 아이템
설명
설명
6.1 System Usefulness
■ 아이템
설명
설명
6.2 Efficacy of Visual and Interaction Designs
■ 아이템
설명
설명
6.3 System Usability
■ 아이템
설명
설명
7. DISCUSSION
■ 아이템
설명
설명
7.1 Design Considerations
7.1.1 Provide More Timely Feedback on Users' Contribution (DC1)
-
-
7.1.2 Provide a Holistic Summary of Existing Collective Arguments (DC2)
-
-
7.1.3 Calibrate Algorithm Accuracy in Identifying Argumentative Elements (DC3)
-
-
7.1.4 Maintain User Engagement with Alternative Interactive Technologies (DC4)
-
-
7.2 Limitations and Future Work
■ 아이템
7. CONCLUSION
- 중요한 결론 -
- 이론적 함의 -
- 실재적 함의 (practical implications) -
- Future work
- (1)
- (2)
나의 의견
논문을 선택한 이유
(1) Argument에 관심이 있는데, 마침 CHI'23에 Argument관련 주제를 다룬 페이퍼가 있어서 읽어보았다.
읽고 난 후 의견
- lukers를 토론에 참여시키겠다는 목적과 그 이유가 분명한 연구 주제라서, 연구주제 선정을 잘했다는 생각이 든다.
- 참여자의 댓글의 입장을 분석하여 긍정, 부정, 중립 그룹 중 해당되는 그룹에 몇 퍼센트 기여했는지를 보여주는 아이디어는,
사용자에게 즉각적인 피드백으로 기여도를 알려주므로 동기를 북돋을 수 있지만,
실제 토론 참여자가 많아서, 사용자의 기여도가 0.1%정도 밖에 안되는 경우 오히려 참여 의욕을 저하시킬 수 있을 것 같다는 생각이 들었다.
하지만, 만약 토론 참여자가 너무 적은 토론에 대하여 참여자를 늘리고자 하는 의도가 있다면 좋은 방법인 것 같다.
