본문 바로가기

논문 리뷰/HCI 논문 리뷰

(-ing) [HCI] (ICWSM 2013) Encouraging Reading of Diverse Political Viewpoints with a Browser Widget (a.k.a. Balancer)

브라우저 위젯을 활용하여, 사용자들이 정치 기사를 읽을 때, 다양한 관점의 내용을 읽도록 장려하고자 한 연구 입니다. 

대상이 되는 환경/데이터 : 온라인 정치 뉴스 (Online political news)


읽은 날짜  2023.04.23
카테고리  #Viewpoint, #News, #HCI논문리뷰, #BrowerWidget

 


Encouraging Reading of Diverse Political Viewpoints with a Browser Widget

  • Authors: Sean A. Munson, Stephanie Y. Lee, Paul Resnick
  • DOI: https://ojs.aaai.org/index.php/ICWSM/article/view/14429
  • Keywords: selective exposure, news, politics, web browsing, persuasive technology, persistent feedback
  • Issue Date: 08.2021
  • Publisher: ICWSM 2013 (The International AAAI Conference on Web and Social Media)

ABSTRACT

배경 > 문제점 > 목표(RQ) > 방법 > 평가 > 결과 > 의의

 

(배경) 인터넷은 개인에게 정치 뉴스와 정보 출처에 대한 더 많은 선택권을 제공하며, 동의하지 않는 정보를 걸러낼 수 있는 더 많은 도구를 제공한다.
(문제점) 선택적 노출 이론(Selective exposure theory)에서는 '선호'에 따르면, 사람들이 그들의 신념을 지지하는 정보를 선호하고, 그들과 반대되는(counter-attitudinal) 정보는 피한다고 한다. 
이를 인용하며 관찰자들은, 사람들은 이런 도구를 사용하여 자신이 동의할 수 있는 정보에만 접근하고, 이데올로기적 메아리방(ideological echo chambers)에 살 수 있다고 경고한다. 
(목표/방법) 브라우저 익스텐션 프로그램(Balancer)를 통해, 주간 및 전반적인 '읽기 활동'에서의 정치적 성향(political lean)에 대한 사용자의 피드백을 제공한 사례를 보고한다. 
(평가) Control group과 비교하여, treatment group은 자신과 이데올로기적으로 반대되는 사이트에 주당 1-2회 방문하고, 중도적인 사이트(centrist sites)를 주당 5-10회 추가적으로 방문하는 것과 같이, 균형잡힌 노출(balanced exposure)을 위하여 완만한 움직임을 보였다. 

 


1. INTRODUCTION 

정보의 다양성

정보의 다양성은 사람들이 더 나은 결정을 하고, 잘못된 믿음을 바로잡고, 그들이 동의하지 않던 아이디어도 합당한 것으로 볼 수 있도록 한다. 
민주사회에서 good-decision making과 good-governance를 위해서는, 믿음과 반대되는 의견에 대한 어느 정도의 노출이 필요하다. 
(Frey 1986, Hart 2009)

 

정보 선택권으로 인한 문제점
인터넷 덕분에 사람들은 점점 더 다양한 출처에서 뉴스와 출처를 자유롭게 선택할 수 있게 되었으나, 대다수의 미디어는 매우 좁은 범위의 관점(viewpoints)만을 제공하고 있기 때문에
전문가들은, 미국인들은 점점 더 듣고 싶은 것만 듣고 보고싶은 것만 보게 되는 이념적 메아리 방(ideological echo chambers)에 살게 될 것이며, 정치 집단 간의 양극화가 심화 될 것이라고 주장한다. 
(Prior 2007, Sunstein 2001)

공화당원, 민주당원의 뉴스 소비
공화당원(Republicans)과 민주당원(Democrats)은 서로 다른 뉴스를 읽고, 다른 뉴스 방송 시청한다. 
(Iyengar et al. 2009, Morris 2007)

 


이 논문에서는
(1) 사용자가 균형 잡힌 정치적 관점을 읽도록 유도하는 위젯의 설계 및 배포에 대해 보고한다. 
(2) 이 위젯은 사용자의 주간 및 전체 뉴스 읽기 행동의 총체적인 정치적 성향을 나타내어 한쪽으로 치우친 독자들이 보다 균형 잡힌 뉴스를 읽도록 유도한다.


 이전에 검토할 내용: 
선택적 노출 이론 (Selective Exposure Theory)
- 다양한 관점에 대한 노출이 중요한 이유(why exposure to diverse points of view is important)
- 정보 선택 환경에서 선택적 노출 이론이 예측하는 읽기 행동 유형에 대한 온라인 환경의 증거
- 선택적 노출 이론(Selective Exposure Theory)과 정보 선택 환경에서 예측되는 사용자의 읽기 행동 유형에 대한 온라인 환경의 증거

 추가적으로 다룰 내용: 
- 이러한 위젯에 대한 design space에 대한 논의

 


 

Selective Exposure Theory 

사람들의 선택적 노출 현황

(Lazarsfeld et al. 1944) 인터넷이 등장하기 훨씬 전부터, 사람들은 자신의 의견 및 세계관에 반대되는 정보를 피하는 것을 선호했다. 

(Festinger 1957) 이런 행동은 사람들이 인지적 부조화(cognitive dissonance)라는 불편한 느낌을 피할 수 있는 한가지 방법이다. 

(Kastenmüller et al. 2010) 확증적인 정보(confirmatory information)을 선택하여, 기존의 정보나 입장을 재평가 할 필요 없이 본인의 믿음을 재확인할 수 있다. 

 

선호도에 따라 행동하지 않을 수 있는 조건

(Frey 1986) 사람들이 주제에 대해 특히 호기심이 많거나, 

(Freedman 1965) 잠재적으로 불일치하는 정보(discordant information)가 특히 유용할 것으로 예상되는 경우,

(Sears 1965) 공정성 규범(Fairness norm)에 따라서.

 

==> 사람들이 동의하는/동의하지 않는 정보, 다양한 정보 중에서 사람들이 어떻게 행동할지 예측해 보면, 

==> 충분한 선택권이 주어지면 사람들은 자신이 동의하는 정보를 읽을 것임. 

 

Selective Exposure to Political Information

 사람들이 다양한 정치 뉴스, 의견 및 정보에 노출 될 때만 발생할 수 있는 긍정적 결과 

(1) 다양한 견해에 대한 노출은 건강한 민주주의(healthy democracy)를 위해 필요하다. 
(Habermas 1984) 다양한 관점에 대한 노출은 이상적인 심의 토론(deliberative debate)을 위한 전제 조건이다. 
(Cohen 1989) 민주주의는 정치적 토론이 빈번하고 심사숙고의 이상에 도달할 때  번성한다. 
(Brown 1986, Schkade et al. 2007, Sunstein 2002) 같은 생각(like-minded)을 가진 사람들과의 인터랙션은 양극화(polarization)를 낳는다. 

(2) 반대 의견 정보(counter-attitudinal information)는 사람들이 배우고, 더 나은 문제 해결을 위해 필요하다.
(Frey 1986, Hart et al. 2009) 사람들이 부정확한 믿음을 가지고 있을 때, 잘못된 믿음을 바로잡기 위해 이러한 믿음에 도전하는 정보에 직면해야 한다. 
(Nemeth 1986) 다양한 의견을 고려하는 것은, 문제 해결 능력을 향상시킬 수 있는 발산적이고 틀에서 벗어난 사고를 촉진한다. 
(Benhabib 1996) 다양한 관점(multiple viewpoints)에 노출되면 사람들은 관련 정보를 더 잘 인식하고 결정의 모든 결과를 더 잘 생각할 수 있으므로, 사회는 모든 수준의 정부에서 중요한 문제에 대해 더 나은 집단적 선택을 할 수 있습니다.


(3) 의견의 분포(the distribution of opinions)는 사람들이 동의하지 않을 수 있는 결정의 정당성을 받아들이기 위해서 필요하다. 
(Sanders & Mullen 1982) 대부분 사람들, 특히 소수(minority)에 속하는 사람들은 자신의 견해가 실제보다 광범위하게 공유되고 있다고 생각하는 경향이 있다. 
(Ross et al. 1977) 허위 합의 효과(false consensus effect): 사람들은 자신의 견해가 규범적(normative)인 것으로 간주하며 자존감을 높인다. 
(Benhabib 1996) 사람들이 양쪽의 의견을 모두 듣고 다른 결론에 도달하더라도, 상대방의 견해에도 장점(merit)이 있다는 것을 사람들에게 설득한다.
(Ross 1977) 근본적 귀인 오류(fundamental attribution error): 사람들은 자신의 견해가 규범적이지 않다는 증거를 받으면 반대 견해를 가진 사람들이 자신의 태도가 아니라 상황적 제약에 따라 행동하는 것으로 인식하여 자존감을 높이거나, 또는 반대 견해에 어떤 식으로든 결함이 있는 것으로 인식하여 자존감을 높인다. 


==> (Pariser 2011, Sunstein 2001) 인터넷의 뉴스 출처에 대한 선택권 증가 및 동의하지 않는 뉴스에 대한 필터를 제공하는 툴을 제공하는 것이 미디어가 다양한 관점을 사람들에게 보여줘야 한다는 역할을 약화시킬 수 있다는 우려가 있다. 

 

 

Selective Exposure & the Internet

선택권의 확대와 사람들의 선택적 노출(selective exposure)에 따른 문제

- 텔레비전 뉴스 시청에서 균형 잡힌 의견 노출

(Bennett & Iyengar 2008, Prior 2007) 미국의 국가 정책은 방송 매체 간에 일정 수준의 다양성을 장려했으며, 뉴스 시청자의 상당수는 좋아하는 프로그램을 본 후 TV를 켜두는 것만으로도 이러한 합리적으로 균형 잡힌 방송을 수신하는 이른바 '의도치 않은 시청자 (inadvertent audience)' 였다. 
(Mullainathan & Shleifer 2005) 다양한 많은 채널을 허용하는 것은 경제적으로 인센티브를 주며, 틈새 시청자(niche audiences)를 만족시킨다. 

 

- 더 많은 선택권과 개인화를 제공하는 기술은 다양한 관점을 노출해야 하는 방송 미디어의 역할을 약화시킨다. 

(Lowin 1967, Prior 2007) 사람들은 선택적 노출(selective exposure) 선호도에 따라 행동하여, 출처에서 아이템을 선택하는 대신 출처들 중에서 출처를 선택 한다. 

(Iyengar & Hahn 2009, Pew 2004) 사람들은  이데올로기적인 텔레비전 시청 그룹으로 본인을 분리(self-segregate)한다. 

 

 

인터넷의 선택적 노출에 대한 우려 및 뉴스 출처 전망

(Purcell et al. 2010, Adamic & Glance 2005, Lawrence et al. 2010, Gilbert et al. 2009) 사람들은 인터넷을 사용하여 대부분이 동의하는 정치 정보에 액세스한다. 
(Stromer-Galley 2003) 사람들은 인터넷을 사용하여 더 다양한 출처를 찾고
(Horrigan et al. 2004) 인터넷 사용자들은 정치 뉴스와 사건에 대해 더 잘 알고 있으며
(Kelly et al. 2005) USENET 그룹은 격렬한 의견 대립이 특징
(Garrett 2009a, 2009b) 사람들은 도전적인 정보에는 무관심하지만 강화하는 정보를 찾는다
(Gentzkow and Shapiro, 2011) 사람들이 온라인 뉴스 소스를 이용하는 이념적 고립도는 우려했던 것보다 낮고, 일상적인 대면 상호작용보다는 낮지만 오프라인 뉴스 소스 소비의 이념적 분리보다는 높다.


(Munson & Resnick 2010) 온라인 실험에 따르면 어떤 사람들은 자신이 동의하는 내용의 뉴스를 선호하고, 나머지는 동의하는/동의하지 않는 관점들을 혼합하여 선호하는 것을 선호한다.

 

 

이 결과를 통한 의문

Q1) Are there individual differences that predict to what extent people access agreeable political information while avoiding challenging material? 
(본인이 동의하는 정치적 정보만 접하려고 하는 성향의 정도를 예측할 수 있도록 하는 개인별 차이가 있는가?)

Q2) Can people who use the Internet to read mostly agreeable news be nudged to read more diverse news? 
(본인이 동의할 수 있는 내용의 뉴스(agreeable news)만 주로 읽는 사람들이 더 다양한 뉴스를 읽도록 넛지를 줄 수 있는가?)

Q2)에 대한 답으로, Park et al. (2009)의 연구인 실험실 환경(laboratory settings)에서의 NewsCube가 있다. 
과연 실제로도 유사하게 넛지될 수 있을까?

 

 

(참고)

Park et al.(2009)

NewsCube: Delivering Multiple Aspects of News to Mitigate Media Bias

https://dl.acm.org/doi/10.1145/1518701.1518772


2. The Balancer Study 

Field-study 목표

(1) 정치적 선호도, 인구통계학적 특성, 성격과 같은 일부 개인적 특성을 통해  온라인 뉴스 읽는 행위에서 정치적 편향성(political bias)이 예상되는지 평가

(Evaluate whether some individual characteristics – including their political preferences, demographics, and personality attributes – predict the political bias in an individual’s online news-reading behavior.)

==> (참고) 미리 말하자면, 개인적 특성은 유의하지 않다는 결과가 나왔다 .

 

(2) 집계된 편향성이나 읽기 행위의 치우침에 대한 피드백을 주는 것이 행동을 개선시키는지, 그렇다면 피드백에 대한 반응에 개인별 차이가 있는지 확인

See whether feedback about the aggregate bias or lean one’s reading behavior altered that behavior, and if there are individual differences in responsiveness to that feedback.

 

위젯 디자인

feature1 - 사용자의 일주일간 읽기 활동(reading behavior)를 반영하는 히스토그램 (자유주의/보수주의 관련 페이지 방문 기록)

fealture2 - 규범적인 메시지(Normative message)를 제공

 

2.1 Initial study

 아이템

설명

설명

 

2.2 Revised study

 아이템

설명

설명

 

 

2.2.1 Observing news reading behavior

 아이템

설명

설명

 

2.2.2 Classifying articles

 아이템

설명

설명

 

 

2.3 Study Design

 아이템

설명

설명

 

2.3.1 Apparatus (툴, 도구)

 

■ 크롬 익스텐션 => Balancer 

 

사용자의 뉴스 소비를  바탕으로, 균형을 잡는 캐릭터 (1:11개의 모드) 를 크롬 익스텐션에 보여준다. 

Balancer Figure 1
Balancer Figure 2

 

 

 

 

■ Balance score 측정 

 

V_u = 화이트 리스트 사이트를 사용자가 방문한 횟수 (Call the site visits to whitelisted sites)
S_v = 특정 기간 동안 사용자의 집계된 balanced score = 평균 화이트리스트 스코어 (사이트, 아티클 포함)

S_u = 사용자의 사이트 방문 기록을 바탕으로 측정한 Balance score

        = (S_v의 합 / V_u )

(A user’s aggregate balance score for any time period was calculated from the average whitelist scores)

S_u 점수를 (1:11)로 normalize함. (이유: 줄 타는 캐릭터 종류가 11개라서 )
S_u = 6(S_u + 1) 로 계산하니 얼추 (1, 11) 의 값으로 떨어져 나왔고,  이 범위 밖에 있는 점수는 1, 11로 맞추었음. 

 

 

2.3.2 Procedure

 

Experimental conditions (실험 조건) 

 

(1) 크롬 익스텐션 설치: 

- 실험자의 브라우징 기록 중 연구진의 화이트 리스트에 있는 뉴스 사이트 기록을 전송

 

(2) Pre-installation survey 진행

- 나이, 성별, 정치적 성향(ideology), Big Five 성격 지수

 

- 정치적 성향(ideology)

실험자에게 자신의 정치적 성향에 따라 political lean과 political partisanship을 수치로 요청한 후, 둘의 값의 평균을 내었음. 
political lean에 따라 (1=strongly liberal; 7=strongly conservative) *political lean 샘플 평균 = 2.89
political partisanship에 따라 (1=strong democrat, 7=strong republican) *political partisanship 샘플 평균 = 2.93
ideology=4 이면 온건파(moderates)

 

- Big Five 성격 지수 (Goldberg 1990) 

Big Five를 조사한 것은 실험적이지만, 성격이 읽는 행위에 영향을 미칠 것이라는 가설을 검증하기 위함.
예: 오픈 마인드인 사람은 좀 더 여러 관점의 뉴스를 읽을 것인가? 
관련하여 개인의 성격적 기질에 따라 persuasive techniques 반응 차이를 연구한 것이 있음. (Halko & Kientz 2010, Nov et al. 2013)

 

(3) 이 후, group별로 다르게 진행

 

실험군 (treatment grup) 

- 프로그램 설치 전/설치 후의 검색 활동 및 사용자의 검색 기록을 수집 및 전송
- 수집하는 사이트는 화이트 리스트로 제한
- 실험자의 뉴스 읽기 활동에 따른 시각화 업데이트 (균형을 잡으며 줄 타는 캐릭터 시각화)

 

- 대조군 (control group) 

Treatment group과 동일하게 진행하지만, 피드백을 바로 주지 않고 28일 기다리게 함. 

Control group이 필요한 이유: 
- History effect에 취약한 실험이므로
- 연구 중에 주요 뉴스 기사가 중단되거나, 한 쪽 또는 다른 쪽에서 이벤트가 발생하여 기사가 많이 다뤄질 경우 실험자의 읽기 균형에 영향을 미치게 된다. 

 

 

 

Recruitment (실험자 모집) 

구글 광고, 자체 홈페이지 및 SNS 에 크롬 익스텐션을 광고하여 참가자 990명 모집.

 

 

Results: Browsing History (사이트 방문 기록에 대한 결과) 

 

(1) 

S_pre = pre-installation balance scores (실험자가 프로그램 설치 전, balance scores) 
S_pre는 실험자의 ideology 점수와 상관관계가 있었다. (correlated)

 

(2) 
political ideologues분석을 위하여, dependent variable R_A를 만듦. 

R_A = 실험자의 읽기활동이 얼마나 (ideologically agreeable)한가? (즉, 이념적으로 어떤 쪽에 치우친 글을 읽는가?)
- liberal 자유주의 (ideology<4)일 경우, R_A =  S_pre - 6
- conservative 보수주의 (ideology>4)일 경우, R_A  = 6 - S_pre

 

(3) 개인적 특성을 바탕으로 R_A를 예측  
ideology=4 이면 온건파(moderates)
ideology, age, gender, big five 인덱스를 바탕으로, R_A를 예측하는 regressino analysis를 수행.(테이블1)

보수주의인 사람들은 자유주의인 사람들보다 덜 ideologically aggreable한 경향이 있었다. 

 

(아래 '더보기'를 눌러, liberal vs conservative 관련 추가 정리를 볼 수 있습니다.) 

더보기

(참고-상식) liberal vs conservative

 

- 아래 비교 표는 대체로 그렇다는 것이지 항상 맞는 내용은 아님. 

Political philosophy
(정치적 철학)
Liberal (자유주의) Conservative (보수주의)
Political spectrum
(정치적 스펙트럼) 
Left-wing politics (좌익) Right-wing politics (우익)
Core Beliefs (신념) Minority rights, economic equality, gun control, environmental protection, expanded educational opportunity, social nets for those who need them. Limited Government at National or Federal Level. Local Governments should have the most control over decisions affecting local population. Individual freedom and personal property rights.
Parties (정당) Communist, Labour, Democrats Republican, Conservative, Nationalist
정책 비교 - Economic 평등한 임금,
부자들에 대한 높은 과세
비즈니스에 정부 개입 최소화,
낮은 세율
정책 비교 - Healthcare 보편적인 보험 지지
Support universal healthcare
보편적인 보험 반대, 보험사간의 경쟁 유도
Oppose government-provided universal healthcare

정책 비교 - Immigration Policy  온건 정책
- give pathways for undocumented immigrants 
강건한 국경 정책
- no "amnesty" for undocumented immigrants
정책 비교 - Education public education (공교육 활성화)  Home-school, private school 찬성
정책 비교 - Abortion 임신 중절 수술 찬성 낙태 반대
정책 비교 - Gay rights gay marriage 지지
LGBT 보호
gay marriage 반대
정책 비교 - Gun rights Gun control laws Gun control laws 반대
- Second Amendment를 바탕으로함.
정책 비교 - Environmental  일반적으로 규제 지지 일반적으로 규제를 반대
관련 미디어 The New York Times, MSNBC, Washington Post, CNN National Review, Fox News, Wall Street Journal, Washington Times
     

- 관련 자료:

https://www.diffen.com/difference/Conservative_vs_Liberal

https://www.informationisbeautiful.net/visualizations/left-vs-right-world/

 

 

 

 

Results: Behavior Change (실험자 행동 변화에 대한 결과) --> 긍정적인 변화가 있었다. 

 

사용자의 뉴스 소비에 따른 행동 분석을 위한 분류 

(1) 뉴스 소비가 liberal 경향인 사람 (S_pre ≥ 6.5) - Need Blue

(2) 뉴스 소비가 균형잡힌 사람 (5.5 < S_pre < 6.5)  
(3) 뉴스 소비가 conservative 인 사람 (S_pre< 5.5)  - Need Red

 

 

< Balancer 프로그램을 설치하고 28일 전, 후에 대한 Balance score 비교를 위하여  (S_post - S_pre)에 대한 t-test 진행 >

 

(1) 뉴스 소비가 liberal 경향인 사람 (S_pre ≥ 6.5) - Need Blue 

Control Group - 읽기 행동의 차이가 거의 없다. ( S_post - S_pre 평균 = 0.83, SD=1.21)

Treatment Group - 읽기 행동의 차이가 매우 적으나, outliers 많음.   ( S_post - S_pre 평균 = 0.99, SD=1.29)

Treatment, Control 비교:  상대적으로 샘플 수가 적어, 차이를 알기 힘듦. (t=−0.425, df=40, p=0.67)

 

(2) 뉴스 소비가 균형잡힌 사람 (5.5 < S_pre < 6.5)  

Control Group: 읽기 행동의 차이가 거의 없다. ( S_post - S_pre 평균 = 0.16, SD=0.65)

Treatment Group: 읽기 행동의 차이가 거의 없다. ( S_post - S_pre 평균 = -0.02, SD=0.84)

Treatment, Control 비교: 유의하지 않다. (t=1.24, df=103, p=0.218).

 

(3) 뉴스 소비가 conservative 인 사람 (S_pre< 5.5)  - Need Red 

Control Group: 읽기 행동의 차이가 거의 없다. ( S_post - S_pre 평균 = -0.15, SD=0.59)

Treatment Group: 읽기 행동의 차이가 매우 적으나, outliers 많음.   ( S_post - S_pre 평균 = -0.28, SD=0.79)

Treatment, Control 비교: 유의하다. (t=2.446, df=600, p=0.015)

Balancer Figure 3

 

 

 Individual differences (개인별 차이)  --> 유의하지 않음.

 


3. Discussion

 

3.1 Design space

 

 

3.1.1 When information is communicated 

설명

설명

 

 

3.1.2 What information is communicated 

설명

설명

 

 

Descriptive information

설명

설명

 

Normative information

설명

설명

 

Goals and Targets

설명

설명

 

Recommendations

설명

설명

 

 

3.1.3 With whom the information is shared 

 아이템

설명

설명

 

 

 

3.2 Individual differences 

설명

설명

 

 

 

3.3 Future Work 

 아이템

설명

설명

 

 


4. CONCLUSION

 

  • 중요한 결론 - Balancer 위젯을 이용한 field research를 통해, 불균형한 뉴스 소비 실험자로부터 작지만 실질적인 개선을 확인함. 
  • 이론적 함의 - 균형잡힌 기사 소비에 대한 규범(norm)을 알려 주므로써, 사용자의 읽는 행위를 개선할 수 있다. 
  • 실재적 함의 (practical implications) - 비슷한 목적의 위젯 디자인시 참고할 수 있는 Design space를 제안

 


 

나의 의견

논문을 선택한 이유

(1) 지난번 읽은 'Hagendas' 라는 POC관련 논문의 related work에 있던 연구라서 알게되었다.

(2) 브라우저 위젯을 활용해 '읽는 경험'을 증진시킨다는 주제가 흥미있어 보였다. 

 

읽고 난 후 의견

  • 어떻게든 평가 메트릭을 만들고자 S_u, V_u, S_v 를 통한 S_pre, S_post 를 측정했으나, 왜 이런 방식으로 계산하게 되었는지에 대한 설명이나 참고 자료가 없어서 평가 메트릭의 신뢰도가 낮아보인다. 
  • 그리고 S_u를 normalize하는 공식에 대한 근거의 설득력이 없다.
  • 개인별 ideology 점수를 내는 방식 또한 실험자가 직접 본인을 식별한 점수를 기반으로 하여, 확실한 점수가 아니라고 생각된다. 
  • Control group, Treatment group을 비교하는 것 이 외에 Treatment group의 S_pre와 S_post의 box plot을 비교하는 것이 추가로 있어야 한다고 생각한다. 
    그래야 Within subject 상황에서 Treatment가 유의하다는 것을 증명하기 좋을 것이다. 
  • 이 연구의 결과인, '위젯을 활용할 경우 좀 더 다른 의견의 기사를 읽게 된다' 라는 결론에서
    단순히 다른 의견의 기사를 읽었다는 정량적 수치 말고, 
    실험 참여자들이 이 위젯을 쓰고 다른 정치 성향의 기사를 읽은 후 그동안 본인의 읽기 경험을 되돌아 보았다거나,
    앞으로도 계속 이 위젯을 사용할 의향이 있는지와 같은 정성적인 평가가 추가가 되면 좋겠다는 생각이 들었다.