정부/공기관에서 언론에 전달하는 보도자료를 보고, 저널리스트들이 기사를 작성할 때, 보도자료에 대한 다양한 관점(angle)을 제시해주어 브레인스토밍을 돕는 AngleKindling 툴에 대한 연구입니다.
읽은 날짜 2023.05.15
카테고리 #HCI논문리뷰 #News
AngleKindling: Supporting Journalistic Angle Ideation with Large Language Models
- Authors: Savvas Petridis, Nicholas Diakopoulos, Kevin Crowston, Mark Hansen, Keren Henderson, Stan Jastrzebski, Jeffrey V Nickerson, Lydia B Chilton
- DOI: https://doi.org/10.1145/3544548.3580907
- Keywords: Journalism, Brainstorming, Ideation, Large Language Models, Generative AI
- Issue Date: May 2023
- Publisher: CHI'23: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems
ABSTRACT
배경 > 문제점 > 목표(RQ) > 방법 > 평가 > 결과 > 의의
(배경/문제점) 보도 자료와 같은 문서에서 angle을 개발하는 것은 인지적으로 부담이 되는 과정이며, 언론인은 그 주장의 함축적인 의미를 비판적으로 검토해야 한다.
(RQ/목표) 저널리스트가 보도 자료(press release)의 angle를 탐색하는 것을 돕는 인터랙티브 툴을 개발한다.
(방법) 언론인과의 인터뷰를 통해 얻은 정보를 바탕으로 대규모 언어 모델의 상식적 추론을 활용
(평가/결과) 12명의 전문 저널리스트를 대상으로 한 연구에서 참가자들은 이전에 사용하던 저널리즘 angle 아이디어 도구에 비해 AngleKindling이 아이디어 브레인스토밍에 훨씬 더 유용하고 정신적으로 덜 힘들다고 응답했다.
(의의) finding을 바탕으로, 저널리스트가 유망한 angles을 맞춤 설정하고 식별할 수 있도록 지원하는 방법과 AngleKindling을 다른 지식 업무 영역으로 확장하는 방법에 대해 논의를 제공한다.
1. INTRODUCTION
■ 이 연구의 주요 기여(Contributions)
(1) 4가지 Design goals - 4명의 전문 저널리스트와 3개월 공동 연구를 통해 도출한 4가지 design goals
(2) AngleKindling 툴 - 보도자료의 angles를 탐색하기 위한 interactive tool.
(3) 평가를 통해 얻은 findings - AngleKindling이 브레인스토밍에 도움이 된다.
(4) Discussion - Angle customizations과 우선순위 지정 등의 향후 작업 및 다른 도메인에서의 활용 방안에 대한 토론
2. RELATED WORK
2.1 Computational Journalism
2.2 Creativity Support with Large Language Models
2.3 Brainstorming and Ideation Tools
3. CO-DESIGN WITH PROFESSIONAL JOURNALISTS
3.1 Formative Study: Brainstorming Angles from Press Releases
■ Co-design with professional journalist
- 4명의 전문 저널리스트 (남성 3명, 여성1명, 평균 38.25세, 평균 경력 2 - 28년)
- Formative Study 진행
- 보도자료(Press release) 2개를 나누어주고, 기존 저널리스트들이 보도 자료에서 Angle을 어떻게 탐색하는가 관찰
- 보도자료 1 (PR1) - 도시의 새 지하철 시스템
- 보도자료 2 (PR2) - 도시에 전기 공급을 위한 새로운 해상 풍력허브(ofshore wind hub) 계획
- → 보도자료가 어떻게 biased되어있고 미사여구로 가득찬 거품인지 파악
- → 보도자료 수집 정보 바탕으로 잠재적인 논란(potential controversies), 부정적인 결과(negative outcomes) 등의 기사 Angles를 구상
<4가지 Design Goals 도출>
- D1: Cut through the fluff by summarizing the article into a set of main points.
(기사를 메인 포인트(요점)으로 요약하여 군더더기 삭제) - D2: Provide angles focused on conflict and controversy to help journalists call in to question the positive bias of the press release and inspire story ideas.
(갈등과 논쟁에 초점을 맞춘 angles를 제공하여, 저널리스트가 보도자료에 있는 positive bias에 의문을 제기하고, 스토리 아이디어를 떠올릴 수 있도록 한다.) - D3: Facilitate trust by connecting the provided angles directly to the source text (the press release).
(제공된 angles를 source text인 보도자료에 다이렉트로 연결하여 신뢰감을 준다.) - D4: Provide relevant historical background to provide further context, show what’s been written, and inspire new angles.
(관련 역사적 배경을 제공함으로서 - 추가적인 컨텍스트를 제공하고, -어떤 내용이 그동안 쓰여져왔는지 보여주어, 새로운 angles에 대한 영감을 준다.)
4. ANGLEKINDLING
■ 인터페이스
- 오른쪽: 입력 보도 자료
- 왼쪽: Angles 제안
사례1 - 보도자료) 뉴욕의 저렴한 주택 및 에너지 효율성을 개선하기 위한 새로운 구역 변경
a1: Main points of press release - angle suggestions
a2: Potential sources of controversy - angle suggestions이 포함하는 예상 갈등,논쟁
a3: Potential areas of investigation - questions to consider.
a4: Potential negative outcomes
b1: a에서 각 제안되는 항목 - 클릭할 수 있음
b2: 오른쪽 Press release 화면에서 관련된 부분이 highlight 된다.
b3: related content 버튼을 눌러, 관련 토픽 1 - 5개 확인 가능
b4: angle에 historical background가 있을 경우, {title, lead paragraph, publication date, link} 제공
5. IMPLEMENTATION
5.1 Providing Angles and Main Points
5.2 Connecting Angles to the Source Text and Historical Background
■ 구현
- Main points 생성, Summary 생성, Angles 생성:
- GPT-3 사용, “Create a list of controversies that could potentially arise from the following article section”
- Angles와 보도자료 내용과의 연결:
- spaCy의 빌트인 sentence segmentation을 사용하여 문장단위로 split하고
- Sentence-BERT(sentence-transformers / all-mpnet-base-v2)사용하여 임베딩 후,
- 각 angle과 보도자료 문장들의 cosign-similarity 계산 → top 5만 포함.
- Historical background 제공:
- 보도자료에서 5개의 키워드 추출: GPT-3 사용
- 각 키워드를 New York Times에 검색하여 기사 300개 수집: New York Times API 사용
- 각 기사당 headline, first paragraph를 concat하여 Sentence-BERT 임베딩
- 기사 임베딩과 angle 임베딩 cosign-similarity 계산 → 점수 높은 것 사용
6. EVALUATION
■ 실험
- 기존 툴 (INJECT 툴)의 기능과 비교
- 남성 3명, 여성 9명
- (1) 정량적 측정: 설문지 - 각 도구의 기능, 유용성에 대한 측정
- (2) 정성적 측정: semi-structured interview - 참가자의 선호도
7. CONCLUSION
- 중요한 결론 - Anglekindling 툴의 효율성을 검증했다.
- 이론적 함의 - 전문 저널리스트의 의견을 바탕으로 설계된 툴로, 관련 작업을 위한 4개의 design goal을 함께 제시한다.
- 실재적 함의 (practical implications) - 기존 툴과 비교했을 때, 이 툴을 쓰면 정신적 부담이 훨씬 적으면서도 아이데이션에 도움이 된다.
- Future work
- (1) LLM에 대한 의존도 (학습된 데이터가 최신 데이터가 아니고, bias가 있을 수 있다) 관련 Limitation 개선.
나의 의견
논문을 선택한 이유
(1) 보도자료에서 기사화 하기 위해 angle을 탐색하는 저널리스트의 일상적인 업무가 나에겐 새롭게 느껴졌고,
(2) angle을 설정하는 것이 관련 뉴스의 viewpoint를 결정짓는 요인 중 하나가 될 것 같아서 관심사와도 일치했다.
읽고 난 후 의견
- angle을 기존 보도자료와 연결지어 보여주어 신뢰도를 높이고, 역사적 배경도 함께 제시한 다는 것이 타당성을 높여주어 좋았다.
- angle을 설정하는 방향성이 더 다양하게 탐구되었다면 좋았을 것 같다. 기존의 브레인스토밍 방법 자체를 프레임워크화 해도 좋았을 것이다.
- 유용하고 실용적인 툴이라, 실시간 동작하게 되는 것으로 상용화 되면 좋겠다는 생각이 든다.
- Angle을 찾는 것 뿐만 아니라, 어느정도 글을 써주는 것도 가능할 것이다.
