BERT를 활용한 Argument mining에 대한 연구 입니다.
읽은 날짜 2023.04.04
카테고리 #자연어처리논문리뷰, #ArgumentMining, #NLP, #Transformer
BERT Argues: How Attention Informs Argument Mining
- Authors: Ting Chen
- DOI: https://scholarship.richmond.edu/honors-theses/1589/
- Keywords: -
- Issue Date: 2021
- Publisher: University of Richmond (Thesis)
ABSTRACT
배경: 이전의 Argument mining 작업들은 tree 특화 기법을 사용하기 위해, argument구조를 tree 구조 형태로 제한했다.
하지만, 실제 데이터는 이런 제한된 구조를 보일 가능성이 낮다.
목표: deep-contextualized word embeddings를 사용하여 non-tree argument mining에 활용한다.
방법: pre-trained BERT기반 모델과 Proposition Bi-affine Attention 및 Weighted Cross Entropy Loss를 활용하여 DAG(directed acyclic graph, 방향 비순환 그래프) 구조의 argument를 예측하는 새로운 파이프라인을 소개
의의: - BERT기반 모델에서 deep-contextualized word embedding의 효율성을 입증
- Hierarchical relationship(계층적 관계)를 모델링 하기 위하여 recurrence를 포함하는 향후 연구 방향 제시
등장 배경, 이론적 기반, 기존 연구와의 차별점, 사용한 데이터, 모델/방법론, 실험 세팅, 실험 결과, 결과 분석, 이 논문에 대한 내 생각
1. 등장 배경
■ Argument mining
토론과 논쟁(debate and argument)은 인간 커뮤니케이션의 기본 요소이다.
Argument mining이란, 자연어에서 argument structure를 자동으로 식별하고 추출하기 위한 자연어 처리 기술(Lawrence and Reed, 2019)
■ Argument mining의 구조
(1) Tree structure
- 초기에 주로 사용됨.
- 하나 이상의 tree를 형성하는 것으로 구조를 제한 (Peldszus and Stede, 2015; Stab andGurevych, 2017)
- 장점: Tree구조를 활용하여 계산 쉬움 (예: Maximum spanning tree-style parsers 사용가능)
- 단점: 실제 데이터는 트리 구조가 아닐 가능성이 높음.
(2) Structured support vector machines & RNN
- non-tree structure
- (Niculae et al., 2017)
(3) DAG (Directed Acyclic Graph) 구조
(4) PLBA로 보강된(agmented) LSTM 활용
- PLBA: Proposition Level Bia Attention
- (Dozat and Manning, 2018)
■ 이 논문에서는
non-tree structure를 형성하는 데이터에 BERT-based 모델을 적용하여,
Argument components를 식별하는 태스크와 components 사이의 링크를 예측하는 태스크 수행
■ 사용한 데이터셋
Cornell eRulemaking Corpus (CDCP) (Park and Cardie, 2018)
2. 이론적 기반
2.1 Argument mining
■ 아이템
설명
설명
2.2 Transformers
■ 아이템
설명
설명
3. 기존 연구와의 차별점
3.1 subtitle
■ 아이템
설명
설명
3.1.1 sub-subtitle
■ 아이템
설명
설명
3.1.2 sub-subtitle
■ 아이템
설명
설명
3.2 subtitle
■ 아이템
설명
설명
3.2.1 sub-subtitle
■ 아이템
설명
설명
3.2.2 sub-subtitle
■ 아이템
설명
설명
3.2 subtitle
■ 아이템
설명
설명
3.2.1 sub-subtitle
■ 아이템
설명
설명
3.2.2 sub-subtitle
■ 아이템
설명
설명
4. 사용한 데이터
■ 아이템
설명
설명
4.1 subtitle
■ 아이템
설명
설명
4.1.1 sub-subtitle
■ 아이템
설명
설명
5. 모델/방법론
5.1 subtitle
■ 아이템
설명
설명
5.2 subtitle
■ 아이템
설명
설명
5.3 subtitle
■ 아이템
설명
설명
6. 실험 세팅, 실험 결과
6.1 subtitle
■ 아이템
설명
설명
6.1.1 sub-subtitle
■ 아이템
설명
설명
6.1.2 sub-subtitle
■ 아이템
설명
설명
3.2 subtitle
■ 아이템
설명
설명
7. 실험 결과 분석
■ 아이템
설명
설명
8. CONCLUSION
- 중요한 결론 -
- 이론적 함의 -
- 실재적 함의 (practical implications) -
- Future work
- (1)
- (2)
나의 의견
논문을 선택한 이유
(1) 이유1
(2) 이유2
읽고 난 후 의견
- 의견1
- 의견2
