자연어처리논문리뷰 썸네일형 리스트형 [NLP] (ACL 2019) Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context Language Models의 오래된 챌린지인 'long-term dependency(장기 의존성 문제)'와 context fragmentation 문제를 해결하기 위한 방법으로 제안된 Transformer-XL 모델에 대한 논문입니다. (XL => Extra Long) Transformer-XL 모델은, (1) Segment-level recurrence mechanism (세그먼트 수준의 재귀 메커니즘) (2) Positional encoding scheme (포지션 인코딩 체계)를 활용하여 위의 문제를 해결합니다. 읽은 날짜 2023.04.04 카테고리 #자연어처리논문리뷰, #NLP, #LongerTexts Transformer-XL: Attentive Language Models Beyond a .. 더보기 (-ing) [NLP] (2021) BERT Argues: How Attention Informs Argument Mining BERT를 활용한 Argument mining에 대한 연구 입니다. 읽은 날짜 2023.04.04 카테고리 #자연어처리논문리뷰, #ArgumentMining, #NLP, #Transformer BERT Argues: How Attention Informs Argument Mining Authors: Ting Chen DOI: https://scholarship.richmond.edu/honors-theses/1589/ Keywords: - Issue Date: 2021 Publisher: University of Richmond (Thesis) ABSTRACT 배경: 이전의 Argument mining 작업들은 tree 특화 기법을 사용하기 위해, argument구조를 tree 구조 형태로 제한했다. 하.. 더보기 [NLP] (2022) Argument Mining using BERT and Self-Attention based Embeddings 기존의 Argument mining은 주로 tree구조였지만, 이 구조에서는 실생활의 복잡한 argument structure를 담을 수 없다는 한계가 있었으므로, self-attention 기반의 임베딩을 통해 link-prediction을 개선하는 방법론을 제안하는 논문입니다. 연구의 대상은 독백이 아닌 토론과 같은 담론 상황에서의 argument mining입니다. 읽은 날짜 2023.03.28 카테고리 #자연어처리논문리뷰, #ArgumentMining, #NLP, #Transformer Argument Mining using BERT and Self-Attention based Embeddings Authors: Pranjal Srivastava, Pranav Bhatnagar, Anurag Go.. 더보기 이전 1 2 다음
