NLP 썸네일형 리스트형 [NLP] (ACL 2022) MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction Keyphrase Extraction을 위한 방법 중 unsupervised한 방식에서 주로 사용되었던 Phrase-Document-based 임베딩 비교하는 방식은, Phrase와 Document의 길이 차이로 인한 불안정성이 있었습니다. 이를 해결하기 위해 Document와 core-phrase를 마스킹한 Document의 임베딩을 비교한 MDERank 방법론을 소개하는 연구입니다. 읽은 날짜 2023.06.19 카테고리 #자연어처리논문리뷰, #Ranking, #InformationRetrieval MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction Authors: Linhan Zhang, Qi.. 더보기 [NLP] (ACL 2021) Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering Generative ODQA(Open-domain QA) model에 Text2SQL을 강화하여, 자연어 질문이 주어졌을 때, 텍스트/테이블 데이터 둘 다 멀티모달로 활용하여 질문에 대한 답을 추론하고 답의 컨텍스트에 따라 직접 정답 텍스트 또는 SQL을 생성하는 프레임워크에 대한 연구로, 기존 QA task 선행연구인 FiD (Fusion-in-Decoder)를 활용하였다. 읽은 날짜 2023.04.10 카테고리 #자연어처리논문리뷰, #NLP, #QuestionAnswering 연구 관련 코드: https://github.com/awslabs/durepa-hybrid-qa Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain.. 더보기 [NLP] (ACL 2019) Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context Language Models의 오래된 챌린지인 'long-term dependency(장기 의존성 문제)'와 context fragmentation 문제를 해결하기 위한 방법으로 제안된 Transformer-XL 모델에 대한 논문입니다. (XL => Extra Long) Transformer-XL 모델은, (1) Segment-level recurrence mechanism (세그먼트 수준의 재귀 메커니즘) (2) Positional encoding scheme (포지션 인코딩 체계)를 활용하여 위의 문제를 해결합니다. 읽은 날짜 2023.04.04 카테고리 #자연어처리논문리뷰, #NLP, #LongerTexts Transformer-XL: Attentive Language Models Beyond a .. 더보기 (-ing) [NLP] 쉽게 설명하는 RNN과 LSTM 그리고 Transformer 까지의 흐름 무언가를 새로 공부할 때 가장 큰 허들은 개념 및 용어와 친숙해지는 것이라고 생각한다. 시중에 많은 블로그나 책에 설명이 잘 되어있고, 자료도 많지만 대부분 그들이 친숙한 해당 분야의 언어로 작성되었기 때문에 (지식의 저주!) 새로 배우는 사람에겐 진입장벽이 크다. 당연한 개념인데도 용어가 낯설면 엄청 어렵고 멀게 느껴지기 마련이다. 난 NLP초보자니까 지식의 저주에 빠지지않게 조심하면서 쉽게 쉽게 풀어 정리해보겠다! 이 글의 목적은, 나와 비슷한 사람에게 도움을 주고, 또 나중에 시간이 지나서 내가 배운 것들이 잘 기억 안 날 때 나 스스로 다시 복기하기 위한 목적이다. "혹시 내용 중 틀린 게 있다면 알려주세요 :-)" 목차 1. 언어 데이터 = Sequential data 2. RNN (Recurr.. 더보기 (-ing) [NLP] (2021) BERT Argues: How Attention Informs Argument Mining BERT를 활용한 Argument mining에 대한 연구 입니다. 읽은 날짜 2023.04.04 카테고리 #자연어처리논문리뷰, #ArgumentMining, #NLP, #Transformer BERT Argues: How Attention Informs Argument Mining Authors: Ting Chen DOI: https://scholarship.richmond.edu/honors-theses/1589/ Keywords: - Issue Date: 2021 Publisher: University of Richmond (Thesis) ABSTRACT 배경: 이전의 Argument mining 작업들은 tree 특화 기법을 사용하기 위해, argument구조를 tree 구조 형태로 제한했다. 하.. 더보기 [NLP] (2022) Argument Mining using BERT and Self-Attention based Embeddings 기존의 Argument mining은 주로 tree구조였지만, 이 구조에서는 실생활의 복잡한 argument structure를 담을 수 없다는 한계가 있었으므로, self-attention 기반의 임베딩을 통해 link-prediction을 개선하는 방법론을 제안하는 논문입니다. 연구의 대상은 독백이 아닌 토론과 같은 담론 상황에서의 argument mining입니다. 읽은 날짜 2023.03.28 카테고리 #자연어처리논문리뷰, #ArgumentMining, #NLP, #Transformer Argument Mining using BERT and Self-Attention based Embeddings Authors: Pranjal Srivastava, Pranav Bhatnagar, Anurag Go.. 더보기 이전 1 다음
