논문 리뷰/NLP 논문 리뷰 썸네일형 리스트형 [NLP] (NeurIPS 2019) ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks BERT에 input으로 image와 sentence의 쌍을 전달하여 Vision-and-language 관련 태스크를 테스트 한 ViLBERT (Vision-and-Language BERT)에 대한 연구 입니다. 읽은 날짜 2023.04.25 카테고리 #자연어처리논문리뷰, #Multimodal, #Vision_and_Language ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks Authors: Jiasen Lu, Dhruv Batra, Devi Parikh, Stefan Lee DOI: https://arxiv.org/abs/1908.02265 Keywords: Issue Da.. 더보기 [NLP] (EMNLP 2021) Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? 영어로만 학습된 BERT 모델이, 여러 언어(multilingual)로 학습될 때, 언어 간(cross-linguistic) 문법적인 차이점을 어떻게 인지하는지에, 그리고 BERT를 여러 언어로 학습 시킬 때 transfer가 어떻게 일어나는지에 대한 연구 입니다. 읽은 날짜 2023.04.20 카테고리 #자연어처리논문리뷰, #Cross-linguistic, #Multilingual 급하게 정리한 탓에 내용이 조금 부족한데, 나중에 여유될 때 좀 더 자세히 다시 읽고, 보완할 예정입니다. (2023/04/21) Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? A.. 더보기 [NLP] (ACL 2021) Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering Generative ODQA(Open-domain QA) model에 Text2SQL을 강화하여, 자연어 질문이 주어졌을 때, 텍스트/테이블 데이터 둘 다 멀티모달로 활용하여 질문에 대한 답을 추론하고 답의 컨텍스트에 따라 직접 정답 텍스트 또는 SQL을 생성하는 프레임워크에 대한 연구로, 기존 QA task 선행연구인 FiD (Fusion-in-Decoder)를 활용하였다. 읽은 날짜 2023.04.10 카테고리 #자연어처리논문리뷰, #NLP, #QuestionAnswering 연구 관련 코드: https://github.com/awslabs/durepa-hybrid-qa Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain.. 더보기 [NLP] (ACL 2019) Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context Language Models의 오래된 챌린지인 'long-term dependency(장기 의존성 문제)'와 context fragmentation 문제를 해결하기 위한 방법으로 제안된 Transformer-XL 모델에 대한 논문입니다. (XL => Extra Long) Transformer-XL 모델은, (1) Segment-level recurrence mechanism (세그먼트 수준의 재귀 메커니즘) (2) Positional encoding scheme (포지션 인코딩 체계)를 활용하여 위의 문제를 해결합니다. 읽은 날짜 2023.04.04 카테고리 #자연어처리논문리뷰, #NLP, #LongerTexts Transformer-XL: Attentive Language Models Beyond a .. 더보기 (-ing) [NLP] (2021) BERT Argues: How Attention Informs Argument Mining BERT를 활용한 Argument mining에 대한 연구 입니다. 읽은 날짜 2023.04.04 카테고리 #자연어처리논문리뷰, #ArgumentMining, #NLP, #Transformer BERT Argues: How Attention Informs Argument Mining Authors: Ting Chen DOI: https://scholarship.richmond.edu/honors-theses/1589/ Keywords: - Issue Date: 2021 Publisher: University of Richmond (Thesis) ABSTRACT 배경: 이전의 Argument mining 작업들은 tree 특화 기법을 사용하기 위해, argument구조를 tree 구조 형태로 제한했다. 하.. 더보기 [NLP] (2022) Argument Mining using BERT and Self-Attention based Embeddings 기존의 Argument mining은 주로 tree구조였지만, 이 구조에서는 실생활의 복잡한 argument structure를 담을 수 없다는 한계가 있었으므로, self-attention 기반의 임베딩을 통해 link-prediction을 개선하는 방법론을 제안하는 논문입니다. 연구의 대상은 독백이 아닌 토론과 같은 담론 상황에서의 argument mining입니다. 읽은 날짜 2023.03.28 카테고리 #자연어처리논문리뷰, #ArgumentMining, #NLP, #Transformer Argument Mining using BERT and Self-Attention based Embeddings Authors: Pranjal Srivastava, Pranav Bhatnagar, Anurag Go.. 더보기 이전 1 2 다음
