본문 바로가기

자연어처리논문리뷰

[NLP] (NeurlPS'23) Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 사람의 사고 과정을 그대로 모방하여 복잡한 문제를 자연어처리를 통해 풀게끔 하는 방법론인 Chain-of-Thought이라는 연구입니다. 읽은 날짜 2023.06.04 카테고리 #자연어처리논문리뷰, #프롬프트, #Chain-of-Thought Chain-of-Thought Prompting Elicits Reasoning in Large Language Models Authors: Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou DOI: https://arxiv.org/abs/2201.11903 Keywords: Issue Date: Publisher: 2023 .. 더보기
[NLP] (ACL 2022) MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction Keyphrase Extraction을 위한 방법 중 unsupervised한 방식에서 주로 사용되었던 Phrase-Document-based 임베딩 비교하는 방식은, Phrase와 Document의 길이 차이로 인한 불안정성이 있었습니다. 이를 해결하기 위해 Document와 core-phrase를 마스킹한 Document의 임베딩을 비교한 MDERank 방법론을 소개하는 연구입니다. 읽은 날짜 2023.06.19 카테고리 #자연어처리논문리뷰, #Ranking, #InformationRetrieval MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction Authors: Linhan Zhang, Qi.. 더보기
[NLP] (EMNLP 2022) RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning optimal 한 prompt를 찾는 태스크에 강화학습을 적용한 연구 입니다. 읽은 날짜 2023.05.30 카테고리 #자연어처리논문리뷰, #프롬프트, #강화학습 RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning Authors: Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, Yihan Wang, Han Guo, Tianmin Shu, Meng Song, Eric Xing, Zhiting Hu DOI: https://aclanthology.org/2022.emnlp-main.222/ Keywords: Issue Date: December 2022 Publisher: EMNLP 2022 1. 등장 .. 더보기
[NLP] (ACL 2022) PPT: Pre-trained Prompt Tuning for Few-shot Learning 소프트 프롬프트를 pre training 단계에 적용하여, 사전학습과 함께 프롬프트를 튜닝하는 방법론에 대한 연구 입니다. 읽은 날짜 2023.05.22 카테고리 #자연어처리논문리뷰, #프롬프트 PPT: Pre-trained Prompt Tuning for Few-shot Learning Authors: Yuxian Gu, Xu Han, Zhiyuan Liu, Minlie Huang DOI: https://aclanthology.org/2022.acl-long.576/ Keywords: Issue Date: May 2022 Publisher: ACL 2022 ABSTRACT (배경) PLM(Pre-trained language model)의 프롬프트는 pre-training task와 다양한 다운스트림 .. 더보기
[NLP] (ACL 2021) LM-BFF, Making Pre-trained Language Models Better Few-shot Learners 적은 데이터에서 few-shot learning 을 할 때 활용할 수 있는 prompt 자동 생성 및 prompt 기반 fine tuning에 대한 연구입니다. 읽은 날짜 2023.05.15 카테고리 #자연어처리논문리뷰, #Tag2 Making Pre-trained Language Models Better Few-shot Learners Authors: Tianyu Gao, Adam Fisch, Danqi Chen DOI: https://aclanthology.org/2021.acl-long.295/ Keywords: Issue Date: August 2021 Publisher: 2021 ACL | IJCNLP ABSTRACT (배경) GPT-3와 같은 모델에서 natural-language prompt.. 더보기
[NLP] (NeurIPS 2019) ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks BERT에 input으로 image와 sentence의 쌍을 전달하여 Vision-and-language 관련 태스크를 테스트 한 ViLBERT (Vision-and-Language BERT)에 대한 연구 입니다. 읽은 날짜 2023.04.25 카테고리 #자연어처리논문리뷰, #Multimodal, #Vision_and_Language ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks Authors: Jiasen Lu, Dhruv Batra, Devi Parikh, Stefan Lee DOI: https://arxiv.org/abs/1908.02265 Keywords: Issue Da.. 더보기
[NLP] (EMNLP 2021) Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? 영어로만 학습된 BERT 모델이, 여러 언어(multilingual)로 학습될 때, 언어 간(cross-linguistic) 문법적인 차이점을 어떻게 인지하는지에, 그리고 BERT를 여러 언어로 학습 시킬 때 transfer가 어떻게 일어나는지에 대한 연구 입니다. 읽은 날짜 2023.04.20 카테고리 #자연어처리논문리뷰, #Cross-linguistic, #Multilingual 급하게 정리한 탓에 내용이 조금 부족한데, 나중에 여유될 때 좀 더 자세히 다시 읽고, 보완할 예정입니다. (2023/04/21) Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? A.. 더보기
[NLP] (ACL 2021) Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering Generative ODQA(Open-domain QA) model에 Text2SQL을 강화하여, 자연어 질문이 주어졌을 때, 텍스트/테이블 데이터 둘 다 멀티모달로 활용하여 질문에 대한 답을 추론하고 답의 컨텍스트에 따라 직접 정답 텍스트 또는 SQL을 생성하는 프레임워크에 대한 연구로, 기존 QA task 선행연구인 FiD (Fusion-in-Decoder)를 활용하였다. 읽은 날짜 2023.04.10 카테고리 #자연어처리논문리뷰, #NLP, #QuestionAnswering 연구 관련 코드: https://github.com/awslabs/durepa-hybrid-qa Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain.. 더보기

티스토리툴바