본문 바로가기

논문 리뷰/NLP 논문 리뷰

[NLP] Semi-Supervised Formality Style Transfer with Consistency Training (-ing) Informal sentece를 formal text로 스타일을 바꾸어주는 FST (Formality style transfer) 태스크를 위한 연구입니다.데이터셋: GYAFC 베이스모델: HuggingFace Transformers library's implementation of pretrained T5 Large읽은 날짜  2026.06.26카테고리   #Tag1, #Tag2  Semi-Supervised Formality Style Transfer with Consistency TrainingAuthors: Ao Liu, An Wang, Naoaki OkazakiDOI: https://aclanthology.org/2022.acl-long.321/Keywords: Issue Date: May, 2.. 더보기
[NLP] Shakespearizing Modern Language Using Copy-Enriched Sequence to Sequence Models (-ing) 텍스트의 톤앤매너 또는 Writing style을 바꾸는 연구 논문을 찾던 중 발견한 논문으로, modern English를 Shakespearean English (세익스피어 스타일의 영어)로 바꾸어주는 모델 연구에 대한 논문입니다. 데이터셋은 Supervised (parallened dataset) 스타일로, 세익스피어의 original sentence와 그 modern sentence를 준비하였고,2017년에 퍼블리쉬된 오래된 연구다보니 Bidirectional LSTM모델이 사용되었습니다.읽은 날짜  2024.06.26카테고리   #Text_Style_Transformation, #Supervised, #Parallel_data  Shakespearizing Modern Language Using.. 더보기
[IR] (2019) Dataset search: a survey 올해 초에 읽었던 논문인데, 다른 곳에 정리해 두었던 것을 발견하여 옮겨왔습니다. 당시에 파일 검색 관련 주제에 관심이 있어서 읽어보았던 Dataset search 에 대한 survey 논문입니다. 읽은 날짜 2023.02.21 카테고리 #DatasetSearch, #InformationRetrieval Dataset search: a survey Authors: Adriane Chapman, Elena Simperl, Laura Koesten, George Konstantinidis, Luis-Daniel Ibáñez-Gonzalez, Emilia Kacprzak, Paul Groth DOI: https://doi.org/10.1007/s00778-019-00564-x Keywords: Dataset .. 더보기
[NLP] (NeurlPS'23) Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 사람의 사고 과정을 그대로 모방하여 복잡한 문제를 자연어처리를 통해 풀게끔 하는 방법론인 Chain-of-Thought이라는 연구입니다. 읽은 날짜 2023.06.04 카테고리 #자연어처리논문리뷰, #프롬프트, #Chain-of-Thought Chain-of-Thought Prompting Elicits Reasoning in Large Language Models Authors: Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou DOI: https://arxiv.org/abs/2201.11903 Keywords: Issue Date: Publisher: 2023 .. 더보기
[NLP] (ACL 2022) MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction Keyphrase Extraction을 위한 방법 중 unsupervised한 방식에서 주로 사용되었던 Phrase-Document-based 임베딩 비교하는 방식은, Phrase와 Document의 길이 차이로 인한 불안정성이 있었습니다. 이를 해결하기 위해 Document와 core-phrase를 마스킹한 Document의 임베딩을 비교한 MDERank 방법론을 소개하는 연구입니다. 읽은 날짜 2023.06.19 카테고리 #자연어처리논문리뷰, #Ranking, #InformationRetrieval MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction Authors: Linhan Zhang, Qi.. 더보기
[NLP] (EMNLP 2022) RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning optimal 한 prompt를 찾는 태스크에 강화학습을 적용한 연구 입니다. 읽은 날짜 2023.05.30 카테고리 #자연어처리논문리뷰, #프롬프트, #강화학습 RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning Authors: Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, Yihan Wang, Han Guo, Tianmin Shu, Meng Song, Eric Xing, Zhiting Hu DOI: https://aclanthology.org/2022.emnlp-main.222/ Keywords: Issue Date: December 2022 Publisher: EMNLP 2022 1. 등장 .. 더보기
[NLP] (ACL 2022) PPT: Pre-trained Prompt Tuning for Few-shot Learning 소프트 프롬프트를 pre training 단계에 적용하여, 사전학습과 함께 프롬프트를 튜닝하는 방법론에 대한 연구 입니다. 읽은 날짜 2023.05.22 카테고리 #자연어처리논문리뷰, #프롬프트 PPT: Pre-trained Prompt Tuning for Few-shot Learning Authors: Yuxian Gu, Xu Han, Zhiyuan Liu, Minlie Huang DOI: https://aclanthology.org/2022.acl-long.576/ Keywords: Issue Date: May 2022 Publisher: ACL 2022 ABSTRACT (배경) PLM(Pre-trained language model)의 프롬프트는 pre-training task와 다양한 다운스트림 .. 더보기
[NLP] (ACL 2021) LM-BFF, Making Pre-trained Language Models Better Few-shot Learners 적은 데이터에서 few-shot learning 을 할 때 활용할 수 있는 prompt 자동 생성 및 prompt 기반 fine tuning에 대한 연구입니다. 읽은 날짜 2023.05.15 카테고리 #자연어처리논문리뷰, #Tag2 Making Pre-trained Language Models Better Few-shot Learners Authors: Tianyu Gao, Adam Fisch, Danqi Chen DOI: https://aclanthology.org/2021.acl-long.295/ Keywords: Issue Date: August 2021 Publisher: 2021 ACL | IJCNLP ABSTRACT (배경) GPT-3와 같은 모델에서 natural-language prompt.. 더보기

티스토리툴바