반응형 nlp7 [NLP] Sentence Similarity (문장 간 유사도 계산)을 통한 Query paraphrasing 검수 배경 QA 데이터셋을 만들던 중,기간 내 목표 수량을 채우기 위해LLM으로 Query를 paraphrasing해 데이터를 증강하는 방식으로 데이터를 생성하게 되었다. Origical Query와 paraphrasing한 Query를 놓고 보니어느 정도는 유사해야 하지만 그렇다고 너무 유사하면 모델 학습에 의미가 없을 것 같았다. 그래서 paraphrasing한 Query를 검수하는 후처리 단계를 하나 추가해야 겠다고 생각했는데,2가지 방법 정도가 떠올랐다. LLM으로 paraphrasing한 Query를 검수하는 방법 1) 임베딩 모델을 통한 문장 유사도를 계산하고, 특정 treshold 범위를 정해서 해당 범위에 포함되는 쿼리만 사용2) LLM으로 검수 우선 1번을 시도해보았다. 임베딩 모델로는.. 2024. 9. 19. [LLM] LLM 텍스트 요약 평가 관련 + 논문 리뷰 최근 LLM 모델을 활용한 요약이 BART나 T5 등 기존의 생성 요약 모델을 파인튜닝한 것보다, 심지어 사람이 요약한 것보다 더 좋다는 연구 결과가 나왔습니다. 그런데 이런 요약 모델의 성능 평가는 어떻게 해야 할까요? 기존에 텍스트 요약 과제에서, 모델 셀렉션이나 성능 평가 부분이 가장 어려웠는데요. 사실 요약이 잘되었다고 판단하는 부분이 지극히 주관적인 영역이라, 인간이 요약한 문장도 어떤 문장이 요약을 잘 한 것인지를 판단하기가 어렵기 때문입니다. 정통적으로 NLP나 summarization 부분에서 사용하는 ROUGE 같은 정량적인 스코어도 있지만 별 의미가 없어서... 결국 휴먼 피드백이나 보팅으로 해결하곤 했습니다. AI 모델이 요약한 문장은 어떻게 평가할 수 있을지, 평가방법에 대한 연구가.. 2023. 9. 26. 어텐션 매커니즘(Attention Mechanism) 앞에서 트랜스포머 모델을 살펴봤습니다. 이전글 : NLP의 핵심, 트랜스포머(Transformer) 복습! NLP의 핵심, 트랜스포머(Transformer) 복습! ChatGPT 등장 이후, 지금은 거대 언어 모델 (LLM, Large Language Model)의 전성기라고 해도 과언이 아닙니다. ChatGPT는 GPT 3.5와 같은 LM 모델을 Supervised Instruction tuning과 RLHF 대화형 모델로 파인튜닝한 모델 didi-universe.tistory.com 이 트랜스포머가 NLP 역사에 한 획을 그을 수 있었던 것은 바로 "Attention is All You Need" 라는 논문 제목에서 알 수 있듯이, 어텐션 메커니즘 덕분인데요. 어텐션이 무엇인지 자세히 알아보도록 하겠.. 2023. 9. 21. NLP의 핵심, 트랜스포머(Transformer) 복습! ChatGPT 등장 이후, 지금은 거대 언어 모델 (LLM, Large Language Model)의 전성기라고 해도 과언이 아닙니다. ChatGPT는 GPT 3.5와 같은 LM 모델을 Supervised Instruction tuning과 RLHF 대화형 모델로 파인튜닝한 모델이죠. 이 GPT는 바로 트랜스포머의 디코더(Decoder) 부분을 가지고 만든 모델입니다. ChapGPT는 물론, 메타에서 발표한 LLaMA와 같은 현재의 LLM들의 조상 격이 바로 트랜스포머 모델입니다. 따라서 트랜스포머 모델의 구조를 이해하고 있어야, 이를 기반으로 한 LLM들을 활용하거나 튜닝할 때 수월하겠죠. 오늘은 트랜스포머에 대해 복습하는 포스팅을 작성하려고 합니다. 트랜스포머는 딥 러닝 모델의 한 종류로, 주로 자연.. 2023. 9. 21. 이전 1 2 다음 반응형
