반응형 AI42 [LLM] LLM 기반 성능평가 논문 리서치 (LLM-based Evaluation) 이전글에 이어 LLM 기반으로 LLM이 생성한 요약문의 성능을 평가하기 위해서 최신 논문들을 리서치해 보았다. [이전글] : [LLM] LLM 텍스트 요약 평가 관련 + 논문 리뷰 [LLM] LLM 텍스트 요약 평가 관련 + 논문 리뷰 최근 LLM 모델을 활용한 요약이 BART나 T5 등 기존의 생성 요약 모델을 파인튜닝한 것보다, 심지어 사람이 요약한 것보다 더 좋다는 연구 결과가 나왔습니다. 그런데 이런 요약 모델의 성능 평가는 didi-universe.tistory.com LLM 기반 성능평가 관련 연구 동향 (2023) 1) Can Large Language Models Be an Alternative to Human Evaluations? https://arxiv.org/abs/2305.0193.. 2023. 12. 7. [NLP] Captum 라이브러리로 언어 모델 해석 LLM, sLLM이 화두가 되며 최근 회사에서도 이러한 LLM을 기반으로 한 서비스 개발에 관심이 많다. 확실히 language Generation Task에서는 LLM 기반 모델의 성능이 확실히 뛰어나지만, 비용이나 자원 이슈 등 여러가지 사항 때문에 이러한 거대언어모델을 모든 서비스에 적용을 하기는 현실적으로 어려운 상황이다. 따라서 분류 같은 간단한 task에서는 여전히 BERT나 ElECTRA 같은 PLM(Pre-trained Language Model)을 fine-tuning해서 문제를 해결하는 경우도 아직 많이 있다. 이처럼 사전 학습된 PLM 모델을 내가 원하는 task를 수행하기 위해 fine-tuning을 한 경우에, 모델이 잘 학습을 한 것인지? 어떤 부분을 보고 예측을 하는 건지? 모.. 2023. 12. 1. Stable Diffusion 2.1 Demo 리뷰 바야흐로 생성형 AI의 시대입니다. 오늘은 현재 허깅페이스에서 가장 like를 많이 받은! text-to-imege 모델인 Stable Diffusion 2.1 Demo에 대해 리뷰를 해보겠습니다. https://huggingface.co/spaces/stabilityai/stable-diffusion Stable Diffusion 2-1 - a Hugging Face Space by stabilityai huggingface.co 허깅 페이스에서 Stable Diffusion 2.1 카드를 클릭하니까 바로 데모가 나옵니다. 간단히 생성하길 원하는 이미지에 대한 설명을 입력해봅니다. 처음에 테스트 삼아 한국어를 입력해 봤더니 엉망이더라구요ㅎㅎ 영어로 입력해 줍니다. 저는 "a smile dog is ju.. 2023. 11. 3. [LLM] 오픈소스 LLM 파인튜닝 - 자체 데이터셋으로 LLaMA2 기반 한국어 LLM 파인튜닝하기 (feat. LoRA) 자체 데이터셋으로 LLaMA2 파인튜닝하기 지난 포스팅에서 LLaMA2를 한국어 데이터셋으로 파인튜닝한 한국어 LLM 모델 (Kor-Orca-Platypus-13B)을 다운받아서 inference 해보고, 성능을 평가해봤습니다. [이전글] : [LLM] Ko-LLM 리뷰, LLaMA2 기반 한국어 파인튜닝 모델 인퍼런스 [LLM] Ko-LLM 리뷰, LLaMA2 기반 한국어 파인튜닝 모델 인퍼런스 Ko-LLM GPT3부터 Llama2에 이르기까지 대규모 언어모델(LLM)의 놀라운 발전은 모든 이의 이목을 끌고 있습니다. 그러나 대규모 말뭉치를 사전학습하는 LLM의 특성상 학습 데이터 중 대다수는 영어로 구 didi-universe.tistory.com 이번에는 자체 데이터셋을 활용해 해당 모델을 파인튜닝.. 2023. 11. 2. 이전 1 2 3 4 5 6 7 8 ··· 11 다음 반응형
