반응형 llm15 [LLM] 오픈소스 LLM 파인튜닝 - 자체 데이터셋으로 LLaMA2 기반 한국어 LLM 파인튜닝하기 (feat. LoRA) 자체 데이터셋으로 LLaMA2 파인튜닝하기 지난 포스팅에서 LLaMA2를 한국어 데이터셋으로 파인튜닝한 한국어 LLM 모델 (Kor-Orca-Platypus-13B)을 다운받아서 inference 해보고, 성능을 평가해봤습니다. [이전글] : [LLM] Ko-LLM 리뷰, LLaMA2 기반 한국어 파인튜닝 모델 인퍼런스 [LLM] Ko-LLM 리뷰, LLaMA2 기반 한국어 파인튜닝 모델 인퍼런스 Ko-LLM GPT3부터 Llama2에 이르기까지 대규모 언어모델(LLM)의 놀라운 발전은 모든 이의 이목을 끌고 있습니다. 그러나 대규모 말뭉치를 사전학습하는 LLM의 특성상 학습 데이터 중 대다수는 영어로 구 didi-universe.tistory.com 이번에는 자체 데이터셋을 활용해 해당 모델을 파인튜닝.. 2023. 11. 2. [LLM] Ko-LLM 리뷰, LLaMA2 기반 한국어 파인튜닝 모델 인퍼런스 Ko-LLM GPT3부터 Llama2에 이르기까지 대규모 언어모델(LLM)의 놀라운 발전은 모든 이의 이목을 끌고 있습니다. [이전글] : [LLM] 거대언어모델, LLM(Large Language Model) 이란? [LLM] 거대언어모델, LLM(Large Language Model) 이란? 거대언어모델, LLM 이란? 거대언어모델 (Large Language Model, LLM) 이란 쉽게 말해 대용량 언어 모델을 말한다. 대규모 데이터셋으로 학습되었으며 대규모 파라미터를 가진 언어 모델 기존의 PLM들을 대 didi-universe.tistory.com 그러나 대규모 말뭉치를 사전학습하는 LLM의 특성상 학습 데이터 중 대다수는 영어로 구정되며, 한국어는 매우 적은 비율을 차지합니다. GPT3의 .. 2023. 10. 25. [LLM] LLM 모델 로컬 경로에 저장하기 + git LFS KoR-Orca-Platypus-13B 현재 Ko LLM 리더보드에서 1위중인 KoR-Orca-Platypus-13B 모델 OpenOrca-KO dataset을 활용하여 LLaMa2를 fine-tunning한 모델이라고 한다. - huggingface : https://huggingface.co/kyujinpy/KoR-Orca-Platypus-13B - github : https://github.com/Marker-Inc-Korea/Korean-OpenOrca GitHub - Marker-Inc-Korea/Korean-OpenOrca: OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca OpenOrca-KO dataset을 활용하여 llama2.. 2023. 10. 19. [LLM] 어떤 소스든, Embedchain으로 나만의 챗봇 만들기! Embedchain 이란? 쉽게 말하면, 어떤 종류의 데이터셋이든 LLM 기반 봇 (Bot)을 쉽게 만들수 있게 도와주는 프레임워크 입니다. - Embedchain 공식 깃헙 : https://github.com/embedchain/embedchain GitHub - embedchain/embedchain: Data platform for LLMs - Load, index, retrieve and sync any unstructured data Data platform for LLMs - Load, index, retrieve and sync any unstructured data - GitHub - embedchain/embedchain: Data platform for LLMs - Load, inde.. 2023. 10. 11. 이전 1 2 3 4 다음 반응형
