반응형 AI42 [LLM] Ko-LLM 리뷰, LLaMA2 기반 한국어 파인튜닝 모델 인퍼런스 Ko-LLM GPT3부터 Llama2에 이르기까지 대규모 언어모델(LLM)의 놀라운 발전은 모든 이의 이목을 끌고 있습니다. [이전글] : [LLM] 거대언어모델, LLM(Large Language Model) 이란? [LLM] 거대언어모델, LLM(Large Language Model) 이란? 거대언어모델, LLM 이란? 거대언어모델 (Large Language Model, LLM) 이란 쉽게 말해 대용량 언어 모델을 말한다. 대규모 데이터셋으로 학습되었으며 대규모 파라미터를 가진 언어 모델 기존의 PLM들을 대 didi-universe.tistory.com 그러나 대규모 말뭉치를 사전학습하는 LLM의 특성상 학습 데이터 중 대다수는 영어로 구정되며, 한국어는 매우 적은 비율을 차지합니다. GPT3의 .. 2023. 10. 25. [LLM] LLM 모델 로컬 경로에 저장하기 + git LFS KoR-Orca-Platypus-13B 현재 Ko LLM 리더보드에서 1위중인 KoR-Orca-Platypus-13B 모델 OpenOrca-KO dataset을 활용하여 LLaMa2를 fine-tunning한 모델이라고 한다. - huggingface : https://huggingface.co/kyujinpy/KoR-Orca-Platypus-13B - github : https://github.com/Marker-Inc-Korea/Korean-OpenOrca GitHub - Marker-Inc-Korea/Korean-OpenOrca: OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca OpenOrca-KO dataset을 활용하여 llama2.. 2023. 10. 19. [LLM] 어떤 소스든, Embedchain으로 나만의 챗봇 만들기! Embedchain 이란? 쉽게 말하면, 어떤 종류의 데이터셋이든 LLM 기반 봇 (Bot)을 쉽게 만들수 있게 도와주는 프레임워크 입니다. - Embedchain 공식 깃헙 : https://github.com/embedchain/embedchain GitHub - embedchain/embedchain: Data platform for LLMs - Load, index, retrieve and sync any unstructured data Data platform for LLMs - Load, index, retrieve and sync any unstructured data - GitHub - embedchain/embedchain: Data platform for LLMs - Load, inde.. 2023. 10. 11. [LLM] 거대언어모델, LLM(Large Language Model) 이란? 거대언어모델, LLM 이란? 거대언어모델 (Large Language Model, LLM) 이란 쉽게 말해 대용량 언어 모델을 말한다. 대규모 데이터셋으로 학습되었으며 대규모 파라미터를 가진 언어 모델 기존의 PLM들을 대규모로 확장하면 성능이 늘어난다는 것을 확인하며, 구글과 페이스북 같은 IT 공룡들의 LLM 경쟁이 심화되었음. ‘거대’의 기준이 정해진 것은 아니나, 일부 전문가들은 GPT-3가 학습한 파라미터 개수인 1,750억 개를 들고 있음 GPT(Generative Pre-trained Transformer)와 BERT(Bidirectional Encoder Representations from Transformers)와 같은 다양한 모델이 있으며, 최근 가장 주목받는 대표적인 LLM으로 Ch.. 2023. 10. 6. 이전 1 ··· 3 4 5 6 7 8 9 ··· 11 다음 반응형
