반응형 전체 글61 [한국어 LLM 벤치마크] Korean MT-bench score 계산하기 (1) 한국어 LLM 리더보드인 호랑이에 대해 리뷰를 진행해보고, 외부 오픈소스 모델 및 내부 사내 자체 개발 모델에 대해 평가를 진행해보기로 결정! 호랑이 한국어 LLM 리더보드에 대한 소개는 아래 글 참고. [이전글] 호랑이(Horangi) - 한국어 LLM 리더보드 리뷰 호랑이(Horangi) - 한국어 LLM 리더보드 리뷰 업스테이지가 운영중인 허깅페이스 Open Ko LLM 리더보드에 이어, 새로운 한국어 LLM 리더보드가 등장했다. 이름은 호랑이 (Horangi), 아래 링크에 리더보드에 대한 자세한 설명이 나와있으니 참고. Hor didi-universe.tistory.com Korean MT-Bench score 구현 우선 2가지 데이터셋 중에서 그전부터 봐두던 MT-bench를 먼저 돌려보고 싶.. 2024. 4. 8. 호랑이(Horangi) - 한국어 LLM 리더보드 리뷰 업스테이지가 운영중인 허깅페이스 Open Ko LLM 리더보드에 이어, 새로운 한국어 LLM 리더보드가 등장했다. 이름은 호랑이 (Horangi), 아래 링크에 리더보드에 대한 자세한 설명이 나와있으니 참고. Horangi 한국어 LLM 리더보드 Horangi 한국어 LLM 리더보드 자연어 이해 및 생성 관점에서 한국어 LLM들의 능력을 평가합니다. Made by Kim, Ki Hyun using Weights & Biases wandb.ai 허깅페이스 Open ko LLM 리더보드에는 현재 업스테이지의 Solar 모델을 dpo로 파인튜닝한 모델들이 상위권을 차지하고 있다. 그런데 과연 이 리더보드는 신뢰할 수 있는 것인가? 항상 LLM 생성문에 대한 평가는 어려움을 겪는 것 같다. 특히 영어에 비해 한.. 2024. 4. 8. 대용량 한국어 데이터셋 : Markr AI - KoCommercial Dataset 개요 지난달 Markr AI에서 140만개의 한국어 Fine tuning 데이터셋을 모으고 만들어서 배포했습니다. LLM을 파인튜닝 하려면 데이터셋 확보가 8할, 아니 9할이라고 해도 과언이 아닌데요. 한국 LLM 생태계의 경우, 고품질의 Fine-tuning 데이터셋이 매우 부족합니다. 영어 데이터셋을 DeepL이나 GPT를 이용해서 번역&재생성해도 퀄리티 저하와 라이센스 이슈가 있구요ㅠㅠ GPT4나 Gemini를 통해 데이터를 생성하여 활용할 수 있지만, 현재 각 라이센스에서 각 모델을 통해 생성된 데이터를 경쟁하는 모델 학습에 사용하는건 현재 라이센스 위반으로 나와 있습니다. 참고 - OpenAI의 라이센스 Terms of use OUR SERVICES ARE PROVIDED “AS IS.” EXC.. 2024. 4. 3. [LLM] Mistral 7B v0.2 Base Model 공개 Mistral 7B v0.2 Base Model이 공개되었다고 합니다. https://twitter.com/marvinvonhagen/status/1771609042542039421 X의 Marvin von Hagen님(@marvinvonhagen) Mistral just announced at @SHACK15sf that they will release a new model today: Mistral 7B v0.2 Base Model - 32k instead of 8k context window - Rope Theta = 1e6 - No sliding window twitter.com 이번 버전업에서 특징적인 부분은 다음과 같습니다. Mistral just announced at @SHACK15sf t.. 2024. 4. 3. [NLP] 허깅페이스 모델 캐시 확인하기 앞선 글에서 Orion-14B를 테스트해보려고 하는데, 계속 Connection Error가 나서 resume_download 옵션을 줘서 해결했었다. 이전글 : [Error] 허깅페이스 lfs 모델 다운로드 에러 : connectionerror httpsconnectionpool(host='cdn-lfs-us-1.huggingface.co' Orion-14B 모델 성능이 LLaMA2 13B 보다 좋다길래, inference test를 해보려고 했다. https://huggingface.co/OrionStarAI/Orion-14B-Base OrionStarAI/Orion-14B-Base · Hugging Face Orion-14B Table of Contents 1. Model Introduction O.. 2024. 4. 2. 이전 1 2 3 4 5 6 ··· 13 다음 반응형
