본문 바로가기
반응형

AI42

[LLM] Mistral 7B v0.2 Base Model 공개 Mistral 7B v0.2 Base Model이 공개되었다고 합니다. https://twitter.com/marvinvonhagen/status/1771609042542039421 X의 Marvin von Hagen님(@marvinvonhagen) Mistral just announced at @SHACK15sf that they will release a new model today: Mistral 7B v0.2 Base Model - 32k instead of 8k context window - Rope Theta = 1e6 - No sliding window twitter.com 이번 버전업에서 특징적인 부분은 다음과 같습니다. Mistral just announced at @SHACK15sf t.. 2024. 4. 3.
[NLP] 허깅페이스 모델 캐시 확인하기 앞선 글에서 Orion-14B를 테스트해보려고 하는데, 계속 Connection Error가 나서 resume_download 옵션을 줘서 해결했었다. 이전글 : [Error] 허깅페이스 lfs 모델 다운로드 에러 : connectionerror httpsconnectionpool(host='cdn-lfs-us-1.huggingface.co' Orion-14B 모델 성능이 LLaMA2 13B 보다 좋다길래, inference test를 해보려고 했다. https://huggingface.co/OrionStarAI/Orion-14B-Base OrionStarAI/Orion-14B-Base · Hugging Face Orion-14B Table of Contents 1. Model Introduction O.. 2024. 4. 2.
[논문리뷰] DeepSpeed-FastGen: High-throughput Text Generation forLLMs via MII and DeepSpeed-Inference LLM inference 관련해서 DeepSpeed-FastGen 이라는 새로운 방법이 나왔습니다. 논문 제목에서 알 수 있듯이, 이는 MS DeepSpeed 팀에서 낸 논문에서 제시하는 방법론입니다. https://arxiv.org/abs/2401.08671 DeepSpeed-FastGen: High-throughput Text Generation for LLMs via MII and DeepSpeed-Inference The deployment and scaling of large language models (LLMs) have become critical as they permeate various applications, demanding high-throughput and low-latency.. 2024. 1. 22.
[ChatGPT] GPT Store(GPTs) 오픈, 리뷰 및 사용성 검토 GPT Store(GPTs)란? 다양한 GPT 빌더들을 사용할 수 있는, GPT Store(GPTs) 가 출시되었습니다. GPTs 는 간단히 말해, 앱스토어의 GPT 버전이라고 생각하면 될 것 같은데요, 누구나 GPT Builder를 이용해서 자신이 만든 GPT를 공개하고, 이를 스토어에 업로드해서 수익을 창출할 수 있습니다. 단, AWS의 Marketplace처럼 자체 모델을 업로드할 수 있는 구조는 아니며, 아래 기술된 것처럼 1) Instruction, 2) RAG, 3) Action 기능을 통해 “커스터마이징된 GPT”를 업로드하여 공유할 수 있는 구조입니다. 현재는 유료 사용자들에게 공개되어 있어서, 기능을 사용하려면 GPT Plus로 업그레이드를 해야 합니다. GPT Store는 여기 링크를 .. 2024. 1. 17.
반응형

티스토리툴바