반응형 AI/LLM16 [LLM] Linux nvidia gpu 메모리 초기화 vLLM으로 LLM 모델을 하나 띄웠는데, 중단했는데 자꾸 GPU에 메모리가 잡혀 있는 현상 발생... 다른 모델 하나 더 띄우려고 하니까 OOM(Out of Memory) 에러나서 gpu를 점유하고 있는 프로세스를 종료하려고 했으나,nvidia-smi로 조회해도 PID가 조회가 안된다...ㅎㅎ 보통은 아래와 같이 내가 돌린 커맨드에 따라 실행중인 프로세스의 PID를 조회하고 해당 프로세스를 종료하면 되는데..ps -elf | grep [nohup, python, vllm 등 찾고자 하는 커맨드 키워드]kill -9 [PID] 아무리 찾아도 안나옴.심지어 학습을 돌린게 아니라서 torch.cuda.empty_cache(): 전혀 작동 안됨. 애초에 학습 혹은 테스트 코드 프로세스가 잡혀있지 않음. .. 2024. 10. 22. [LLM] ollama 사용하기 Ollama란?Ollama은 로컬 컴퓨터에서 실행할 수 있는 가벼운 확장 가능한 프레임워크다. 이 프레임워크는 언어 모델을 구축하고 실행하며 관리하기 위한 간단한 API를 제공하며, 미리 구축된 모델 라이브러리를 다양한 응용 프로그램에서 쉽게 사용할 수 있도록 한다. Ollama는 Llama 3.1, Mistral, Gemma 등 다양한 모델을 지원하며 CLI, REST API, 웹 및 데스크톱 통합을 제공한다. Ollama 공식 사이트에서 블로그, 깃헙을 보면 보다 자세한 내용을 확인할 수 있다. Ollama 공식 블로그 - https://ollama.com/blog Blog · OllamaGet up and running with large language models.ollama.com Ollam.. 2024. 8. 13. [RAG] RAG 벤치마크 데이터셋 & 성능 평가 리뷰 : RAG-Evaluation-Dataset-KO 개요 한국어 RAG 솔루션 성능 평가를 위해 RAG 벤치마크 데이터셋과 평가 관련 리서치를 진행,올거나이즈에서 운영중인 RAG 리더보드에서 사용하는 벤치마크 데이터셋을 찾게 되었다. https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-KO allganize/RAG-Evaluation-Dataset-KO · Datasets at Hugging Face미국, 중국, 한국의 주식 시장에 대한 성과 및 선호도의 예상 순서는 다음과 같은 요소를 기반으로 할 수 있습니다. 이러한 예상은 각 국의 경제 상황, 시장의 성숙도, 정치적 안정성, 기술 혁신,huggingface.co 해당 벤치마크 데이터셋과 제공하는 LLM 기반 자동평가 코드를 사용하면 리.. 2024. 7. 16. [RAG] LLM-based Query Rewriting 논문 리뷰 (1) Enhancing Conversational Search: Large Language Model-Aided Informative Query Rewriting https://arxiv.org/abs/2310.09716 Enhancing Conversational Search: Large Language Model-Aided Informative Query RewritingQuery rewriting plays a vital role in enhancing conversational search by transforming context-dependent user queries into standalone forms. Existing approaches primarily leverage human-rewritten queries as labels to train query rewriting models. However, harxiv.org 요약 본 논문은 LLM.. 2024. 5. 8. 이전 1 2 3 4 다음 반응형
