반응형 AI42 [LLM] Linux nvidia gpu 메모리 초기화 vLLM으로 LLM 모델을 하나 띄웠는데, 중단했는데 자꾸 GPU에 메모리가 잡혀 있는 현상 발생... 다른 모델 하나 더 띄우려고 하니까 OOM(Out of Memory) 에러나서 gpu를 점유하고 있는 프로세스를 종료하려고 했으나,nvidia-smi로 조회해도 PID가 조회가 안된다...ㅎㅎ 보통은 아래와 같이 내가 돌린 커맨드에 따라 실행중인 프로세스의 PID를 조회하고 해당 프로세스를 종료하면 되는데..ps -elf | grep [nohup, python, vllm 등 찾고자 하는 커맨드 키워드]kill -9 [PID] 아무리 찾아도 안나옴.심지어 학습을 돌린게 아니라서 torch.cuda.empty_cache(): 전혀 작동 안됨. 애초에 학습 혹은 테스트 코드 프로세스가 잡혀있지 않음. .. 2024. 10. 22. [NLP] Sentence Similarity (문장 간 유사도 계산)을 통한 Query paraphrasing 검수 배경 QA 데이터셋을 만들던 중,기간 내 목표 수량을 채우기 위해LLM으로 Query를 paraphrasing해 데이터를 증강하는 방식으로 데이터를 생성하게 되었다. Origical Query와 paraphrasing한 Query를 놓고 보니어느 정도는 유사해야 하지만 그렇다고 너무 유사하면 모델 학습에 의미가 없을 것 같았다. 그래서 paraphrasing한 Query를 검수하는 후처리 단계를 하나 추가해야 겠다고 생각했는데,2가지 방법 정도가 떠올랐다. LLM으로 paraphrasing한 Query를 검수하는 방법 1) 임베딩 모델을 통한 문장 유사도를 계산하고, 특정 treshold 범위를 정해서 해당 범위에 포함되는 쿼리만 사용2) LLM으로 검수 우선 1번을 시도해보았다. 임베딩 모델로는.. 2024. 9. 19. [LLM] ollama 사용하기 Ollama란?Ollama은 로컬 컴퓨터에서 실행할 수 있는 가벼운 확장 가능한 프레임워크다. 이 프레임워크는 언어 모델을 구축하고 실행하며 관리하기 위한 간단한 API를 제공하며, 미리 구축된 모델 라이브러리를 다양한 응용 프로그램에서 쉽게 사용할 수 있도록 한다. Ollama는 Llama 3.1, Mistral, Gemma 등 다양한 모델을 지원하며 CLI, REST API, 웹 및 데스크톱 통합을 제공한다. Ollama 공식 사이트에서 블로그, 깃헙을 보면 보다 자세한 내용을 확인할 수 있다. Ollama 공식 블로그 - https://ollama.com/blog Blog · OllamaGet up and running with large language models.ollama.com Ollam.. 2024. 8. 13. [AWS Certified Machine Learning Specialty - 2024] 시험 준비에 도움이 되는 사이트들 https://www.udemy.com/course/aws-machine-learning/?couponCode=ST10MT8624시험 준비 팁 & 후기 블로그https://mateon.tistory.com/91 세달 동안 AWS Certification 3개 딴 썰 풉니다 (시험 후기, 합격 꿀팁, SAA-C03, DAS-C01, MLS-C01)2023 8월 7일부터 11월 1일까지 획득한 Badge 목록! 👉 서론 사실 이전에는 이러한 Certification이 큰 의미를 가지고 있는지 회의감을 느끼고 있었습니다. 필요성을 잘 모르기도 했고, 업무에 큰 도움이velog.iohttps://jae-eun-ai.tistory.com/13 AWS Certified Machine Learning Special.. 2024. 8. 8. 이전 1 2 3 4 ··· 11 다음 반응형
