반응형 전체 글64 [Python] Requests로 curl 명령어 API 호출하기 API를 호출할 때 curl 명령어가 많이 사용되지만, Python 스크립트 안에서 API를 호출해야 할 때는 requests 라이브러리를 사용하면 코드의 가독성과 재사용성이 훨씬 높아집니다. 오늘은 curl 명령어를 Python requests로 바꾸는 방법에 대해 알아보겠습니다. 1. curl 명령어의 기본 구조curl은 데이터를 전송하고 수신하기 위한 강력한 명령줄 도구로, API 호출에서 자주 사용됩니다.POST 요청을 보내기 위한 일반적인 curl 명령어는 다음과 같습니다:curl -X POST "https://api.example.com/data" \ -H "Content-Type: application/json" \ -H "Authorization: Bearer YOUR_API.. 2024. 11. 5. 티스토리 '오블완 챌린지' 소개 2024년 11월 7일부터 27일까지 티스토리에서는 매일 블로그 글쓰기를 도전하는 ‘오블완 챌린지’를 진행합니다. 글쓰기 능력을 키우기 위한 이 이벤트는 21일 동안 매일 포스팅하며, 참여 일수에 따라 다양한 상품 혜택이 주어집니다. 사전 이벤트로, 11월 6일까지 홍보 글을 작성하면 추첨을 통해 커피 쿠폰을 제공합니다. 자세한 정보와 참여 방법은 티스토리 공식 페이지에서 확인하세요: [오블완 챌린지 안내] 작심삼주 오블완 챌린지오늘 블로그 완료! 21일 동안 매일 블로그에 글 쓰고 글력을 키워보세요.www.tistory.com 2024. 11. 5. [LLM] Linux nvidia gpu 메모리 초기화 vLLM으로 LLM 모델을 하나 띄웠는데, 중단했는데 자꾸 GPU에 메모리가 잡혀 있는 현상 발생... 다른 모델 하나 더 띄우려고 하니까 OOM(Out of Memory) 에러나서 gpu를 점유하고 있는 프로세스를 종료하려고 했으나,nvidia-smi로 조회해도 PID가 조회가 안된다...ㅎㅎ 보통은 아래와 같이 내가 돌린 커맨드에 따라 실행중인 프로세스의 PID를 조회하고 해당 프로세스를 종료하면 되는데..ps -elf | grep [nohup, python, vllm 등 찾고자 하는 커맨드 키워드]kill -9 [PID] 아무리 찾아도 안나옴.심지어 학습을 돌린게 아니라서 torch.cuda.empty_cache(): 전혀 작동 안됨. 애초에 학습 혹은 테스트 코드 프로세스가 잡혀있지 않음. .. 2024. 10. 22. [NLP] Sentence Similarity (문장 간 유사도 계산)을 통한 Query paraphrasing 검수 배경 QA 데이터셋을 만들던 중,기간 내 목표 수량을 채우기 위해LLM으로 Query를 paraphrasing해 데이터를 증강하는 방식으로 데이터를 생성하게 되었다. Origical Query와 paraphrasing한 Query를 놓고 보니어느 정도는 유사해야 하지만 그렇다고 너무 유사하면 모델 학습에 의미가 없을 것 같았다. 그래서 paraphrasing한 Query를 검수하는 후처리 단계를 하나 추가해야 겠다고 생각했는데,2가지 방법 정도가 떠올랐다. LLM으로 paraphrasing한 Query를 검수하는 방법 1) 임베딩 모델을 통한 문장 유사도를 계산하고, 특정 treshold 범위를 정해서 해당 범위에 포함되는 쿼리만 사용2) LLM으로 검수 우선 1번을 시도해보았다. 임베딩 모델로는.. 2024. 9. 19. [LLM] ollama 사용하기 Ollama란?Ollama은 로컬 컴퓨터에서 실행할 수 있는 가벼운 확장 가능한 프레임워크다. 이 프레임워크는 언어 모델을 구축하고 실행하며 관리하기 위한 간단한 API를 제공하며, 미리 구축된 모델 라이브러리를 다양한 응용 프로그램에서 쉽게 사용할 수 있도록 한다. Ollama는 Llama 3.1, Mistral, Gemma 등 다양한 모델을 지원하며 CLI, REST API, 웹 및 데스크톱 통합을 제공한다. Ollama 공식 사이트에서 블로그, 깃헙을 보면 보다 자세한 내용을 확인할 수 있다. Ollama 공식 블로그 - https://ollama.com/blog Blog · OllamaGet up and running with large language models.ollama.com Ollam.. 2024. 8. 13. 이전 1 2 3 4 ··· 13 다음 반응형
