반응형 AI/LLM17 [Table MRC] 다양한 형태의 테이블 데이터 활용 개요좀 더 복잡하고 다양한 포맷의 테이블 데이터 확보/생성포맷 : 마크다운/ HTML표 형태 : 병합, 표 안의 표 등등1) 포맷기본적으로 테이블 데이터의 형태는 크게 마크다운과 마크업 (HTML)으로 나뉨.마크다운 ? HTML?마크다운은 기본적으로 셀 병합이나 표 안의 표(중첩 테이블) 같은 복잡한 구조를 직접 지원하지 않음. 하지만HTML 태그를 함께 사용하거나데이터를 여러 행으로 나누어 표현하는 방식등으로 어느 정도 해결할 수 있음📌 마크다운 vs HTML 비교 (LLM 관점) 포맷이해하기 쉬움구조 분석복잡한 테이블 지원요약 작업 적합성Markdown✅ 쉬움✅ 간단한 행/열 구조❌ 제한적 (병합, 중첩 불가)✅ 요약하기 좋음HTML❌ 상대적으로 어려움✅ 강력한 구조 표현✅ 병합, 중첩 가능❌ 코드.. 2025. 2. 18. [LLM] Linux nvidia gpu 메모리 초기화 vLLM으로 LLM 모델을 하나 띄웠는데, 중단했는데 자꾸 GPU에 메모리가 잡혀 있는 현상 발생... 다른 모델 하나 더 띄우려고 하니까 OOM(Out of Memory) 에러나서 gpu를 점유하고 있는 프로세스를 종료하려고 했으나,nvidia-smi로 조회해도 PID가 조회가 안된다...ㅎㅎ 보통은 아래와 같이 내가 돌린 커맨드에 따라 실행중인 프로세스의 PID를 조회하고 해당 프로세스를 종료하면 되는데..ps -elf | grep [nohup, python, vllm 등 찾고자 하는 커맨드 키워드]kill -9 [PID] 아무리 찾아도 안나옴.심지어 학습을 돌린게 아니라서 torch.cuda.empty_cache(): 전혀 작동 안됨. 애초에 학습 혹은 테스트 코드 프로세스가 잡혀있지 않음. .. 2024. 10. 22. [LLM] ollama 사용하기 Ollama란?Ollama은 로컬 컴퓨터에서 실행할 수 있는 가벼운 확장 가능한 프레임워크다. 이 프레임워크는 언어 모델을 구축하고 실행하며 관리하기 위한 간단한 API를 제공하며, 미리 구축된 모델 라이브러리를 다양한 응용 프로그램에서 쉽게 사용할 수 있도록 한다. Ollama는 Llama 3.1, Mistral, Gemma 등 다양한 모델을 지원하며 CLI, REST API, 웹 및 데스크톱 통합을 제공한다. Ollama 공식 사이트에서 블로그, 깃헙을 보면 보다 자세한 내용을 확인할 수 있다. Ollama 공식 블로그 - https://ollama.com/blog Blog · OllamaGet up and running with large language models.ollama.com Ollam.. 2024. 8. 13. [RAG] RAG 벤치마크 데이터셋 & 성능 평가 리뷰 : RAG-Evaluation-Dataset-KO 개요 한국어 RAG 솔루션 성능 평가를 위해 RAG 벤치마크 데이터셋과 평가 관련 리서치를 진행,올거나이즈에서 운영중인 RAG 리더보드에서 사용하는 벤치마크 데이터셋을 찾게 되었다. https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-KO allganize/RAG-Evaluation-Dataset-KO · Datasets at Hugging Face미국, 중국, 한국의 주식 시장에 대한 성과 및 선호도의 예상 순서는 다음과 같은 요소를 기반으로 할 수 있습니다. 이러한 예상은 각 국의 경제 상황, 시장의 성숙도, 정치적 안정성, 기술 혁신,huggingface.co 해당 벤치마크 데이터셋과 제공하는 LLM 기반 자동평가 코드를 사용하면 리.. 2024. 7. 16. 이전 1 2 3 4 5 다음 반응형
