반응형 전체 글61 [RAG] RAG 벤치마크 데이터셋 & 성능 평가 리뷰 : RAG-Evaluation-Dataset-KO 개요 한국어 RAG 솔루션 성능 평가를 위해 RAG 벤치마크 데이터셋과 평가 관련 리서치를 진행,올거나이즈에서 운영중인 RAG 리더보드에서 사용하는 벤치마크 데이터셋을 찾게 되었다. https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-KO allganize/RAG-Evaluation-Dataset-KO · Datasets at Hugging Face미국, 중국, 한국의 주식 시장에 대한 성과 및 선호도의 예상 순서는 다음과 같은 요소를 기반으로 할 수 있습니다. 이러한 예상은 각 국의 경제 상황, 시장의 성숙도, 정치적 안정성, 기술 혁신,huggingface.co 해당 벤치마크 데이터셋과 제공하는 LLM 기반 자동평가 코드를 사용하면 리.. 2024. 7. 16. [Error] nohup 안됨 - MPIrun 리눅스 Triton Server에서 nohup으로 모델을 띄워놨는데, VScode 창을 닫으면 (종료하면) 계속 모델이 죽는 문제가 발생. nohup이 자꾸 안되서... 이것저것 시도해봤는데 결국 아래와 같이 해결했다. 전체 스크립트를 괄호로 감싸면 된다!(CUDA_VISIBLE_DEVICES=0 nohup mpirun -n 1 blahblah &) https://stackoverflow.com/questions/48296285/nohup-does-not-work-mpirun nohup "does not work" MPIrunI am trying to use the "nohup" command to avoid killing a background process when exiting the termi.. 2024. 6. 4. [RAG] LLM-based Query Rewriting 논문 리뷰 (1) Enhancing Conversational Search: Large Language Model-Aided Informative Query Rewriting https://arxiv.org/abs/2310.09716 Enhancing Conversational Search: Large Language Model-Aided Informative Query RewritingQuery rewriting plays a vital role in enhancing conversational search by transforming context-dependent user queries into standalone forms. Existing approaches primarily leverage human-rewritten queries as labels to train query rewriting models. However, harxiv.org 요약 본 논문은 LLM.. 2024. 5. 8. [LLM] 왔다, LLaMA3! 드디어 LLaMA3가 나왔습니다. LLaMA3라서 라마 3마리를.... 은근 귀엽네요 ㅋㅋㅋ 근데 왜 도박을 하고 있을까요? 뭔가 의미가 있나? LLM 판을 뒤집어 버리시겠따...? 잭팟을 터트리려나 봅니다 ㅋㅋㅋ 무튼 전작에 이어 이번에도 오픈소스로 공개했고, 깃헙에서 확인할 수 있습니다. https://github.com/meta-llama/llama3 GitHub - meta-llama/llama3: The official Meta Llama 3 GitHub site The official Meta Llama 3 GitHub site. Contribute to meta-llama/llama3 development by creating an account on GitHub. github.com 프롬프.. 2024. 4. 19. [한국어 LLM 벤치마크] Korean MT-bench score 계산하기 (2) [이전글] : [한국어 LLM 벤치마크] Korean MT-bench score 계산하기 (1) [한국어 LLM 벤치마크] Korean MT-bench score 계산하기 (1) 한국어 LLM 리더보드인 호랑이에 대해 리뷰를 진행해보고, 외부 오픈소스 모델 및 내부 사내 자체 개발 모델에 대해 평가를 진행해보기로 결정! 호랑이 한국어 LLM 리더보드에 대한 소개는 아래 didi-universe.tistory.com 이전 글에 이어서 직접 코드를 수정하고 평가해본 결과를 살펴보자. 전체 코드는 아래 깃헙 레포에 정리해 두었다. https://github.com/ai-yeongji/ko_llm_eval/tree/main?tab=readme-ov-file GitHub - ai-yeongji/ko_llm_eva.. 2024. 4. 15. 이전 1 2 3 4 5 ··· 13 다음 반응형
