반응형 분류 전체보기71 [LLM] LLM 기반 성능평가 논문 리서치 (LLM-based Evaluation) 이전글에 이어 LLM 기반으로 LLM이 생성한 요약문의 성능을 평가하기 위해서 최신 논문들을 리서치해 보았다. [이전글] : [LLM] LLM 텍스트 요약 평가 관련 + 논문 리뷰 [LLM] LLM 텍스트 요약 평가 관련 + 논문 리뷰 최근 LLM 모델을 활용한 요약이 BART나 T5 등 기존의 생성 요약 모델을 파인튜닝한 것보다, 심지어 사람이 요약한 것보다 더 좋다는 연구 결과가 나왔습니다. 그런데 이런 요약 모델의 성능 평가는 didi-universe.tistory.com LLM 기반 성능평가 관련 연구 동향 (2023) 1) Can Large Language Models Be an Alternative to Human Evaluations? https://arxiv.org/abs/2305.0193.. 2023. 12. 7. [NLP] Captum 라이브러리로 언어 모델 해석 LLM, sLLM이 화두가 되며 최근 회사에서도 이러한 LLM을 기반으로 한 서비스 개발에 관심이 많다. 확실히 language Generation Task에서는 LLM 기반 모델의 성능이 확실히 뛰어나지만, 비용이나 자원 이슈 등 여러가지 사항 때문에 이러한 거대언어모델을 모든 서비스에 적용을 하기는 현실적으로 어려운 상황이다. 따라서 분류 같은 간단한 task에서는 여전히 BERT나 ElECTRA 같은 PLM(Pre-trained Language Model)을 fine-tuning해서 문제를 해결하는 경우도 아직 많이 있다. 이처럼 사전 학습된 PLM 모델을 내가 원하는 task를 수행하기 위해 fine-tuning을 한 경우에, 모델이 잘 학습을 한 것인지? 어떤 부분을 보고 예측을 하는 건지? 모.. 2023. 12. 1. [서평] 결심이 필요한 순간들 - 러셀 로버츠 이 책은 결혼, 이직, 육아 등 인생을 살아가면서 마주치게 되는 중요한 결정들- 그러나 답이 없는 문제들-에 대해 어떻게 하면 현명한 의사결정을 내릴 수 있을까 하는 고민에서 시작된 책이다. 이 책의 저자인 러셀 로버츠라는 노벨상 수상자이자 세계적인 경제학자이다. 경제학자가 의사결정에 관해 쓴 책이라는 점이 좀 특이하다고 생각했다. 의사결정과 경제라, 기회비용, 매몰비용 등 선택과 관련한 경제적 개념이 없는 건 아니지만 다소 생소하게 느껴지기는 한다. 어느날 저자에게 “만약 중요한 것은 측정하기 어렵고, 측정 가능한 것은 엉뚱한 결론으로 이끈다면 우리는 어떻게 결정을 내려야 하나요?" 라는 트윗이 왔다고 한다. 그 순간 ‘답이 없는 문제들’에 대한 의사 결정법에 대해 고민을 하기 시작했고, 그 결과로 이.. 2023. 11. 23. [python] 폐쇄망 패키지 설치 에러 : transformers Installation Error - Failed building wheel for tokenizers 폐쇄망에 개발환경을 셋팅하다보면, 패키지 종속성이나 버전 문제가 자동으로 해결되지 않아 에러가 자주 발생한다.. 이번엔 transformers 3.2.0 버전이 필요해서 설치 하던 중 종속 패키지 중 하나인 tokenizers 패키지를 까는데, 아래 에러가 발생했다. ERROR: Failed building wheel for tokenizers Failed to build tokenizers ㅎㅎ.. 열심히 구글링 해 본 결과, 아래 명령어로 pip 를 업그레이드 한 후 재설치해보라는 얘기가 있었다. pip install --upgrade pip 하지만 해결되지 않아서 다시 찾아보니 tar.gz 파일로 된 패키지 설치 시 해당 에러가 발생하는 경우가 있는 것 같았다. 그래서 whl 파일로 바꿔서 다시 설.. 2023. 11. 22. 이전 1 ··· 5 6 7 8 9 10 11 ··· 18 다음 반응형
