반응형 언어모델해석1 [NLP] Captum 라이브러리로 언어 모델 해석 LLM, sLLM이 화두가 되며 최근 회사에서도 이러한 LLM을 기반으로 한 서비스 개발에 관심이 많다. 확실히 language Generation Task에서는 LLM 기반 모델의 성능이 확실히 뛰어나지만, 비용이나 자원 이슈 등 여러가지 사항 때문에 이러한 거대언어모델을 모든 서비스에 적용을 하기는 현실적으로 어려운 상황이다. 따라서 분류 같은 간단한 task에서는 여전히 BERT나 ElECTRA 같은 PLM(Pre-trained Language Model)을 fine-tuning해서 문제를 해결하는 경우도 아직 많이 있다. 이처럼 사전 학습된 PLM 모델을 내가 원하는 task를 수행하기 위해 fine-tuning을 한 경우에, 모델이 잘 학습을 한 것인지? 어떤 부분을 보고 예측을 하는 건지? 모.. 2023. 12. 1. 이전 1 다음 반응형
