[NLP] 허깅페이스 모델 캐시 확인하기

앞선 글에서 Orion-14B를 테스트해보려고 하는데, 계속 Connection Error가 나서 resume_download 옵션을 줘서 해결했었다.

 

이전글 : 

[Error] 허깅페이스 lfs 모델 다운로드 에러 : connectionerror httpsconnectionpool(host='cdn-lfs-us-1.huggingface.co'

 

모델 파일이 잘 저장되고 있는지 확인해보고 싶다면 다음과 같이 확인해 볼 수 있다.

 

우선 허깅페이스 모델이 저장되어 있는 경로에서, 모델 파일의 용량을 확인해 보면 되는데

 

 

허깅페이스에서 모델을 저장할 때 따로 캐시 경로를 지정해주지 않으면 

root 밑에 .cashe/huggingface/hub 경로에 모델 파일이 저장된다.

 

따라서 모델이 잘 저장되고 있는지 확인할 때, 혹은 저장된 모델을 확인하고 싶을 때 는 아래 경로에서 용량을 체크해보면 된다.

 

 

커맨드 창에 아래 명령어를 쳐서 허깅페이스 캐시를 확인해보자.

du -sh [확인할 모델 파일명]

 

 

models--OrioStarAI--Orion-14B-Chat 모델의 크기가 128k에서 9.3G로 증가한 것이 확인되었다.

잘 다운로드 되고 있다!