반응형 Programming7 [Error] 허깅페이스 lfs 모델 다운로드 에러 : connectionerror httpsconnectionpool(host='cdn-lfs-us-1.huggingface.co' port=443) Orion-14B 모델 성능이 LLaMA2 13B 보다 좋다길래, inference test를 해보려고 했다. https://huggingface.co/OrionStarAI/Orion-14B-Base OrionStarAI/Orion-14B-Base · Hugging Face Orion-14B Table of Contents 1. Model Introduction Orion-14B series models are open-source multilingual large language models trained from scratch by OrionStarAI. The base model is trained on 2.5T multilingual corpus, including Chinese, English,.. 2024. 4. 2. [python] 폐쇄망 패키지 설치 에러 : transformers Installation Error - Failed building wheel for tokenizers 폐쇄망에 개발환경을 셋팅하다보면, 패키지 종속성이나 버전 문제가 자동으로 해결되지 않아 에러가 자주 발생한다.. 이번엔 transformers 3.2.0 버전이 필요해서 설치 하던 중 종속 패키지 중 하나인 tokenizers 패키지를 까는데, 아래 에러가 발생했다. ERROR: Failed building wheel for tokenizers Failed to build tokenizers ㅎㅎ.. 열심히 구글링 해 본 결과, 아래 명령어로 pip 를 업그레이드 한 후 재설치해보라는 얘기가 있었다. pip install --upgrade pip 하지만 해결되지 않아서 다시 찾아보니 tar.gz 파일로 된 패키지 설치 시 해당 에러가 발생하는 경우가 있는 것 같았다. 그래서 whl 파일로 바꿔서 다시 설.. 2023. 11. 22. [Pandas] Pandas Cheat Sheet (판다스 치트시트) 데이터 분석에서 정~~~~말 많이 쓰이는 파이썬 라이브러리 판다스. 판다스에서 자주 쓰이는 기능들을 정리해둔 2장짜리 이미지를 치트시트라고 한다. Pandas cheat sheet 원문은 다음과 같다. https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf 2023. 4. 4. [python] 문자열을 list나 dictionary 타입으로 변환 : ast.literal_eval csv로 저장한 데이터를 데이터프레임으로 읽어들이면 list나 dictionary 타입의 데이터들이 str 타입의 문자열 데이터로 바뀌어져 있는 경우가 있다. 이 경우 사용하면 좋은 파이썬 함수가 바로 ast 라이브러리의 literal_eval 이다. literal_eval() 함수를 사용하기 위해서는 먼저 ast 라이브러리를 import 해야한다. 사용 예시 코드는 아래와 같다. import ast import pandas as pd df = pd.read_csv("데이터.csv") print(df.sample[0]) >> "['이것은', '샘플', '문장입니다.']" type(df.sample[0]) >> str sample_list = ast.literal_eval(df.sample[0]) # sa.. 2022. 10. 28. 이전 1 2 다음 반응형
