반응형 Programming10 [python] 폐쇄망 패키지 설치 에러 : transformers Installation Error - Failed building wheel for tokenizers 폐쇄망에 개발환경을 셋팅하다보면, 패키지 종속성이나 버전 문제가 자동으로 해결되지 않아 에러가 자주 발생한다.. 이번엔 transformers 3.2.0 버전이 필요해서 설치 하던 중 종속 패키지 중 하나인 tokenizers 패키지를 까는데, 아래 에러가 발생했다. ERROR: Failed building wheel for tokenizers Failed to build tokenizers ㅎㅎ.. 열심히 구글링 해 본 결과, 아래 명령어로 pip 를 업그레이드 한 후 재설치해보라는 얘기가 있었다. pip install --upgrade pip 하지만 해결되지 않아서 다시 찾아보니 tar.gz 파일로 된 패키지 설치 시 해당 에러가 발생하는 경우가 있는 것 같았다. 그래서 whl 파일로 바꿔서 다시 설.. 2023. 11. 22. [Pandas] Pandas Cheat Sheet (판다스 치트시트) 데이터 분석에서 정~~~~말 많이 쓰이는 파이썬 라이브러리 판다스. 판다스에서 자주 쓰이는 기능들을 정리해둔 2장짜리 이미지를 치트시트라고 한다. Pandas cheat sheet 원문은 다음과 같다. https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf 2023. 4. 4. [python] 문자열을 list나 dictionary 타입으로 변환 : ast.literal_eval csv로 저장한 데이터를 데이터프레임으로 읽어들이면 list나 dictionary 타입의 데이터들이 str 타입의 문자열 데이터로 바뀌어져 있는 경우가 있다. 이 경우 사용하면 좋은 파이썬 함수가 바로 ast 라이브러리의 literal_eval 이다. literal_eval() 함수를 사용하기 위해서는 먼저 ast 라이브러리를 import 해야한다. 사용 예시 코드는 아래와 같다. import ast import pandas as pd df = pd.read_csv("데이터.csv") print(df.sample[0]) >> "['이것은', '샘플', '문장입니다.']" type(df.sample[0]) >> str sample_list = ast.literal_eval(df.sample[0]) # sa.. 2022. 10. 28. [python] 폐쇄망에 개발환경 셋팅하기 1. python venv 를 활용해 가상환경에 필요한 라이브러리 설치 $pip freeze > requierments.txt 로 저장하면 패키지 리스트가 작성됨 2. 설치파일 다운로드를 위해서는 pip download 활용 $cd [다운로드할 경로] $pip download -r ../ke-t5-main/requirements.txt 2022. 8. 16. 이전 1 2 3 다음 반응형
