[LLM] ollama 사용하기

 

 

Ollama란?

Ollama은 로컬 컴퓨터에서 실행할 수 있는 가벼운 확장 가능한 프레임워크다.

 

이 프레임워크는 언어 모델을 구축하고 실행하며 관리하기 위한 간단한 API를 제공하며, 미리 구축된 모델 라이브러리를 다양한 응용 프로그램에서 쉽게 사용할 수 있도록 한다.

 

Ollama는 Llama 3.1, Mistral, Gemma 등 다양한 모델을 지원하며 CLI, REST API, 웹 및 데스크톱 통합을 제공한다.

 

Ollama 공식 사이트에서 블로그, 깃헙을 보면 보다 자세한 내용을 확인할 수 있다.

 

 

Ollama 공식 블로그 - https://ollama.com/blog

Blog · Ollama

 

Ollama 공식 깃헙 - https://github.com/ollama/ollama

GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

 

 

Ollama 설치 방법

Ollama를 사용하려면 먼저 공식 웹사이트에 접속하여 다운로드해야 한다.

현재는 Mac OS, Linux, 윈도우를 지원하는데, 다운로드 및 설치 후 커맨드 라인에서 Ollama를 실행할 수 있게 된다.

 

https://ollama.com/download

Download Ollama on macOS

 

리눅스는 간단하게 아래 커맨드로 설치가 가능하다.

 

curl -fsSL https://ollama.com/install.sh | sh

 

 

 

설치가 잘 되었는지 보려면 커맨드로 "ollma"를  입력해보면 된다.

정싱작으로 설치가 되었다면 아래와 같이 나온다.

 

 

 

Ollama 사용법

 

우선 설치를 완료했다면, 바로 모델을 다운로드 받아서 사용할 수 있다.

 

llama 3.1을 이용하려고 한다면, 아래 명령어를 통해 모델을 run하고 chat 해볼 수 있다.

 

llm 실행(테스트)

ollama run llama3.1

 

 

llm 다운로드

 

pull 명령어로 모델을 다운로드 받을 수 있다.

 

ollama pull llama3.1

 

 

 

만약 폐쇄망의 환경이라던가, 모종의 이유로 ollama app에 connect되지 않았다는 에러가 발생한다면, 

아래 명령어로 직접 ollama 서버를 실행시켜주면 된다.

 

 

ollama 서버 실행

ollama serve

 

 

key를 생성하고 그뒤로 서버가 실행되는 모습이다.

가용 GPU 메모리와 기타 정보가 나온다.

 

 

 

 

나는 exaone 3.0 GGUF 양자화 모델 (exaone-3.0-7.8B-it-Q5_K_M.gguf) 을 ollama로 변환한 모델로 테스트를 해보았다.

 

https://ollama.com/jmpark333/exaone

jmpark333/exaone

 

 

 

run을 하고 난 뒤, 모델에 대한 각종 정보가 서버쪽 로그가 남는다.

 

 

vocab에 대한 정보도 로그에 찍힌다.

 

 

 

아래는 모델 run 및 chat 한 결과.

 

 

 

다솜이는 누구지...?

 

 

 

보다 자세한 내용은 아래 블로그 참고.

https://bab-dev-study.tistory.com/67

Ollama 사용가이드