ollama 리눅스 버전 오프라인 설치

인터넷이 연결되어 있지 않은 리눅스 PC에서 ollama를 설치하고 싶을 경우(오프라인 설치), ollama 홈페이지에 제시된 설치 스크립트 install.sh(관련 내용은 이전 게시물을 참고하자. 여기에)를 사용할 수 없다. 따라서 인터넷이 연결된 PC에서 설치 파일을 다운로드해서 옮긴 후에 압축을 풀어서 사용해야 한다. 설치 파일은 아래의 링크에서 받을 수 있다.

https://github.com/ollama/ollama/releases

리눅스용 파일은 ollama-linux-amd64.tgz이다. 이 파일을 받아서 압축을 푼다. 예를 들어 압축을 푼 디렉토리가 ~/ollama라고 하면, 하위에 bin, lib, 이렇게 2개의 디렉토리가 생기는데 bin 디렉토리 하위에 있는 실행 파일(ollama)로 실행하면 된다.

mkdir ~/ollama
tar xzf ollama-linux-amd64.tgz -C ~/ollama

설치 스크립트를 이용할 경우 systemd에 ollama가 서비스로 등록되어 자동으로 실행되지만, 여기서는 압축만 해제했으므로 터미널창에서 직접 실행해 준다.

cd ~/ollama/bin
./ollama serve

위와 같이 실행하면 ollama 웹서버가 실행된다. 제대로 실행되고 있는지는 웹브라우저로 http://localhost:11434에 접속해 보면 "Ollama is running"이라는 메시지가 출력될 것이다. AI 모델(LLM)은 ~/.ollama/models 디렉토리에 저장된다.

이제 다른 터미널창을 하나 더 실행해서 사용하면 되겠다. 예를 들어 "mistral" 모델을 사용하고 싶다면 터미널창에서 아래와 같이 할 수 있겠다.  

cd ~/ollama/bin

# AI 모델 목록 확인
./ollama list

# AI 모델 "mistral" 다운로드
./ollama pull mistral:latest

# AI 모델 실행
./ollama run mistral:latest