리눅스 민트 22 XFCE에서 ollama 설치 및 LLM 구동

 

ollama는 노트북이나 PC에 거대언어모델(large language model, LLM)을 직접 설치해서 구동할 수 있게 해주는 S/W다. 공식 웹사이트는 아래의 링크다.

https://ollama.com/

ollama를 설치해서 LLM을 추가하면 인터넷에 연결하지 않아도 자체적으로 AI(인공지능) 챗봇과 대화를 할 수 있다. 한가지 생각할 점은 CPU로 LLM을 구동할 경우 속도가 너무 느리기 때문에 엔비디아 GPU를 장착하고 있어야 원활하게 사용 가능.

 

얼마전에 구입한 레노버 LOQ-e 15IAX9E 노트북이 엔비디아 RTX4050 GPU를 탑재하고 있어서 여기에 설치했다.

운영체제로 우분투 계열 배포판인 리눅스 민트(linux mint) 22 XFCE를 사용하고 있어서 공식 웹사이트에 나온 대로 설치 스크립트를 실행해서 진행. 터미널창에서 아래와 같이 입력했다.

curl -fsSL https://ollama.com/install.sh | sh

설치가 완료되면 ollama가 systemd 서비스로 추가된다. 필요할 때만 사용할 것이라 굳이 항상 자동실행할 필요는 없어서 아래와 같이 자동 실행을 비활성화했다.

# ollama 서비스 구동 여부 확인
systemctl status ollama

# 서비스 정지
sudo systemctl stop ollama

# 자동 실행 비활성화
sudo systemctl disable ollama

필요할 때는 아래와 같이 실행해서 구동하면 된다.

# ollama 서비스 실행
sudo systemctl start ollama

이제 AI 챗봇의 기반이 되는 LLM을 다운로드해서 설치해야 한다. 어떤 AI 모델이 있는지는 ollama 웹사이트에서 확인할 수 있다. 아래의 링크로 가면 되겠다.

https://ollama.com/search

노트북의 VRAM이 6GB이므로 규모가 큰 모델은 사용이 어렵고 매개변서 70억개(7b) 이하 정도는 구동 가능하다. 요즘 화제가 된 딥시크(deepseek) 모델도 있다. 매개변수 70억개짜리 모델은 아래와 같이 ollama pull 명령으로 다운로드하면 된다.

# deepseek-r1:7b 다운로드
ollama pull deepseek-r1:7b

# 현재 다운로드한 모델 목록 확인
ollama list

실행은 ollama run 명령으로 한다. 터미널창에서 챗봇이 구동되어 대화를 할 수 있다.

# deepseek-r1:7b 실행
ollama run deepseek-r1:7b

딥시크-r1은 질문에 대해 답변을 생성할 때 해당 답변을 도출한 경위에 대한 설명을 같이 생성해 준다. 상당히 흥미로운데 때로는 말이 너무 많다는 느낌이 들기도 한다.

어쨌든 개인정보를 넘길 필요 없이 내 PC 안에서 챗봇을 사용할 수 있는 것은 장점이고, GPU 사양에 따라 실행 가능한 LLM이 제한된다는 점은 감안해야 하겠다.

만약 모델을 삭제하려면 ollama rm 명령을 이용한다. 

# deepseek-r1:7b 삭제
ollama rm deepseek-r1:7b