nVidia GPU를 2개 이상 장착한 리눅스 서버에서 ollama 사용 GPU 고정

GPU가 2개 이상일 경우 ollama 서버 프로세스를 특정 GPU에 고정 할당할 수 있다. 리눅스에서 엔비디아 GPU 사양과 개수는 터미널창에서 nvidia-smi 명령으로 확인하면 된다.

nvidia-smi

GPU 번호는 0번부터 시작한다. 예를 들어 GPU가 2개라면 0번, 1번 이렇게 있을 것이다.

설치 스크립트를 이용해서 ollama를 설치하면 기본적으로 systemd에 서비스로 등록된다. 관련 내용은 이전 게시물을 참고하자. 여기로. 만약 ollama에서 첫번째 GPU(0번)를 고정적으로 사용하고 싶다면 systemd에 등록된 ollama 서비스 설정에 CUDA_VISIBLE_DEVICES 환경 변수를 지정해 준다. 루트 권한으로 설정 파일을 편집.

sudo vi /etc/systemd/system/ollama.service

여기서 "[Services]" 항목에 아래의 내용을 추가한다. GPU 0번만 사용하도록 지정하기 위한 것이다.

Environment="CUDA_VISIBLE_DEVICES=0"

설정 파일을 저장하고 서비스를 다시 시작.

sudo systemctl restart ollama

만약 설치 스크립트를 이용하지 않고 파일을 다운로드해서 ollama를 설치한 경우에는(관련 내용은 이전 게시물을 참고하자. 여기로) 터미널창에서 실행할 때 환경 변수를 지정해 주면 되겠다. 예를 들어 ~/ollama 디렉토리에 설치했다면 아래와 같이 하면 될 것이다.

cd ~/ollama/bin
CUDA_VISIBLE_DEVICES=0 ./ollama serve