반달가면 [B-Side]

ollama에서 구동한 AI 언어모델(LLM)의 파라메터를 조회하고 변경하는 방법이다. 우선 모델을 구동한다. 

# qwen3.5:9b 모델 구동 
ollama run qwen3.5:9b

실행중인 모델의 파라메터를 조회하려면 아래와 같이 입력.

/show parameters

출력 예시는 아래와 같다. 

Model defined parameters:
  temperature                    1
  top_k                          20
  top_p                          0.95
  presence_penalty               1.5

예를 들어 temperature 값을 0.7로 변경하고 싶다면 아래와 같이 입력. 

/set parameter temperature 0.7

파라메터(parameter)의 단수/복수에 유의하자. /show 명령에서는 복수(parameters)이고 /set 명령에서는 단수(parameter)임에 유의.

굳이 파라메터 기본값을 바꿀 필요가 없는 경우가 대부분이긴 할 것 같으나, qwen3.5의 경우 사고/생각(think) 기능이 있는 모델이기 때문에 프롬프트를 입력하면 사고 과정을 거친 후에 답변을 출력한다. 파라메터 기본값은 이것을 기준으로 설정되어 있다. 만약 사고 과정 없이 즉시 답변하도록 사고/생각 과정이 없는 "nothink" 모드를 설정할 경우, temperature 값을 낮추는 것이 좀 더 낫다고 한다. temperature가 높으면 답변의 무작위성/창의성이 증가하는데, think 모드에서는 사고 과정이 있기 때문에 무작위성 증가에 따른 오류 가능성이 어느 정도 감소하는 것 같고, nothink 모드에서는 정확성/일관성 측면에서 무작위성을 좀 줄이는 것이 더 나은 모양이다. 이런 이유 때문에 프롬프트의 성격에 따라 파라메터 값을 조정하면 좀 더 나은 결과를 얻을 수 있는 것으로 보인다. 나머지 top_k, top_p, presence_penalty 등도 영향이 있긴 하겠으나 temperature의 영향이 주요한 것 같다. 

qwen3.5:9b의 경우 권장되는 temperature 값은 아래와 같다. 나머지 파라메터들은 기본값을 유지하면 될 듯. 

think 모드에서 일반작업: temperature 1

think 모드에서 코딩: temperature 0.6

nothink 모드에서 일반작업: temperature 0.7

qwen3.5:9b에서 nothink 모드를 사용한다면 temperature 값도 낮춰주면 좀 더 답변 품질이 나아질 가능성이 있다. 모델 실행후 아래와 같이 입력.

/set nothink
/set paramter temperature 0.7

주변에 기흉(pneumothorax) 환자가 생각보다 많다는 것을 최근에 알게 되었다. 폐에 구멍이 생겨서 폐가 찌그러지고 빈 공간에 공기가 차는 질환이다. 흡연과 연관성이 크다고 하는데, 최근에 알게 된 것은 담배를 피지 않는 키 크고 마른 청소년에게도 갑자기 나타나는 경우가 의외로 종종 있다는 것이다. 마른 아이가 갑자기 크면서 폐쪽에 문제가 생기는 것 같다는 얘기도 들었다.

기슝의 정도가 약하면 산소를 공급하는 치료를 하고 좀 더 심하면 가슴에 관을 꽂아서(흉관 삽입) 공기를 빼낸다. 재발하면 통상 수술을 해서 치료한다는데, 생각보다 재발이 상당히 많고, 수술을 했는데도 재발하는 경우도 있는 모양이다. 수술을 할 경우엔 재발률이 낮아진다고는 하는데, 주변 얘기를 들어보면 수술만 두세번씩 한 경우도 있어서 사람마다 사례마다 다른 모양이다.

왜 그럴까 좀 생각해 보았는데, 일단 내 생각은 이렇다.

치료를 해서 폐를 다시 확장시키고 구멍이 난 곳이 아물었다. 그런데 시간이 좀 지나면 다시 폐 어딘가에 구멍이 생긴다는 얘기다. 이것은 환자가 생활하는 환경이나 습관중에 폐에 악영향을 주는 요소가 있을 가능성을 시사한다. 문제가 생긴 곳에 조치를 취해도 문제를 유발하는 요인이 지속적으로 작용하고 있어서 다시 문제가 발생하는 것으로 보인다.

키 크고 마른 청소년에게 많이 발생한다는 점을 생각해 볼 때, 아마도 가장 큰 요인은 심한 편식이나 가공식품 섭취가 많은 것 때문이 아닐까 싶다. 키가 크면서 당연히 내장 기관도 확장될텐데 이 과정에서 필요한 재료들이 충분히 공급되지 못하면서 폐의 특정 부분이 약화되거나 문제가 발생하는 것 같다. 고기, 달걀 등 단백질이 풍부한 음식을 골고루 챙겨 먹지 않고 입에 맛있는 것들만 먹고 빵, 과자, 라면 같은 걸로 끼니를 때우거나 하는 식의 식습관이 의심된다.

사실 나 자신도 키가 크고 마른 편이고, 고등학생 때 키가 갑자기 크면서 상당히 마른 체형이었다. 기흉을 겪은 적은 없는데, 생각해 보면 내가 고등학생 때는 지금처럼 가공식품이 온통 널려 있지도 않았다. 간식을 먹을 때도 라면이나 과자보다는 감자, 고구마, 삶은 달걀 같은 걸 먹었다.

지금은 맛있는 것이 너무 많고 싸게 구할 수 있는 것 같은데, 문제는 그 맛있는 것이 온갖 첨가물로 중독성 있는 맛을 낸 것이 아닌가 의심된다는 것이다. 성분표를 따지다 보면 물론 정체를 알 수 없는 첨가물이 상당히 적게 들어간 제품들도 보인다. 그런데 첨가물이 적을수록 가격은 비싸다. 가격이 저렴할수록 영양가 없고 값싼 원재료에 화학적 처리를 함으로써 맛을 내고 있는 모양이다.

청소년의 기흉 재발 가능성을 낮추려면 고기나 달걀처럼 단백질이 풍부한 식재료를 가공식품이 아니라 직접 품질이 괜찮은 것으로 사다가 종자유(seed oil) 등 몸에 별로 안 좋은 것들과 조합하지 않고 건강식으로 요리를 해서 챙겨 먹을 필요가 있는 것이 아닌가, 결국은 몸에 필요한 영양과 물질을 지속적으로 잘 공급해 주어야 되는 것 아닌가, 그런 생각이 든다.

리눅스에서 zstd 압축 프로그램을 사용하는 방법이다. 우선 zstd 패키지를 설치하자. 데비안/우분투 계열 배포판 기준으로 아래와 같이 진행.

# S/W 저장소 정보 갱신
sudo apt update

# zstd 설치
sudo apt install zstd

예를 들어 my_file.dat 파일을 압축하려면 아래와 같이 하면 되겠다.

zstd my_file.dat

압축된 파일 my_file.dat.zst가 생성되고 기존 파일도 그대로 남아 있다. 만약 압축이 성공한 후 기존 파일이 지워지도록 하고 싶으면 --rm 옵션을 추가한다.

zstd --rm my_file.dat

압축을 해제하려면 -d 옵션을 사요한다.

zstd -d my_file.dat.zst

마찬가지로 압축 해제가 성공한 후 기존 zst 파일이 지워지도록 하려면 --rm 옵션을 사요.

zstd -d --rm my_file.dat.zst

한꺼번에 여러 개의 파일을 압축할 수도 있다. 각 파일별로 .zst 파일이 생성된다.

# .txt 파일 압축
zstd *.txt

# .txt.zst 파일 압축 해제
zstd -d *.txt.zst

디렉토리 압축은 지원하지 않는다. 만약 디렉토리를 압축하고 싶다면 tar와 조합해서 사용해야 한다. 예를 들어 ~/my_dir 디렉토리를 압축하려면 아래와 같이 할 수 있겠다.

tar --zstd -cvf my_dir.tar.zst ~/my_dir

압축 해제는 아래와 같이 하면 되겠다.

tar --zstd -xvf my_dir.tar.zst

리눅스에서 인텔 내장 GPU의 사용률을 확인하는 방법이다. 데비안/우분투 계열 리눅스 배포판 기준으로 아래와 같이 작업.

우선 intel-gpu-tools 패키지를 설치하자. 터미널창에서 아래와 같이 진행.

# S/W 저장소 정보 갱신
sudo apt update

# intel-gpu-tools 설치
sudo apt install intel-gpu-tools

이제 터미널창에서 gputop 명령을 입력하면 인텔 GPU 사용 현황을 볼 수 있다. 

gputop