로컬(macOS) LLM 설치하기 w/Ollama

LLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 16GB 이상이면 'gpt-oss-20b' 모델 정도는 실행이 되는 것으로 보인다.

 

설치

LLM이 낯선 사용자에게 Ollama가 진입 장벽을 낮춰주고 있는 것 같다. 아래 프로그램을 설치해서 진행해보자.

https://ollama.com/download

Download Ollama on macOS

 

다운로드 완료 후, 실행하면 아래와 같은 화면이 출력되고 우측 하단의 모델(gpt-oss:20b) 선택 후 메시지를 날려본다. (model을 다운로드하는 단계에서 시간이 오래 걸리는 점 참고)

 

테스트

아래와 같이 아주 간단하게 실행이 되며, 어느 정도 답변도 괜찮게 나오는 것 같다. 중요한 점은 인터넷이 되지 않는 Private 환경에서도 사용이 가능하다는 점이다.

 

MacBook 자원 사용량

확실히 자원은 많이 소모되는 것 같다. 다양한 개발도구와 함께 사용하기에는 어려울 수도 있을 것 같은데, 이 부분은 아쉬울 때 써보면서 경험해보기로 한다. 아무튼 폐쇄적인 환경에 갇힐 때, LLM을 활용할 수 있다는 부분에서는 높은 점수를 주고 싶다.

CPU

Memory