개발

지난 번에 Ollama에서 제공하는 기본 프로그램을 다운로드받아 gpt-oss-20b 모델을 macOS에서 실행시켜봤다. 향후 확장성을 고려하여 이번에는 Docker로 실행해보고 무슨 차이가 있는지 알아보자. https://dev-tobe.tistory.com/29 로컬(macOS) LLM 설치하기 w/OllamaLLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 1dev-tobe.tistory.com 설치하기Ollama Container 설치공개된 Docker Image는 아래와 같다. 로컬환경으로 가져와서 실행해보자.ht..

LLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 16GB 이상이면 'gpt-oss-20b' 모델 정도는 실행이 되는 것으로 보인다. 설치LLM이 낯선 사용자에게 Ollama가 진입 장벽을 낮춰주고 있는 것 같다. 아래 프로그램을 설치해서 진행해보자.https://ollama.com/download Download Ollama on macOSDownload Ollama for macOSollama.com 다운로드 완료 후, 실행하면 아래와 같은 화면이 출력되고 우측 하단의 모델(gpt-oss:20b) 선택 후 메시지를 날려..