개발

Ollama는 어느 정도 익숙해졌는데, Kubernetes나 Production 환경으로 가려면 vLLM이 권장되는 것 같다. 이번에는 vLLM을 설치 및 실행해보면서 친해지자. 설치하기Python 기반으로 설치하는 것과 Docker 방식이 제공되는데, 일단 Python으로 설치 및 점검해보고 Docker로도 진행해보자. https://docs.vllm.ai/en/v0.12.0/getting_started/installation/cpu/#apple-silicon 사전 준비Python3과 uv를 설치한다. mango@mac llm % uv venv --python 3.12 --seedUsing CPython 3.12.10 interpreter at: /usr/local/bin/python3.12Creati..

LLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 16GB 이상이면 'gpt-oss-20b' 모델 정도는 실행이 되는 것으로 보인다. 설치LLM이 낯선 사용자에게 Ollama가 진입 장벽을 낮춰주고 있는 것 같다. 아래 프로그램을 설치해서 진행해보자.https://ollama.com/download Download Ollama on macOSDownload Ollama for macOSollama.com 다운로드 완료 후, 실행하면 아래와 같은 화면이 출력되고 우측 하단의 모델(gpt-oss:20b) 선택 후 메시지를 날려..