개발

LLM을 웹 브라우저에서 편리하게 사용할 수 있도록 서비스하는 오픈소스가 있다고 한다. 기존에 설치했던 vllm과 연동하여 얼마나 유용한지 한 번 사용해보도록하자. 설치하기공식적으로 제공해주는 Helm Chart가 있어서 설치는 수월할 것으로 보인다. https://helm.openwebui.com/ Open WebUI Helm ChartsOpen WebUI Helm Charts Helm charts for the Open WebUI application.helm.openwebui.com설치 최적화를 위해 Chart를 로컬에 내려서 작업을 진행하자. mango@mac llm % helm repo add open-webui https://helm.openwebui.com/"open-webui" has be..

PC가 아닌 Kuernetes에 Container 형태로 vLLM을 설치 및 서비스해보자. 마침 VM size(NC40ads H100 v5) 40vcpus, 320 GiB memory의 Node pool이 존재하여 해당 자원을 활용하기로 한다. 설치하기설치된 AKS에서 진행하는데 기존에 Ollama로 LLM을 간단하게 서비스하고 있었던 점을 참고하자. [참고] vllm docshttps://docs.vllm.ai/projects/production-stack/en/vllm-stack-0.1.5/deployment/cloud-deployment/azure.html 우선 GitHub Repository를 clone하여 helm chart를 확인하자.mango@mac llm % git clone https..

Ollama는 어느 정도 익숙해졌는데, Kubernetes나 Production 환경으로 가려면 vLLM이 권장되는 것 같다. 이번에는 vLLM을 설치 및 실행해보면서 친해지자. 설치하기Python 기반으로 설치하는 것과 Docker 방식이 제공되는데, 일단 Python으로 설치 및 점검해보고 Docker로도 진행해보자. https://docs.vllm.ai/en/v0.12.0/getting_started/installation/cpu/#apple-silicon 사전 준비Python3과 uv를 설치한다. mango@mac llm % uv venv --python 3.12 --seedUsing CPython 3.12.10 interpreter at: /usr/local/bin/python3.12Creati..

지난 번에 Ollama에서 제공하는 기본 프로그램을 다운로드받아 gpt-oss-20b 모델을 macOS에서 실행시켜봤다. 향후 확장성을 고려하여 이번에는 Docker로 실행해보고 무슨 차이가 있는지 알아보자. https://dev-tobe.tistory.com/29 로컬(macOS) LLM 설치하기 w/OllamaLLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 1dev-tobe.tistory.com 설치하기Ollama Container 설치공개된 Docker Image는 아래와 같다. 로컬환경으로 가져와서 실행해보자.ht..

LLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 16GB 이상이면 'gpt-oss-20b' 모델 정도는 실행이 되는 것으로 보인다. 설치LLM이 낯선 사용자에게 Ollama가 진입 장벽을 낮춰주고 있는 것 같다. 아래 프로그램을 설치해서 진행해보자.https://ollama.com/download Download Ollama on macOSDownload Ollama for macOSollama.com 다운로드 완료 후, 실행하면 아래와 같은 화면이 출력되고 우측 하단의 모델(gpt-oss:20b) 선택 후 메시지를 날려..