개발

LLM을 웹 브라우저에서 편리하게 사용할 수 있도록 서비스하는 오픈소스가 있다고 한다. 기존에 설치했던 vllm과 연동하여 얼마나 유용한지 한 번 사용해보도록하자. 설치하기공식적으로 제공해주는 Helm Chart가 있어서 설치는 수월할 것으로 보인다. https://helm.openwebui.com/ Open WebUI Helm ChartsOpen WebUI Helm Charts Helm charts for the Open WebUI application.helm.openwebui.com설치 최적화를 위해 Chart를 로컬에 내려서 작업을 진행하자. mango@mac llm % helm repo add open-webui https://helm.openwebui.com/"open-webui" has be..

PC가 아닌 Kuernetes에 Container 형태로 vLLM을 설치 및 서비스해보자. 마침 VM size(NC40ads H100 v5) 40vcpus, 320 GiB memory의 Node pool이 존재하여 해당 자원을 활용하기로 한다. 설치하기설치된 AKS에서 진행하는데 기존에 Ollama로 LLM을 간단하게 서비스하고 있었던 점을 참고하자. [참고] vllm docshttps://docs.vllm.ai/projects/production-stack/en/vllm-stack-0.1.5/deployment/cloud-deployment/azure.html 우선 GitHub Repository를 clone하여 helm chart를 확인하자.mango@mac llm % git clone https..

Ollama는 어느 정도 익숙해졌는데, Kubernetes나 Production 환경으로 가려면 vLLM이 권장되는 것 같다. 이번에는 vLLM을 설치 및 실행해보면서 친해지자. 설치하기Python 기반으로 설치하는 것과 Docker 방식이 제공되는데, 일단 Python으로 설치 및 점검해보고 Docker로도 진행해보자. https://docs.vllm.ai/en/v0.12.0/getting_started/installation/cpu/#apple-silicon 사전 준비Python3과 uv를 설치한다. mango@mac llm % uv venv --python 3.12 --seedUsing CPython 3.12.10 interpreter at: /usr/local/bin/python3.12Creati..