개발

Ingress NGINX가 2026년 3월 이후로는 업데이트가 제공되지 않는다고, 대체 솔루션인 Gateway API로의 전환을 권장한다고 한다. 이에 대응하여 Envoy Gateway를 설치 및 테스트해보자. Cilium을 전에 써봐서 더 친숙하지만, AKS에서 제공되는 Cilium dataplane과의 충돌 가능성을 피하기 위해 Envoy Gateway로 진행한다. [참고] Ingress NGINX https://kubernetes.io/blog/2025/11/11/ingress-nginx-retirement/ Ingress NGINX Retirement: What You Need to KnowTo prioritize the safety and security of the ecosystem, Kube..

LLM을 웹 브라우저에서 편리하게 사용할 수 있도록 서비스하는 오픈소스가 있다고 한다. 기존에 설치했던 vllm과 연동하여 얼마나 유용한지 한 번 사용해보도록하자. 설치하기공식적으로 제공해주는 Helm Chart가 있어서 설치는 수월할 것으로 보인다. https://helm.openwebui.com/ Open WebUI Helm ChartsOpen WebUI Helm Charts Helm charts for the Open WebUI application.helm.openwebui.com설치 최적화를 위해 Chart를 로컬에 내려서 작업을 진행하자. mango@mac llm % helm repo add open-webui https://helm.openwebui.com/"open-webui" has be..

PC가 아닌 Kuernetes에 Container 형태로 vLLM을 설치 및 서비스해보자. 마침 VM size(NC40ads H100 v5) 40vcpus, 320 GiB memory의 Node pool이 존재하여 해당 자원을 활용하기로 한다. 설치하기설치된 AKS에서 진행하는데 기존에 Ollama로 LLM을 간단하게 서비스하고 있었던 점을 참고하자. [참고] vllm docshttps://docs.vllm.ai/projects/production-stack/en/vllm-stack-0.1.5/deployment/cloud-deployment/azure.html 우선 GitHub Repository를 clone하여 helm chart를 확인하자.mango@mac llm % git clone https..