개발

Ingress NGINX가 2026년 3월 이후로는 업데이트가 제공되지 않는다고, 대체 솔루션인 Gateway API로의 전환을 권장한다고 한다. 이에 대응하여 Envoy Gateway를 설치 및 테스트해보자. Cilium을 전에 써봐서 더 친숙하지만, AKS에서 제공되는 Cilium dataplane과의 충돌 가능성을 피하기 위해 Envoy Gateway로 진행한다. [참고] Ingress NGINX https://kubernetes.io/blog/2025/11/11/ingress-nginx-retirement/ Ingress NGINX Retirement: What You Need to KnowTo prioritize the safety and security of the ecosystem, Kube..

LLM을 웹 브라우저에서 편리하게 사용할 수 있도록 서비스하는 오픈소스가 있다고 한다. 기존에 설치했던 vllm과 연동하여 얼마나 유용한지 한 번 사용해보도록하자. 설치하기공식적으로 제공해주는 Helm Chart가 있어서 설치는 수월할 것으로 보인다. https://helm.openwebui.com/ Open WebUI Helm ChartsOpen WebUI Helm Charts Helm charts for the Open WebUI application.helm.openwebui.com설치 최적화를 위해 Chart를 로컬에 내려서 작업을 진행하자. mango@mac llm % helm repo add open-webui https://helm.openwebui.com/"open-webui" has be..

PC가 아닌 Kuernetes에 Container 형태로 vLLM을 설치 및 서비스해보자. 마침 VM size(NC40ads H100 v5) 40vcpus, 320 GiB memory의 Node pool이 존재하여 해당 자원을 활용하기로 한다. 설치하기설치된 AKS에서 진행하는데 기존에 Ollama로 LLM을 간단하게 서비스하고 있었던 점을 참고하자. [참고] vllm docshttps://docs.vllm.ai/projects/production-stack/en/vllm-stack-0.1.5/deployment/cloud-deployment/azure.html 우선 GitHub Repository를 clone하여 helm chart를 확인하자.mango@mac llm % git clone https..

Ollama는 어느 정도 익숙해졌는데, Kubernetes나 Production 환경으로 가려면 vLLM이 권장되는 것 같다. 이번에는 vLLM을 설치 및 실행해보면서 친해지자. 설치하기Python 기반으로 설치하는 것과 Docker 방식이 제공되는데, 일단 Python으로 설치 및 점검해보고 Docker로도 진행해보자. https://docs.vllm.ai/en/v0.12.0/getting_started/installation/cpu/#apple-silicon 사전 준비Python3과 uv를 설치한다. mango@mac llm % uv venv --python 3.12 --seedUsing CPython 3.12.10 interpreter at: /usr/local/bin/python3.12Creati..

지난 번에 Ollama에서 제공하는 기본 프로그램을 다운로드받아 gpt-oss-20b 모델을 macOS에서 실행시켜봤다. 향후 확장성을 고려하여 이번에는 Docker로 실행해보고 무슨 차이가 있는지 알아보자. https://dev-tobe.tistory.com/29 로컬(macOS) LLM 설치하기 w/OllamaLLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 1dev-tobe.tistory.com 설치하기Ollama Container 설치공개된 Docker Image는 아래와 같다. 로컬환경으로 가져와서 실행해보자.ht..

LLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 16GB 이상이면 'gpt-oss-20b' 모델 정도는 실행이 되는 것으로 보인다. 설치LLM이 낯선 사용자에게 Ollama가 진입 장벽을 낮춰주고 있는 것 같다. 아래 프로그램을 설치해서 진행해보자.https://ollama.com/download Download Ollama on macOSDownload Ollama for macOSollama.com 다운로드 완료 후, 실행하면 아래와 같은 화면이 출력되고 우측 하단의 모델(gpt-oss:20b) 선택 후 메시지를 날려..

Jenkins를 설치했으니 이제 Build는 로컬환경 대신 Jenkins에게 맡긴다. GitHub 연동하기"Jenkins 관리" 메뉴의 "Plugins" 으로 들어가서 'GitHub'를 설치한다.기존 "소스 코드 관리" 영역에 없던 "Git"이 추가된 것을 확인할 수 있다. (Credential 은 추후 설정하기로.) Gradle 설정하기이번에는 Plugin에서 'Gradle'을 설치하면 "Build Steps" 영역에 'Invoke Gradle script' 가 추가되어 지정할 수 있다. 'Use Gradle Wrapper' check, 'Make gradlew executables' check 후, Tasks에 'build -x test' 를 입력한다. Build 하기GitHub 연결한 Reposi..

다양한 CICD 도구들이 나왔지만, 그럼에도 불구하고 Build 영역에서 굳건히 자리를 차지하고 있는 Jenkins를 Container 환경에 맞게 설치한다. [참고] https://www.jenkins.io/doc/book/installing/kubernetes/YAML 파일 가져오기.➜ cicd git clone https://github.com/scriptcamp/kubernetes-jenkins'kubernetes-jenkins'에 복제합니다...remote: Enumerating objects: 16, done.remote: Counting objects: 100% (7/7), done.remote: Compressing objects: 100% (7/7), done.remote: Total ..

앞에서 설치한 Gitea에 신규 Reposiotry를 생성하고 형상관리 필요한 프로젝트를 추가한다. Gitea 로그인 후, Repository를 생성하면 아래 이미지와 같이 command line이 나오니 간편하게 연동 가능하다.    실제 수행한 명령어는 아래와 같으며 결과는 Gitea Console을 통해 간단히 확인 가능하다.➜ iOS git inithint: Using 'master' as the name for the initial branch. This default branch namehint: is subject to change. To configure the initial branch name to use in allhint: of your new repositories, which ..

Github에 업로드하기 애매한 소스가 생겨 Local 형상관리를 구성하고자 한다. [참고] https://docs.gitea.com/installation/install-on-kubernetes Install on Kubernetes | Gitea DocumentationGitea provides a Helm Chart to allow for installation on kubernetes.docs.gitea.com doc 자료와 거의 동일하게 진행되며, 향후 편의성을 위해 namespace(cicd)만 별도 구분하여 수행한다.➜ ~ helm repo add gitea-charts https://dl.gitea.com/charts/"gitea-charts" has been added to your r..