개발

Ollama는 어느 정도 익숙해졌는데, Kubernetes나 Production 환경으로 가려면 vLLM이 권장되는 것 같다. 이번에는 vLLM을 설치 및 실행해보면서 친해지자. 설치하기Python 기반으로 설치하는 것과 Docker 방식이 제공되는데, 일단 Python으로 설치 및 점검해보고 Docker로도 진행해보자. https://docs.vllm.ai/en/v0.12.0/getting_started/installation/cpu/#apple-silicon 사전 준비Python3과 uv를 설치한다. mango@mac llm % uv venv --python 3.12 --seedUsing CPython 3.12.10 interpreter at: /usr/local/bin/python3.12Creati..

지난 번에 Ollama에서 제공하는 기본 프로그램을 다운로드받아 gpt-oss-20b 모델을 macOS에서 실행시켜봤다. 향후 확장성을 고려하여 이번에는 Docker로 실행해보고 무슨 차이가 있는지 알아보자. https://dev-tobe.tistory.com/29 로컬(macOS) LLM 설치하기 w/OllamaLLM 중에 OpenSource 형태로 모델들이 꽤나 제공되기도 하고, 매번 CSP에서 제공하는 서비스만 사용하다가 호기심이 생겨 로컬환경에 LLM을 설치하고 사용해보기로 한다. MacBook의 Silicon Chip에 Memory가 1dev-tobe.tistory.com 설치하기Ollama Container 설치공개된 Docker Image는 아래와 같다. 로컬환경으로 가져와서 실행해보자.ht..

Kubernetes 환경에서는 ConfigMap을 활용하여 설정값을 관리했었는데, Spring Cloud Config를 사용해보고 어떤 차이가 있는지 살펴보기로 한다. [참고] https://spring.io/projects/spring-cloud-config Spring Cloud Config Spring Cloud Config provides server and client-side support for externalized configuration in a distributed system. With the Config Server you have a central place to manage external properties for applications across all environmen..

다양한 APIM 오픈소스들도 있고, kubernetes의 Ingress와 유사한 서비스로 생각되는데 직접 서비스를 구성하여 비교해보기로 한다. [참고] https://spring.io/projects/spring-cloud-gateway Spring Cloud Gateway This project provides a libraries for building an API Gateway on top of Spring WebFlux or Spring WebMVC. Spring Cloud Gateway aims to provide a simple, yet effective way to route to APIs and provide cross cutting concerns to them such as: secur..

Kubernetes를 활용하다보니 Software를 활용한 환경 구성과의 차이점이 궁금하여 뒤늦게 Spring Cloud를 활용한 실행환경을 구성하게 되었다. 나중에 Kubernetes에 올릴 생각으로 Docker로 모든 서비스를 구성해보자. 전에는 Netflix의 Hystrix, Zuul, Eureka가 거의 표준처럼 자리 잡았던 것으로 기억하는데, Hystrix같은 경우 현재 더 이상 지원하지 않는다고 한다. 그 사이 또 많은 변화가 있었던 것 같다. [참고] https://spring.io/blog/2018/12/12/spring-cloud-greenwich-rc1-available-now Eureka Server 구성 GitHub에서 아래 repository를 clone하여 몇 가지 수정을 ..