개발

  • 홈
  • 태그
  • 방명록

Qwen2.5-Coder-7B 1

vLLM 설치 및 실행 w/macOS

Ollama는 어느 정도 익숙해졌는데, Kubernetes나 Production 환경으로 가려면 vLLM이 권장되는 것 같다. 이번에는 vLLM을 설치 및 실행해보면서 친해지자. 설치하기Python 기반으로 설치하는 것과 Docker 방식이 제공되는데, 일단 Python으로 설치 및 점검해보고 Docker로도 진행해보자. https://docs.vllm.ai/en/v0.12.0/getting_started/installation/cpu/#apple-silicon 사전 준비Python3과 uv를 설치한다. mango@mac llm % uv venv --python 3.12 --seedUsing CPython 3.12.10 interpreter at: /usr/local/bin/python3.12Creati..

Engineering/AI 2025.12.29
이전
1
다음
더보기
프로필사진

  • 분류 전체보기 (30)
    • Software (4)
      • Spring Cloud (4)
    • Engineering (26)
      • AI (5)
      • DevOps (11)
      • k8s (7)
      • minikube (1)

Tag

ollama, vllm, EC2, MacOS, gradle, gitea, Kubernetes, Cilium, CICD, AWS, minikube, kubeadm, AKS, npm, Helm, private, docker, Jenkins, spring-cloud, Nexus,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/04   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp All rights reserved.

티스토리툴바