vllm-serving-setup

When to Use

• 특정 모델(예: Llama 3.3 70B, Qwen3 32B, DeepSeek-V3)을 vLLM 으로 EKS 에 배포할 때
• 기존 vLLM 배포의 처리량·지연을 튜닝할 때
• Multi-LoRA 어댑터를 하나의 base 모델에 올릴 때
• FP8 KV Cache, Chunked Prefill 등 v0.18.2 신기능을 활성화할 때

When NOT to Use

• 분산 추론(Disaggregated Prefill/Decode)이 필요한 대규모 트래픽 → llm-d 스킬 사용 권장
• 사전 학습(training) 파이프라인 → SageMaker / KubeRay / SkyPilot 영역
• MoE 전용 최적화가 필요한 경우 → Expert Parallel 전용 설정 참조

Preconditions

• EKS 클러스터에 GPU NodePool, GPU Operator, DCGM 이 정상 동작 (agentic-eks-bootstrap 완료)
• Hugging Face 액세스 토큰(Secrets Manager 저장) 또는 S3 모델 가중치 복사 완료
• Prometheus + OTel Collector 가 배포되어 있음