09_vLLM 기본 추론 최적화 노하우 1건

들어가며

---

GPU

 vllm serve /mnt/nvme/models/Qwen3.8-27B-FP8 \
      --served-model-name qwen \
      --port 8601 \
      --tensor-parallel-size 1 \
      --max-model-len 131072 \
      --max-num-seqs 24 \
      --gpu-memory-utilization 0.85 \
      --allowed-local-media-path /mnt/nvme/vod \
      --limit-mm-per-prompt '{"image":30}' \
      --enable-prefix-caching \
      --reasoning-parser qwen3 \
      --trust-remote-code

  vllm serve /mnt/nvme/models/Qwen3-Embedding-4B \
      --served-model-name qwen-embed \
      --port 8500 \
      --tensor-parallel-size 1 \
      --max-model-len 2048 \
      --max-num-seqs 4 \
      --gpu-memory-utilization 0.10 \
      --trust-remote-code

추론 최적화

(1) GPU 꽉 채워 씀

• -gpu-memory-utilization 0.85 --max-num-seqs 24

---

(2) GPU 할 일 줄임

• -enable-prefix-caching ----> , 프롬프트는 매번 보내지만 매번 계산하지는 않습니다

• • thinking 끄기
• • 답 길이 제한
• • temperature 0

(3)

마무리

---