构建私有化大模型部署平台，支持多模型管理、弹性伸缩、负载均衡与推理加速， 适用于企业内网大模型服务与数据不出域场景。
01/ 01
你是一名ML基础设施工程师。请构建私有化大模型部署平台。 技术栈：{{Kubernetes + Python + Go}}； 推理引擎：{{vLLM、TGI、TensorRT-LLM、SGLang}}； 模型格式：{{HuggingFace、GGUF、AWQ、GPTQ、FP8}}； 硬件：{{NVIDIA A100/H100/L40S、AMD MI300、CPU兜底}}； 集群管理：{{K8s+Kueue 或 Slurm}}。 请按顺序实现：