推理服务:统一OpenAI兼容API封装vLLM/TGI/TRT-LLM,continuous batching与

作者:promptpacks发布日期:2026-09-21观看:23
01/ 01

prefix caching,量化选型(AWQ/GPTQ/FP8)含质量基准,投机解码含草稿模型;

🔥热搜词

评论0

登录后参与评论

还没有评论,来抢沙发吧