这是一篇踩坑复盘。我们把 GLM-5.2-Int4-Int8Mix 或 DeepSeek-V4-Flash-0731 搬上 8 张 A100 时原以为改改参数就行结果发现这一代新模型在架构上就没打算支持 A100。这篇博客记录了完整的排查过程、原因分析以及最终跑通的两套社区方案。文末还整理了一份「哪些常见模型在 A100 / 4090 这类显卡上有部署限制」的速查表。一、背景手上是 8 张 A100要跑两个新模型团队内网环境是8×A100/A800-80GBPCIe 或 SXM这次要部署两个 2026 年的当红模型GLM-5.2-Int4-Int8Mix智谱 GLM-5.2 的社区 Int4/Int8 混合量化版DeepSeek-V4-Flash-0731DeepSeek-V4-Flash 的正式版0731先简单介绍下这两位主角。GLM-5.2项目说明发布方智谱 AIZ.ai2026 年 6 月发布并开源定位面向长任务时代的旗舰模型专注 Coding 与长程 Agent 任务架构MoE总参数约744B激活参数约40B注意力DSA 稀疏注意力sparse MLA indexer 设计与 DeepSeek-V3.2 同源上下文真正可用的1M Token上下文开源协议MIT LicenseDeepSeek-V4-Flash-0731项目说明发布方DeepSeek深度求索定位DeepSeek-V4 系列的轻量级变体面向高吞吐、低延迟服务场景架构MoE总参数284B激活参数仅13B注意力混合注意力Token 级压缩 DeepSeek Sparse AttentionDSAmHC 结构共 43 层精度FP4 FP8 混合精度上下文1M Token无损上下文版本说明0731为正式版架构与预览版相同重点增强后训练质量与 agentic 能力两个模型有几个共同点这几个共同点恰好就是后面所有坑的伏笔MoE 架构、DSA 稀疏注意力、原生 FP8/FP4 精度、1M 上下文。二、常规操作H200 上的部署参数先看看“正常世界”长什么样在新架构显卡H100/H200/B200 等 SM90上两个模型都有官方支持的 vLLM 部署路径参数大致如下。DeepSeek-V4-Flash-0731vllm serve deepseek-ai/DeepSeek-V4-Flash-0731\--trust-remote-code\--kv-cache-dtype fp8\--block-size256\--enable-expert-parallel\--tensor-parallel-size8\--tokenizer-mode deepseek_v4\--tool-call-parser deepseek_v4\--enable-auto-tool-choice\--reasoning-parser deepseek_v4\--reasoning-config{reasoning_parser:deepseek_v4,reasoning_start_str:,reasoning_end_str:}\--speculative-config{method:dspark,num_speculative_tokens:7,draft_sample_method:probabilistic}GLM-5.2-Int4-Int8Mixvllm serve glm/GLM-5.2-Int4-Int8Mix\--host0.0.0.0\--port8000\--served-model-name GLM-5.2\--trust-remote-code\--dtypebfloat16\--quantizationcompressed-tensors\--kv-cache-dtype fp8\--tensor-parallel-size8\--enable-expert-parallel\--max-model-len auto\--gpu-memory-utilization0.90\--max-num-seqs32\--enable-auto-tool-choice\--tool-call-parser glm47\--reasoning-parser glm45\--speculative-config.method mtp\--speculative-config.num_speculative_tokens1\--disable-uvicorn-access-log⚠️ 这两组参数仅适用于 H100/H200/B200 等 SM90 架构。默认 1M 上下文会瞬间吃掉大量 KV Cache 显存实际部署请按硬件调整--max-model-len。三、翻车现场A100 上直接报错把同样的命令搬到 A100 上——即便按 Ampere 的能力改小参数去掉 FP8、缩短上下文——启动照样失败报错始终是同一句RuntimeError: Engine core initialization failed, See root cause above. Failed core proc(s): { }这句报错信息量约等于零。真正的原因藏在更早的日志里排查下来是两个独立的硬性架构限制。3.1 限制一DeepGEMM 不支持 AmpereDeepSeek-V4-Flash 跑不起来的根源在DeepGEMM库vLLM 主线在加载 DeepSeek-V4 时默认强制启用针对新架构优化的 DeepGEMM 库DeepGEMM 主要为 HopperH100等新架构设计仅支持sm_90a 及以上A100/A800 是SM80Ampere没有硬件级 FP8 支持DeepGEMM 在上面运行直接导致内核崩溃社区已有多个报告vLLM 主线无法在 A100 上直接部署 DeepSeek-V4TileLang 内核编译和Engine core initialization failed错误均与此相关。3.2 限制二DSA 稀疏注意力同样绑死 HopperGLM-5.2 的报错原因同理而且更隐蔽。GLM-5.2 用的是DSA 稀疏注意力架构vLLM 中的实现为GlmMoeDsaForCausalLM和 DeepSeek-V3.2 同源的 sparse MLA indexer 设计。vLLM 里这条路径依赖两个只支持 Hopper/BlackwellSM90的库DeepGEMM—— 负责 indexer 的 FP8 MQA logits 计算FlashMLA-Sparse / FlashAttn-MLA-Sparse—— 稀疏 MLA 注意力本体A100/A800 是 SM80两者都不可用启动直接报错。3.3 原因小结依赖库作用最低架构要求A100 (SM80)DeepGEMMFP8 GEMM / indexer FP8 MQA logitsHopper (SM90)❌FlashMLA-Sparse稀疏 MLA 注意力本体Hopper (SM90)❌硬件级 FP8FP8 KV Cache / FP8 推理Hopper (SM90)❌一句话总结这不是参数调优问题是这一代模型的核心计算路径FP8 DSA 稀疏注意力在架构层面就不支持 Ampere。想在 A100 上跑只能换路线——要么换量化格式绕过 FP8/FP4 张量核路径要么换推理引擎绕过 vLLM 的 Hopper 专用内核依赖。四、解法一GLM-5.2 跑通预构建 Docker 镜像方案⚠️本节来自社区实测、真实有效内容保持原样仅调整排版。社区已经整理好了预构建镜像整套流程四步。硬件要求项目要求GPU8× A100/A800 80GBPCIe 或 SXM 均可磁盘≥ 440 GB模型权重 435 GB驱动支持 CUDA 12.9实测 driver 580.95KV cache只能 bf16SM80 上这条路径不支持 fp8 KV第一步下载模型pipinstall-Uhuggingface_hub[cli]hf download nvidia/GLM-5.2-NVFP4 --local-dir /mnt/data/models/GLM-5.2-NVFP4# 435GB视网络情况需要数小时NVFP4 量化版在 SM80 上通过 Marlin 内核运行没有 FP4 张量核也没关系精度损失可接受——社区实测 AIME-2026 带工具可到 99%。第二步拉镜像dockerpull openguardrails/vllm-glm52-sm80:435f82d61-pr38476镜像内容完全透明官方vllm/vllm-openainightly固定在 2026-06-22 的 maincommit435f82d61 cherry-pick PR #38476 冲突解决构建脚本源自 PR 评论区 RefalMachine 验证过的配方。Dockerfile 可自行审计或重建。注这里实际跑的是GLM-5.2-NVFP4NVIDIA 官方 NVFP4 量化版不是原计划的 Int4-Int8Mix——因为 Int4-Int8Mix 量化版本身也依赖 SM90 的路径。NVFP4 权重在 SM80 上经 Marlin 内核反量化运行这是 A100 能跑通的关键。第三步启动dockerrun-d--nameglm52\--gpusall--ipchost--shm-size 32g\-p8000:8000\-v/mnt/data/models:/models:ro\openguardrails/vllm-glm52-sm80:435f82d61-pr38476\--model/models/GLM-5.2-NVFP4\--served-model-name glm-5.2\--host0.0.0.0--port8000\--trust-remote-code\--tensor-parallel-size8\--enable-expert-parallel\--dtypebfloat16 --kv-cache-dtype bfloat16\--max-model-len131072\--gpu-memory-utilization0.95\--max-num-seqs4\--no-async-scheduling\--tool-call-parser glm47 --reasoning-parser glm45\--enable-auto-tool-choice\--chat-template-content-formatstring加载 435GB 权重约需15–25 分钟请耐心。就绪的标志是日志出现Using TRITON_MLA_SPARSE attention backend out of potential backends: [TRITON_MLA_SPARSE] DeepGEMM not supported on this platform; using Triton fallback for sparse attention indexer. ... Application startup complete.第四步验证# 基本对话curl-slocalhost:8000/v1/chat/completions-HContent-Type: application/json-d{ model: glm-5.2, messages: [{role:user,content:17乘以24等于多少}], max_tokens: 2000}# 工具调用glm47 解析器curl-slocalhost:8000/v1/chat/completions-HContent-Type: application/json-d{ model: glm-5.2, messages: [{role:user,content:北京今天天气怎么样}], tools: [{type:function,function:{name:get_weather, description:查询城市天气, parameters:{type:object,properties:{city:{type:string}},required:[city]}}}], max_tokens: 2000}五、解法二DeepSeek-V4-Flash 跑通llama.cpp 分支⚠️本节来自社区实测、真实有效内容原样保留。vLLM 走不通社区另辟蹊径走 llama.cpp。nisparks大佬发布了适用于 deepseekv4 的 llama.cpp 分支GitHub - nisparks/llama.cpp at wip/deepseek-v4-support· https://github.com/nisparks/llama.cpp/tree/wip/deepseek-v4-support编译clone 下来之后还需要编译记得 cd 到下载目录下# 1. 配置编译选项开启CUDA并指定为A100架构cmake-Bbuild-DGGML_CUDAON-DCMAKE_CUDA_ARCHITECTURES80-DLLAMA_CURLON# 2. 开始编译-j 参数会加速编译cmake--buildbuild--configRelease-j$(nproc)下载 GGUF 模型推理框架下载完之后继续下载该框架需要的 gguf 模型同样也是该大佬分享的地址如下GitHub - nisparks/llama.cpp at wip/deepseek-v4-support· https://github.com/nisparks/llama.cpp/tree/wip/deepseek-v4-support注GGUF 权重的实际托管地址在 Hugging Facensparks/DeepSeek-V4-Flash-FP4-FP8-GGUF保留了原生的 MXFP4 F8_E4M3_B128 混合精度格式。完事具备之后直接启动./build/bin/llama-server\-m/data/deepseek/gguf_models/DeepSeek-V4-Flash-FP4-FP8-native.gguf\-ngl99\--host0.0.0.0--port8000\--tensor-split64,64,64,64,64,64,64,64\--ctx-size131072\六、延伸哪些常见模型在 A100 / 4090 上部署受限这次踩坑让我们意识到「我的卡能不能跑这个模型」已经不能只看显存够不够了。2025 年以后发布的新模型越来越多地依赖 Hopper 及以上架构才有的能力FP8 硬件支持、DSA 稀疏注意力内核、FP4 张量核老卡不是「跑得慢」而是「根本跑不起来」。这里把常见模型在这两类显卡上的限制整理成速查表。6.1 先搞懂显卡的“代际门槛”判断一个模型能否在某显卡上跑除了显存还要看三条硬门槛门槛说明涉及显卡FP8 硬件支持HopperH100/H200/H20及以上才有A100/3090/V100 完全没有4090 有 FP8 算力但 vLLM 未官方支持其 FP8 推理路径A100、A800、4090DeepGEMM / FlashMLA 内核DeepSeek 系及所有 DSA 稀疏注意力模型依赖仅支持 sm_90a4090 是 sm_89同样不行A100、4090、3090FP4 张量核NVFP4只有 BlackwellB200/RTX 50 系才有A100/4090 上 NVFP4 权重需经 Marlin 内核反量化运行有可用路径性能打折A100、4090、H100/H200显存墙4090 只有 24GB放不下多数 MoE 权重需量化 CPU 卸载4090、30906.2 常见模型限制速查表模型发布规模A100 (SM80)RTX 4090 (SM89)说明DeepSeek-V3 / V3.1 / R12025671B MoE⚠️ FP8 原生权重需转换体验差❌ 显存不足异构方案可跑FP8 混合精度训练产物A100 需转 BF16 显存翻倍或用 ktransformers 异构DeepSeek-V3.22025671B MoE❌ DSA 稀疏注意力绑死 Hopper❌ 同左首个引入 DSA 的量产模型sparse MLA 内核仅 SM90DeepSeek-V4-Flash / 07312026257B-284B MoE❌ vLLM 主线不可用llama.cpp 分支可跑本文方案❌ vLLM 论坛实测 8×4090 部署失败FP4FP8 混合精度 DSA 双重限制GLM-5 / 5.1 / 5.22026744B-A40B MoE❌ DSA 绑死 HopperNVFP4Marlin 镜像可跑本文方案❌ 显存不足 同左量化版Int4-Int8Mix也依赖 SM90 路径NVFP4 是 A100 可用路径GLM-4.5 / 4.62025355B-A32B MoE⚠️ 官方有 BF16 权重可跑但无 FP8 加速❌ 显存不足无 DSAA100 可跑 BF16/量化版Kimi K220251T MoE❌ 原生 FP8 权重约 1TBA100 不支持 FP8转 BF16 后显存翻倍基本不可行❌ 显存不足需 H800/H100 集群如 16×H800量化 CPU 卸载可勉强体验Qwen3-235B-A22B2025235B-A22B MoE✅ 8×80GB A100640GB可跑SGLang/vLLM 均可❌ 显存不足BF16 全量约 470GBFP8 版在 A100 上不可用需用 BF16 权重Qwen3-32B / 14B 及以下2025Dense✅ 单卡 A100 可跑✅ 单卡可跑量化版无架构限制只看显存Llama 3.1/3.3 405B2024Dense✅ 8×A100 可跑 BF16约 810GB 紧张INT8 更稳❌ 显存不足传统 BF16 模型无 FP8/DSA 依赖Llama 4 Scout / Maverick2025MoE✅ BF16 权重可跑❌ 显存不足无 DSA主要是显存问题Mistral Large 2 / 24B2024-2025Dense✅ 可跑24B✅ 量化可跑无架构限制MiniMax-M1 / M22025-2026456B-A46B / 230B-A10B MoE⚠️ 需要 BF16/INT8 权重FP8 版不可用❌ 显存不足MoE lightning attentionA100 有社区跑通案例MiniCPM / Qwen-7B 级别—小模型✅✅无限制怎么读这张表❌ 该显卡上没有官方/主流可行路径⚠️ 有路径但体验打折或需特殊处理✅ 主流方案可直接跑本表针对vLLM/SGLang 官方支持路径。llama.cpp / KTransformers / ik_llama.cpp 等社区引擎对硬件更宽容见 6.3显存不足不等于绝对不能跑——CPUGPU 异构KTransformers 等和激进量化能塞下但速度大打折扣6.3 A100 / 4090 用户的现实出路老卡用户并非完全没救主要有三条路换量化格式绕开 FP8/FP4 路径比如本文 GLM-5.2 的 NVFP4 权重在 A100 上经 Marlin 内核反量化运行。核心思路选择能在 SM80 上软实现的量化格式GPTQ/AWQ/Int4/Int8/Marlin 路径的 NVFP4。换推理引擎绕开 Hopper 专用内核vLLM 走不通就换 llama.cpp 分支本文 DeepSeek-V4-Flash 方案、KTransformersCPUGPU 异构单张 24GB 4090D 跑 671B 满血 DeepSeek-R1等。接受降级短上下文--max-model-len 131072甚至更短、低并发--max-num-seqs 4、BF16 KV Cache——本文两个方案都是这么妥协的产物。6.4 一张图总结判断逻辑判断「模型 X 能否在显卡 Y 上跑」按顺序检查1. 显存够不够放权重KV cache └─ 不够 → 量化Q4/Q8→ 还不够 → CPU卸载/异构 2. 权重格式是否依赖该卡没有的硬件能力 ├─ FP8 权重 vs A100无FP8→ 转BF16或换量化版 ├─ NVFP4 权重 vs 非Blackwell → 走 Marlin 反量化路径A100可用 ┞─ DSA 稀疏注意力 → 仅 Hopper换引擎llama.cpp等 └─ 都不行 → 该卡与该模型无缘等社区方案或换卡 3. 推理引擎是否有该卡的内核实现 └─ vLLM 不行 → SGLang / llama.cpp / KTransformers / TensorRT-LLM七、总结这次预研最大的认知收获AI 硬件代际差异已经从“性能差距”变成了“能不能跑”的鸿沟。2025 年之前的模型Llama 3、Qwen2.5 等在 A100 上只存在跑得快不快的问题2025 年之后的新模型DeepSeek-V3.2 起、GLM-5 系、Kimi K2把 FP8、DSA 稀疏注意力、FP4 写进了架构默认路径A100/4090 这类 Ampere/Ada 老卡直接被排除在官方支持之外。几点经验部署前先查模型对显卡架构的要求别只看显存。“671B 需要 8×H100” 这种说法背后往往还藏着 “且仅限 H100” 的隐藏条件。vLLM 报Engine core initialization failed在老卡上大概率是内核架构不兼容先翻完整日志找 DeepGEMM / TileLang / sm_80 相关关键词别急着调参数。社区是老卡用户的生命线。本文两个方案都来自社区预构建镜像GLM-5.2和 llama.cpp 分支DeepSeek-V4-Flash。遇到官方不支持的场景GitHub Issues/Discussions、知乎、vLLM 论坛往往已有人踩过同样的坑。老卡方案的代价是妥协短上下文、低并发、加载慢15–25 分钟、量化精度损失。生产环境如果在意这些升级 H200/B200 才是正解。参考资料模型与部署官方资源智谱 AI 开放文档GLM-5.2智谱 AI 官网GLM-5.2 上线并开源Hugging Facedeepseek-ai/DeepSeek-V4-Flash-0731ModelScopedeepseek-ai/DeepSeek-V4-Flash发布说明阿里云开发者社区AI 智能体配套 GLM 5.2 —— vLLM/SGLang 部署适配vLLM-Ascend 文档DeepSeek-V4-Flash 部署教程A100 / SM80 相关知乎亲测 GLM-5.2-NVFP4 在 8×A100 上的部署vLLM Issue #35021GLM-5Sparse MLA / DSA在 sm80 GPU 上无法运行vLLM Issue #40851DeepSeek-V4-Flash sm_80 (A100/A800) supportvLLM 论坛DeepSeek-V4-Flash 无法在 8×4090 上部署SpheronDeploy DeepEP and DeepGEMMDeepGEMM 架构限制说明知乎DeepSeek-V3 FP8 训练解析FP8 与 A100 限制llama.cpp / 异构方案llama.cpp Discussion #22376DeepSeek V4 Support (WIP)Hugging Facensparks/DeepSeek-V4-Flash-FP4-FP8-GGUF量子位KTransformers 单张 4090D 跑满血 DeepSeek-R1显卡架构与硬件代际HuggingFace 讨论8×80G A100 部署 Qwen3-235B腾讯云GLM-5.2 部署真实账单——推理成本全拆解NVIDIA 官方GPU FP8 训练与推理