發生什麼：DeepSeek 把線上服務的推論引擎放上 GitHub
DeepSeek 於 10 月 20 日在 X 上宣布、並在 GitHub 公開 DeepInfer（據 The Next Web 與 SiliconANGLE 報導），授權為 Apache 2.0。README 第一句寫明，DeepInfer 是「支撐 DeepSeek 大規模線上服務的高效能推論框架」，並說明它「最初主要建立在 vLLM 之上」，另參考 SGLang 與 TensorRT-LLM。
開放範圍相當窄。README 列出的支援模型只有 DeepSeek-V4.1-Flash，預設載入 DeepSeek-V4.1-Flash-1017 權重；硬體只列 NVIDIA SM100 GPU（Blackwell 世代，需 CUDA 13）與華為昇騰 950 NPU（CANN 9.2），Hopper 等較舊的 NVIDIA 架構不在清單上。環境要求為 Linux、GCC 13 以上與 Python 3.12。
原始證據：放出了什麼、沒放出什麼
已開源的部分包括：與裝置執行重疊的非同步批次排程器；以 DeepSeek 先前開源的 FlashMLA、DeepGEMM、DeepEP 等核心函式庫及自寫 TileLang 核心組成的運算層；注意力的資料並行／上下文並行與 MoE 專家並行（含 EPLB 負載均衡）；名為 DSpark 的推測解碼（以信心估計排程驗證）；只重播有限尾段以減少 Prefill 計算的「SWA bounded replay」；以及正則、JSON Schema、EBNF 的結構化輸出。批次不變推論與可重現取樣兩項功能僅支援 NVIDIA。
README 也直接列出「完整推論服務所需、但本次未包含」的三項：KV 快取系統、VE／Prefill／Decode 分離，以及跨資料並行副本的負載平衡，並把這次釋出定位為離線推論。SiliconANGLE 報導，DeepSeek 表示 KV 快取與負載平衡程式碼和內部基礎設施高度耦合，另在知乎文章說明設計。
效能方面，README 只提供 Pareto 曲線圖：Prefill 在 4 張 SM100、Decode 在 64 張 SM100 上量測，各在單一 scale-up 網域內，並附重現腳本；文字中沒有列出批次大小、輸入輸出長度，也沒有與 vLLM、SGLang 的對照數字。這些都是 DeepSeek 自測結果，目前沒有第三方重現。
背景：從「不開源完整引擎」到部分轉向
DeepSeek 在 2025 年的 open-infra-index 文件〈The Path to Open-Sourcing the DeepSeek Inference Engine〉中說明，當時的引擎是一年多前 vLLM 的早期分支、已大幅客製化，又與叢集管理等內部系統緊密耦合，而團隊作為小型研究團隊「缺乏維護大型開源專案的頻寬」，因此改為抽出獨立元件、把最佳化貢獻回既有開源專案。DeepInfer 等於把當時不打算公開的引擎主體放出，但最依賴內部基礎設施的部分仍保留。
發布時點也有政策背景：美國國土安全部 10 月 19 日向 Federal Register 送出、10 月 20 日刊登的命令，要求聯邦民間機構排除採購並移除 DeepSeek 及其關聯產品，範圍涵蓋「以 DeepSeek 實作開發的第三方產品與服務」。公告本身沒有定義「實作」的範圍，自行部署 DeepInfer 或 V4.1-Flash 的服務是否涵蓋其中，目前沒有官方說明。
AI 觀點分析與推論
AI 觀點：DeepInfer 降低的是「自建 DeepSeek 服務」的門檻，不是推論框架的競爭版圖
我傾向認為，這次開源的實際意義在於讓外部團隊看見並取用 DeepSeek 自己跑 V4.1-Flash 的那套排程與核心組合，而不是推出一個與 vLLM、SGLang 正面競爭的通用框架。單一模型、兩種最新硬體、缺 KV 快取與 PD 分離，代表它更像一份「可執行的參考實作」：有 Blackwell 或昇騰 950 叢集、想自建 V4.1-Flash 服務的雲端業者與研究團隊最受益；只有 Hopper 或消費級顯卡的開發者，短期內仍得靠 vLLM、SGLang 或 API。
另一個值得注意的是昇騰 950 與 SM100 並列為正式支援硬體。若後續 DeepSeek 新模型持續在同一框架同時支援兩種晶片，我會把它解讀為 DeepSeek 正把非 NVIDIA 硬體當成一級部署目標；反過來，若之後更新只在 NVIDIA 上推進，昇騰支援就比較像象徵性的。
反面情境也要說清楚：Pareto 圖缺乏工作負載細節，在第三方以相同硬體與 vLLM、SGLang 做對照前，不宜把它當成「比較快」的證據。美國方面，國土安全部命令對「DeepSeek 實作」沒有定義，若主管機關把自建部署也納入，DeepInfer 在美國政府與其供應商市場的實用性會受限。我會觀察三個訊號：KV 快取或負載平衡元件是否補上開源、是否出現獨立基準對照，以及 vLLM、SGLang 是否吸收 DSpark 或 bounded replay 等設計。
