ChatDLM 技术白皮书概览

一、产品概述

ChatDLM 是首个深度整合区块扩散（Block Diffusion）与专家混合（Mixture-of-Experts，MoE）架构的扩散语言模型。通过区块级并行扩散、动态专家路由和超大上下文窗口，ChatDLM 在 NVIDIA A100 GPU 上可持续实现 2,800 tokens/s 的高吞吐率，充分满足文档级文本生成与实时交互的需求。

模型规模：7 B 参数

上下文窗口：131,072 tokens

迭代步数：可自适应调整，默认 12–25 步

硬件环境：单卡 NVIDIA A100，FP16 精度

二、核心技术亮点

区块并行扩散

将输入文本划分为若干固定大小区块（如 512 tokens/块），在连续空间中并行执行前向扩散与反向去噪。

每区块内部进行局部优化，同时通过交叉区块注意力（Cross-Block Attention）保持全局一致性。

Mixture-of-Experts 动态路由

根据每个区块的语义特征，动态分配不同专家网络参与推理，提升计算效率与生成质量。

专家数可扩展，当前配置为 16 个专家，以便在大规模并行推理时保持负载均衡。

超大上下文管理

内置高效的稀疏注意力机制，实现对 131,072 tokens 的线性级别访问与检索。

支持长文档摘要、复杂对话追踪与多轮交互场景。

高效推理加速

深度融合 FlashAttention、KV 缓存与张量并行优化。

在单卡 A100 上稳定输出 2,800 tokens/s，相较主流自回归模型提升 ≥ 3×。

三、技术路线与规划

多模态扩展：正在研发跨文本、图像与结构化数据的统一生成框架。

端到端部署：优化轻量化推理引擎，支持从云端到边缘的多样化落地。

模型加速：持续引入混合精度、自适应迭代与量化蒸馏等前沿技术，进一步降低算力成本。

四、开源计划

ChatDLM 开源工作正在有序推进中，主要内容及进度如下：

权重开放：计划于 2025 Q3 发布完整模型权重

论文发布：同期提交预印本至 arXiv，并投稿顶会

代码仓库：搭建 GitHub 公开仓库，包含训练脚本、推理示例与文档

敬请关注后续公告——技术文档与代码示例将为研究者与开发者提供一站式接入体验。

五、Qafind Labs 实验室简介

Qafind Labs 是由陕西略问科技有限公司与淘金阁（上海）科技有限公司联合创办的前沿 AI 研究平台。实验室立足多模态智能、分布式系统与算法加速领域，汇集国内外顶尖研究与工程人才，致力于推动下一代人工智能技术的落地与产业化。

成立时间：2022 年

核心使命：构建可解释、高效、可控的通用智能模型。

官网地址：https://www.chatdlm.cn