大语言模型

SNM983 × deepseek-llm-7B

QNN · w4a16 · 测试环境：qnn_linux · NPU_W4A16

deepseek-llm-7B @ SNM983 QNN/HTP 12.15 tok/s

初始化

11.13 s

推理指标（纯模型推理耗时，不含前后处理流程）

12.15 tok/s

Prefill

716.33 tok/s

Decode

12.15 tok/s

内存占用

5.89 GB

设备侧采样：峰值与全程平均分开给出，CPU / GPU 为整机占用，NPU 按 q6 / HVX / HMX 分单元统计。

CPU

峰值

33.6%

平均

17.29%

NPU

峰值

98.79%