大语言模型

SNM980 × deepseek-r1-distill-qwen-7B

MEIGINE · w4a32 · 测试环境：meigine_android · HTP + GPU

deepseek-r1-distill-qwen-7B @ SNM980 MEIGINE/HTP + GPU 8.60 tok/s

初始化

15.00 s

推理指标（纯模型推理耗时，不含前后处理流程）

8.60 tok/s

Prefill

157.10 tok/s

Decode

8.60 tok/s

内存占用

4.8GB

设备侧采样：峰值与全程平均分开给出，CPU / GPU 为整机占用，NPU 按 q6 / HVX / HMX 分单元统计。

CPU

峰值

12.88%

平均

4.81%

GPU

峰值

56%

NPU

峰值

35.7%

模型规格