大语言模型

SNM970 × qwen3.5-0.8B

MEIGINE · w4a32 · 测试环境：meigine_android · NPU_W4A32

qwen3.5-0.8B @ SNM970 MEIGINE/NPU 7.40 tok/s

推理指标（纯模型推理耗时，不含前后处理流程）

7.40 tok/s

Prefill

19.90 tok/s

Decode

7.40 tok/s

内存占用

1.3 GB

设备侧采样：峰值与全程平均分开给出，CPU / GPU 为整机占用，NPU 按 q6 / HVX / HMX 分单元统计。

CPU

峰值

26.25%

平均

11.6%

GPU

峰值

77%

NPU

峰值

87.98%