美格智能 MeiG

Distil-bert-base-uncased-hf

大语言模型ONNXQNNTFLite

Distil-bert-base-uncased-hf — 美格最新实测数据。

BEST · SNM980
250.752tok/s
QNN/HTP · —
任务类型
大语言模型
芯片平台
4 个

跨平台性能对比

按实测指标排序,深色条为该模型最佳平台。

tok/sSNM980 · QNN/HTP250.752SNM980 · ONNX/NPU158.278SNM970 · QNN/HTP132.943SNM980 · TFLite/NPU119.062SNM983 · QNN/HTP106.056SNM970 · ONNX/NPU87.604SNM983 · ONNX/NPU79.962SNM970 · TFLite/NPU63.91SNM983 · TFLite/NPU51.808SRM6690 · ONNX/CPU1.403SNM970 · ONNX/CPU0.744

芯片兼容矩阵

模型 × 芯片平台 × 精度 × 推理后端 组合的实测性能。

芯片平台精度推理后端性能(不含前后处理)报告
SNM980
SM8750P (Snapdragon 8 Elite)
—QNN/HTP250.752 tok/s★查看 →
SNM980
SM8750P (Snapdragon 8 Elite)
—ONNX/NPU158.278 tok/s查看 →
SNM970
QCS8550 / QCM8550 (Snapdragon 8 Gen 2)
—QNN/HTP132.943 tok/s查看 →
SNM980
SM8750P (Snapdragon 8 Elite)
—TFLite/NPU119.062 tok/s查看 →
SNM983
QCS9075 / QCS9100 (SA8775P)
—QNN/HTP106.056 tok/s查看 →
SNM970
QCS8550 / QCM8550 (Snapdragon 8 Gen 2)
—ONNX/NPU87.604 tok/s查看 →
SNM983
QCS9075 / QCS9100 (SA8775P)
—ONNX/NPU79.962 tok/s查看 →
SNM970
QCS8550 / QCM8550 (Snapdragon 8 Gen 2)
—TFLite/NPU63.91 tok/s查看 →
SNM983
QCS9075 / QCS9100 (SA8775P)
—TFLite/NPU51.808 tok/s查看 →
SRM6690
QCM6690 (Snapdragon 6690)
—ONNX/CPU1.403 tok/s查看 →
SNM970
QCS8550 / QCM8550 (Snapdragon 8 Gen 2)
—ONNX/CPU0.744 tok/s查看 →

下载资源

qnn_dlc · float
下载
tflite · float
下载
onnx · w8a16
下载
qnn_dlc · w8a16
下载

相关示例应用

暂无关联示例。