美格智能 MeiG

Llama2-7b

大语言模型QNN

Llama2-7b — 美格最新实测数据。

BEST · SNM980
18.485tok/s
QNN/HTP ·
任务类型
大语言模型
平台覆盖
7 个

跨平台性能对比

按实测指标排序,深色条为该模型最佳平台。

tok/sSNM98018.485SRM97517.67SNM98215.507SNM98312.612SRM96512.033SNM97011SRM66904.452

芯片兼容矩阵

模型 × 芯片平台 × 精度 × 推理后端 组合的实测性能。

芯片平台精度推理后端性能报告
SNM980
SM8750P (Snapdragon 8 Elite)
QNN/HTP18.485 tok/s查看 →
SRM975
QCM8838
QNN/HTP17.67 tok/s查看 →
SNM982
QCS8625
QNN/HTP15.507 tok/s查看 →
SNM983
QCS9075 / QCS9100 (SA8775P)
QNN/HTP12.612 tok/s查看 →
SRM965
QCM8538
QNN/HTP12.033 tok/s查看 →
SNM970
QCS8550 / QCM8550 (Snapdragon 8 Gen 2)
QNN/HTP11 tok/s查看 →
SRM6690
QCM6690 (Snapdragon 6690)
QNN/HTP4.452 tok/s查看 →

下载资源

SNM970
模型库/大语言模型/高通/Mobile/8550/llama2-7b_8550_android.zip
下载
SNM970
模型库/大语言模型/高通/Mobile/8550/llama2-7b_8550_linux.zip
下载
SNM980
模型库/大语言模型/高通/Mobile/8750/llama2-7b_8750_android.zip
下载
SNM980
模型库/大语言模型/高通/Mobile/8750/llama2-7b_8750_linux.zip
下载
SNM982
模型库/大语言模型/高通/Mobile/8625/llama2-7b_8625_linux.zip
下载
SNM983
模型库/大语言模型/高通/Automotive/9075A/llama2-7b_9075_linux.zip
下载
SNM983
模型库/大语言模型/高通/Mobile/9075/llama2-7b_9075_android.zip
下载
SNM983
模型库/大语言模型/高通/Mobile/9075/llama2-7b_9075_linux.zip
下载
SRM6690
模型库/大语言模型/高通/Mobile/6690/llama2-7b_6690_android.zip
下载
SRM6690
模型库/大语言模型/高通/Mobile/6690/llama2-7b_6690_linux.zip
下载
SRM965
模型库/大语言模型/高通/Automotive/8538/llama2-7b_8538_android.zip
下载
SRM965
模型库/大语言模型/高通/Automotive/8538/llama2-7b_8538_linux.zip
下载
SRM975
模型库/大语言模型/高通/Automotive/8838/llama2-7b_8838_android.zip
下载