大语言模型
LLaMA2 Chat App
端侧大语言模型对话应用
基于美格 SNM980 / SRM6690 模组，运行 SNPE 量化后的 LLaMA2-7B 模型，提供命令行与简易 GUI 两种交互模式，展示端侧大模型完整对话流水线。
环境要求
- 芯片
- SNM980 / SRM6690
- 系统
- Android 13 / Linux (Yocto)
- SDK
- SNPE 2.18+
- 依赖
- libc++, protobuf
部署步骤
- Step 1. 推送模型文件
adb push llama2-7b-w8a16.dlc /data/local/tmp/ - Step 2. 推送运行时
adb push libSNPE.so /data/local/tmp/ - Step 3. 启动聊天服务
./run_chat.sh --model llama2-7b --backend htp