一、前言

上周很荣幸在CSDN上收到香橙派的测评邀请，这是一款专为边缘计算和嵌入式AI应用设计的高性能计算平台。因为之前一直做的是GPU Tensorrt部署相关工作，对边缘计算平台也不是很熟悉，花了一些时间摸索，今天我就简单与大家分享我对这款设备的一些初步体验。

二、板子硬件介绍

当我打开香橙派AI Pro的包装时，第一印象是它的小巧与精致。

板子配备4核64位处理器+AI处理器，集成图形处理器，支持8TOPS AI算力，拥有8GB/16GB LPDDR4X，可以外接32GB/64GB/128GB/256GB eMMC模块，支持双4K高清输出（我的显示器是2K的，只有插上中间那个HDMI2.1接口有用不知道为什么）。详细硬件接口如下：

板子配备4核64位处理器+AI处理器，集成图形处理器，支持8TOPS AI算力，拥有8GB/16GB LPDDR4X，可以外接32GB/64GB/128GB/256GB eMMC模块，支持双4K高清输出（我的显示器是2K的，只有插上中间那个HDMI2.1接口有用不知道为什么）。详细硬件接口如下：

拿到板子，系统已经烧录好了，直接登录即可，登录密码Mind@123。另外，需要烧录系统可以自行官网下载工具：官网烧录系统

terminal输入npu-smi info可查看npu状态：

可以看到这块板子的一些信息：昇腾AI处理器的版本为310B4，芯片温度为47度，总内存为7.5G，已使用4.2G左右。

三、Windows下SSH远程登录开发板

因为只有一套鼠键，所以自己主机和开发板来回切换很麻烦，所幸找到官网教程用户手册中有Windows下SSH远程登录开发板的方法。
先链接好开发板wifi，然后再终端输入ip addr show，查看当前板子ip地址，一般为192.168.xx.xx。
然后windows电脑下载mobaxterm软件。打开软件界面，打开Session，在SessionSetting中点SSH，然后在Remotehost中输入开发板的IP地址，Specifyusername中输入Linux系统的用户名root，点击ok，根据提示输入密码，回车，如下图所示windows中登录成功，即可在windows中远程操作板子。

四、简单测试：图片分类

cd /opt/opi_test/ResnetPicture
sudu bash sample_run.sh

输出resnet50输出样例图片的top5类别index、score分数和类别名class：

五、推理yolov7样例

下面以昇腾gitee推理样例sampleYOLOV7，将YOLOv7模型部署在香橙派AI Pro上进行推理。

1. 下载代码

// 开发环境，非root用户命令行中执行以下命令下载源码仓。    
cd ${HOME}     
git clone https://gitee.com/ascend/samples.git

2. 设置Ascend环境变量

export DDK_PATH=$HOME/Ascend/ascend-toolkit/latest
export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub
export THIRDPART_PATH=${DDK_PATH}/thirdpart
export LD_LIBRARY_PATH=${THIRDPART_PATH}/lib:$LD_LIBRARY_PATH
mkdir -p ${THIRDPART_PATH}

3. 安装x264、ffmpeg、acllite、opencv

// 下载x264
cd ${HOME}
git clone https://code.videolan.org/videolan/x264.git
cd x264
// 安装x264
./configure --enable-shared --disable-asm
make
sudo make install
sudo cp /usr/local/lib/libx264.so.164 /lib

// 下载ffmpeg
cd ${HOME}
wget http://www.ffmpeg.org/releases/ffmpeg-4.1.3.tar.gz --no-check-certificate
tar -zxvf ffmpeg-4.1.3.tar.gz
cd ffmpeg-4.1.3
// 安装ffmpeg
./configure --enable-shared --enable-pic --enable-static --disable-x86asm --enable-libx264 --enable-gpl --prefix=${THIRDPART_PATH}
make -j8
make install

// 安装acllite
cd ${HOME}/samples/inference/acllite/cplusplus
make
make install

// 安装opencv
sudo apt-get install libopencv-dev

4. 安装ACLLite

git clone https://gitee.com/ascend/ACLLite.git
cd ACLLite
export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub
// 编译ACLLite
sudo bash build_so.sh

5. 数据和模型准备

cd  samples/inference/modelInference/sampleYOLOV7/data
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/aclsample/dog1_1024_683.jpg
cd ../model
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/yolov7/yolov7x.onnx
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/yolov7/aipp.cfg

6. 使用ATC进行模型转换，这个步骤比较慢

// 查询OS版本
lsb_release -a
// 转换
atc --model=yolov7x.onnx --framework=5 --output=yolov7x --input_shape="images:1,3,640,640"  --soc_version=Ascend310B4  --insert_op_conf=aipp.cfg

7. 样例编译和运行

cd ../scripts
bash sample_build.sh
bash sample_run.sh

六、推理统计人物数量案例

1. 安装第三方库

// 安装python-acllite
echo 'export THIRDPART_PATH=$HOME/Ascend/ascend-toolkit/latest/thirdpart'>> ~/.bashrc    
echo 'export PYTHONPATH=${THIRDPART_PATH}/python:$PYTHONPATH'>> ~/.bashrc

source ~/.bashrc
mkdir -p ${THIRDPART_PATH}
 
cp -r ${HOME}/samples/inference/acllite/python ${THIRDPART_PATH}

// 安装numpy
pip3 install numpy

2. 数据准备

cd ./sampleCrowdCounting/data
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/sampleCrowdCounting/people.jpg --no-check-certificate

3. ATC模型转换

cd ../model
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/sampleCrowdCounting/CrowdCounting.onnx --no-check-certificate
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/sampleCrowdCounting/aipp.cfg --no-check-certificate
atc --model=CrowdCounting.onnx --framework=5 --output=CrowdCounting --soc_version=Ascend310B4  --insert_op_conf=aipp.cfg                                                                     

4. 运行脚本

cd ../scripts
bash sample_run.sh

七、训练、推理口罩识别模型

1. 下载案例

cd ${HOME}     
git clone https://gitee.com/ascend/EdgeAndRobotics.git
// 切换到样例目录
cd EdgeAndRobotics/Samples/ClassficationRetrainingAndInfer

2. 环境配置

// torch-npu
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/torch_npu-2.1.0rc1-cp39-cp39-linux_aarch64.whl
pip3 install torch_npu-2.1.0rc1-cp39-cp39-linux_aarch64.whl

// 安装包
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

// 配置程序编译依赖的头文件与库文件路径
export DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest 
export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub

3. 模型训练

// 设置环境变量减小算子编译内存占用
export TE_PARALLEL_COMPILER=1
export MAX_COMPILE_CORE_NUMBER=1

// 下载口罩数据集
cd dataset
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/detection/mask.zip
unzip mask.zip

// 划分训练集和测试集
cd ..
python3 predata.py

// 下载预训练模型
cd models
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/detection/mobilenet-v1-ssd-mp-0_675.pth

// 训练
cd ..
python3 main.py

如图划分训练集和测试集成功：

如图程序开始训练：

4. 模型推理

// pt->onnx
python3 export.py

// 下载测试集
cd omInfer/data
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/detection/mask.jpg

// 设置最小进程
export TE_PARALLEL_COMPILER=1
export MAX_COMPILE_CORE_NUMBER=1

cd ../model
cp ../../mobilenet-ssd.onnx ./
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/detection/aipp/aipp.cfg

// onnx->om
atc --model=mobilenet-ssd.onnx --framework=5 --soc_version=Ascend310B4 --output=mobilenet-ssd --insert_op_conf=aipp.cfg

// 编译源码
cd ../scripts 
bash sample_build.sh

// 推理
bash sample_run.sh

如图显示推理结果：

八、总结

总体来说，香橙派AI Pro以其强大的计算性能、丰富的接口和灵活的扩展性，为开发者提供了一个强大且多功能的AI开发平台。无论是用于边缘计算还是嵌入式AI应用，这款设备都展示了其卓越的性能和广泛的应用潜力。
未来，我计划继续深入探索香橙派AI Pro的更多功能，并尝试将其应用于更多实际项目中。如果你对边缘计算和AI开发感兴趣，不妨亲自体验一下这款设备，相信你也会对它的表现感到惊喜。
期待在未来的博客中与大家分享更多使用心得和项目经验。感谢CSDN提供的测评机会！