【2023 · CANN训练营第一季】昇腾AI入门课(Pytorch)——第一章学习笔记
昇腾 AI 全栈可以分成四个大部分:1.应用使能层面,此层面通常包含用于部署模型的软硬件,例如 API 、 SDK 、部署平台,模型库等等。2. AI 框架层面,此层面包含用于构建模型的训练框架,例如华为的 MindSpore 、TensorFlow 、 Pytorch 等。3.异构计算架构,偏底层、偏通用的计算框架,用于针对上层 AI 框架的调用进行加速,力求向上支持多种 AI 框架,并在硬件上
第一章 昇腾AI基础知识介绍
第2节 昇腾AI全栈架构
昇腾 AI 全栈可以分成四个大部分:
1.应用使能层面,此层面通常包含用于部署模型的软硬件,例如 API 、 SDK 、部署平台,模型库等等。
2. AI 框架层面,此层面包含用于构建模型的训练框架,例如华为的 MindSpore 、
TensorFlow 、 Pytorch 等。
3.异构计算架构,偏底层、偏通用的计算框架,用于针对上层 AI 框架的调用进行加速,力求向上支持多种 AI 框架,并在硬件上进行加速。
4.计算硬件,本层是 AI 计算的底座,有了强力的芯片及硬件设备,上层的加速才有实施的基础。
第3节 异构计算架构CANN
华为公司面向计算机视觉、自然语言处理、推荐系统、类机器人等领域量身打造了基于"达芬奇( DaVinci )架构"的昇腾( Ascend ) AI 处理器,开启了智能之旅。为提升用户开发效率和释放昇腾 AI 处理器澎湃算力,同步推出针对 AI 场景的异构计算架构 CANN ( Compute Architecture for Neural Networks ), CANN 通过提供多层次的编程接口,以全场景、低门槛、高性能的优势,支持用户快速构建基于 Ascend 平台的 AI 应用和业务。
昇腾 AI 异构计算架构( Compute Architecture for Neural Networks , CANN )被抽象成五层架构,如下图所示。
1.异腾计算语言接口
异腾计算语言( Ascend Computing Language , AscendCL )接口是昇腾计算开放编程框架,是对低层昇腾计算服务接口的封装。它提供 Device (设备)管理、 Context (上下文)管理、 Stream (流)管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理、 Graph (图)管理等 API 库,供用户开发人工智能应用调用。
2.异腾计算服务层
本层主要提供异腾计算库,例如神经网络( Neural Network , NN )库、线性代数计算库( Basic Linear Algebra Subprograms . BLAS )等;昇腾计算调优引擎库,例如算子调优、子图调优、梯度调优、模型压缩以及 AI 框架适配器。
3.昇腾计算编译引擎
本层主要提供图编译器( Graph Compiler )和 TBE ( Tensor Boost Engine )算子开发支持。前者将用户输入中间表达( Intermediate Representation , IR )的计算图编译成 NPU 运行的模型。后者提供用户开发自定义算子所需的工具。
4.异腾计算执行引擎
本层负责模型和算子的执行,提供如运行时( Runtime )库(执行内存分配、模型管理、数据收发等)、图执行器( Graph Executor )、数字视觉预处理( Digital Vision Pre - Processing , DVPP )、人工智能预处理( Artificial Intelligence Pre - Processing, AIPP )、华为集合通信库( Huawei Collective Communication Library , HCCL )等功能单元。
5.昇腾计算基础层
本层主要为其上各层提供基础服务,如共享虚拟内存( Shared Virtual Memory , SVM )、设备虚拟化( Virtual Machine , VM )、主机﹣设备通信( Host Device Communication , HDC )等。
第4节 昇腾计算语言接口AscendCL
AscendCL ( Ascend Computing Language ,昇腾计算语言)
是昇腾计算开放编程框架,是对底层昇腾计算服务接口的封装,它提供运行时资源(例如设备、内存等)管理、模型加载与执行、算子加载与执行、图片数据编解码/裁剪/缩放处理等 API 库,实现在昇腾 CANN 平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说,就是统一的 API 框架,实现对所有资源的调用。
AscendCL 的优势如下:
1.高度抽象:算子编译、加载、执行的 API 归一,相比每个算子一个 API , AscendCL 大幅减少 AP 数量,降低复杂度。
2.向后兼容: AscendCL 具备向后兼容,确保软件升级后,基于旧版本编译的程序依然可以在新版本上运行。
3.零感知芯片:一套 AscendCL 接口可以实现应用代码统一,多款昇腾处理器无差异。 AscendCL 的主要应用场景如下:
1.开发应用:用户可以直接调用 AscendCL 提供的接口开发图片分类应用、目标识别应用等。
2.供第三方框架调用:用户可以通过第三方框架调用 AscendCL 接口,以便使用昇腾 AI 处理器的计算能力。
3.供第三方开发 lib 库:用户还可以使用 AscendCL 封装实现第三方 lib 库,以便提供昇腾 AI 处理器的运行管理、资源管理等能力。
第5节 章节小测
1、CANN提供的昇腾语言计算接口是?
A. AscendCL
B. ATC
C. AOE
D. ACE
正确答案:A
2、昇腾目前支持以下哪种AI深度学习框架?
A. 昇思MindSpore
B. TensorFlow
C. Pytorch
D. 以上都支持
正确答案:D
3、CANN包含以下哪些内容?
A. 统一APP编程语言
B. 统一网络构图接口
C. 高性能计算引擎以及算子库
D. 基础服务
正确答案:ABCD
4、以下哪些描述是正确的?
A. CANN仅支持推理场景。
B. CANN支持业界主流AI框架,例如MindSpore、TensorFlow等。
C. CANN提供标准的编程接口AscendCL。
D. CANN提供昇腾计算库,例如神经网络(Neural Network,NN)库、线性代数计算库(Basic Linear Algebra Subprograms,BLAS)。
正确答案:BCD
5、昇腾AI全栈包括昇腾AI系列硬件、异构计算架构CANN、AI框架MindSpore、全流程开发工具链等。
正确答案:√
更多推荐
所有评论(0)