华为云AI人工智能入门级开发者认证(上)

举报
yd_238822659 发表于 2025/04/20 15:44:46 2025/04/20
【摘要】 华为人工智能

一、人工智能要点概述:
(1)人工智能概念:研究,延伸和拓展人的智能的理论。方法及应用系统的技术科学;
芯片发展历程:CPU-GPU(满足大量并行芯片)-(Ascend昇腾AI芯片)专用AI芯片
(2)人工智能分类:
分为强人工智能和弱人工智能:
强人工智能认为可能早出真正可以推理和解决问题的机器,机器有知觉和自我意识;
弱人工智能认为不可能早出真正可以推理和解决问题的机器,机器没有知觉和自我意识:
(3)智能分类:
计算智能:计算信息;
感知智能:实现听和看,比如识别人脸的摄像头
认知智能:实现思考,完全独立替代人类,比如无人驾驶:
目前处于从感知智能向认知智能过渡阶段;
(4)人工智能四要素:数据,算法,算力,场景
人工智能>机器学习>深度学习
二、人工智能发展趋势。
(1)人工智能主要学派:
符号主义:又叫逻辑主义,心里学派或计算机学派,认为人人知纪元为符号,认知过程时各种符号运算过程。
连接主义:仿生学派,认为人的思维基元为神经元,研究神经模型。
行为主义:进化主义,智能取决于感知和行动,通过与周围环境作用表现。
三、大模型介绍
(1)大模型诞生历程:
模型:根据一定算法和数学模型,在计算机实现人工智能任务的系统
由算法和权重参数构成;
统计模型-机器学习-人工智能;
大模型指具有大量参数和计算资源的深度学习模型;
大模型规模大到一定程度突然出现许多高阶能力;
大模型的大的体现:
数据集大,所需算力大,
(2)大模型起点:transformer:一种深度学习框架结构,能够捕捉输入序列的长以来关系,有更好的并行计算能力;
(3)大模型涌现:许多小实体交互产生大尸体,大实体展现了组成它的小实体不具有的特性;
涌现带来的能力:
语境学习:零样本或少样本学习,模型得到输出结果;
指令遵循;模型有理解自然语言的能力;
逐步推理:根据提示逐步推理;
逻辑推理:对信息分析,在没有明确训练过的任务展现推理能力;
(4)典型大模型:
T5:多任务的统一框架,各种任务转换为文本到文本格式。
llaMA:开源大语言模型
ChatCLM3:支持双语,针对中文进行了优化;
stable diffusion:文本到图像生成模型;
(3)专家系统:将领域内的专家知识和经验编码成规则,推理规则和知识库,是计算机获得专家的能力;
(4)大模型带来的问题:
AI自主决策机制危害人类自主性,无法追溯结果并补救;
隐私保护:APP要取得用户同意(隐私条款);
社会积极推荐隐私条款的制定;
开发者采取机密计算,联邦学习等保护用户隐私;
(5)人工智能的控制和义务:
数据公平性与透明性:
数据在收集时候呀空了确保各个个体公平对待;
数据透明指的是确保数据涉及个体理解数据来源和处理;
四.大模型面临的挑战:
(1)输入输出侧:
提示注入:通过提示词迫使LLM回答受限制问题
不安全输出:缺少安全控制导致XSS,CSRF,SSRF,远程代码执行,并可能启用代理劫持攻击;
Overrveliance:过度依赖LLM生成内容,没有人为监控下可能出现问题;
(2)传输侧:model denial of service模型拒绝服务:消耗资源;
数据泄露、模型窃取:泄露专有信息;
(3)模型及服务端:
训练数据投毒:篡改数据,破坏模型;
过度代理:大模型系统不受限制的代理权限导致不良操作;
敏感行披露:回复中泄露机密数据;
供应链漏洞:供应链受到攻击,影响部署完整性;
不安全插件设计:大模型连接外部的插件收到自由格式文本输入,导致不良行为;
(4)大模型特性:
同质化:
大模型的改进会迅速覆盖,缺陷同时也被继承;
调用工具:调用外部工具,如搜索引擎和数据库等,获取信息;
大模型稳定性:在遇到以外输入或攻击时候保持正常运行的能力;
鲁棒性:面对干扰或错误,依然可以追缺输出;
提升稳定性:对抗训练;

五、华为AI开发平台:
(1)modelarts:华为面向开发者的平台。
modelarts pro:企业级自定义
ai galery:AI数据平台;支持AI开发和AI学习。
Hilens:华为端云协同多模态AI应用开发平台;
本地运行;
(2)modelarts平台介绍:
自动学习:exeml:上传数据,训练模型,部署;
viscode或pycharm安装插件modelaets开发;
训练平台:弹性训练,自动搜索引擎,提升训练效率,降低投资。
(3)华为云API服务:
边,端,云侧;
边,端侧为设备,云侧为开发平台。
AI开发框架Hilens framework全面升级并纳入MODELBOX;
端侧设备本地分析。
(4)AI测试任务分层:
AI应用测试(包含数据管理):应用层,算法层;
AI计算平台测试(包含工具连):框架层,算子层,调度层,芯片层;
场景分析,特征因子分析,数据构建,评测指标,自动化方案;

六、AI应用需求分析:
步骤:需求背景,需求价值,需求描述,问题抽象,可行性分析;
思维链CoT:
改进的一种提示策略,结合了中间推理步骤,将最终输出引入提示;
局限性:对数据规模要求高,只在有线领域效果好;
RLHF:人类反馈强化学习,将强化学习与人类反馈结合,通过人类反馈优化模型训练;
监督学习,奖励模型,强化学习
大模型趋势与展望:
多模态融合:
可以处理和生成多种类型数据,显著提升AI模型效果,通用性,泛化性。
轻量化:使得模型在资源受限的设备运行,减少模型复杂度和计算资源需求;
具身智能:
能够理解,推理并与外界交互的通用智能体,具身智能有多模态感知认知能力;
七、神经网络
(1)神经网络与深度神经网络概述
人工神经网络:人工神经元互联形成神经网络;
最简单的人工神经网络是感知器;
深度神经网络即射弩的学习:深度指的是神经网络层数;
深度学习流程:数据准备-数据预处理-模型训练-模型评估测试-模型部署与整合;
 (1)数据准备:
数据集可分为训练集和测试集;
训练集用于训练,测试集用于测试;
每个参与数据称为样本,样本每个属性称为特征;
(20模型训练:通过学习算法进处理好的数据中知识和规律总结出来;
(3)模型中的参数与超参数:
参数有由模型自动化学习,超参数手工设定,如网络层数和神经元数量;
(2)神经网络模型分为输入层,隐藏层和输出层;
深度神经网络三层结构:
输入层接收数据,隐藏层对输入数据进行非线性变换;
(3)通过反向传播,神经网络可以学习输入数据;
前馈神经网络是数据只能输入到输出,单向;
反馈神经网络:处理无时间序列数据,如语音识别等,信息传递不止单向;
图网络:增加了模型复杂度;
(4)数据集构建方式:数据采集,数据清洗:去除标签符号等,数据分析;
数据采集方式:
冷启动数据采集:线下搜集;
线上数据回流:业务后台;
数据分析:样本分布分析
A负向(不好)样本分析负向样本:
B难例样本;
C新类别样本:没见过的样本;
D评测指标:精度指标与性能指标;
(5)常见缩写:
FPS(FRAMES PER SECOND):每秒处理图片数;
flops:floating-point operations per second每秒处理图片数;
GPU:显存占用
qps:query per second每秒响应请求数。

八、神经网络介绍:
(1)常见分类:
DNN:深度神经网络
GNN:图神经网络;
CNN卷积神经网络;
RNN:循环神经网络;
(2)卷积神经网络:
结构包括卷积层,池化层,全连接层:
卷积神经网络核心思想:
局部感知:局部联系更紧密;
参数共享:对输入图片用一个或多个卷积核扫描,卷积核自带参数就是权重,
卷积核大小一般是奇数,长方形或正方形;
扫描完成后得到的结果交特征图;超参数包括卷积核尺寸和移动步长等;
 
(3)循环神经网络与残差结构:
RNN循环神经网络,通过隐藏层节点周期性连接,捕捉序列化数据中动态信息的神经网络,可以对序列化数据进行分类;
RNN可以保存一种上下文状态,在任意长的上下文窗口存储,学习和表达相关信息;可以在时间序列上拓展;
输入层接受到不同时刻的输入,数据到达隐藏层
6)神经网络组成与激活函数‘
组成:输入层-计算层-输出层:
输入层和输出层都需要激活函数;损失函数:表示真实值和输出值差异;
(4)激活函数:神经节点接收上层输出值作为输入,并传给下一层;
激活函数是上层节点输入在2加权求和后英语下层节点输入;
激活函数为其添加了非线性因素,模型变为非线性模型;
(5)损失函数
表示了目标输出和实际输出的值;
损失函数极值点:损失函数沿着负梯度方向下降,负梯度为函数下降最快方向;

(6)根据批量大小,梯度下降常用方法:
批量梯度下降:每次更新使用所有的数据集;
随机梯度下降:每次更新只考虑一个样本点;
小批量梯度下降:每次更新考虑一定数量样本;
(7)优化器:
反向传播过程中动态调整梯度大小和方向使模型收敛到好位置,或加快收敛;
作用》加快算法收敛速度,冲过局部极值;
减少手工参数设置难度;
(8)动量优化器:
添加动量项,考虑前次更新量和更新梯度;
(9)随机梯度下降法和动量优化器:
公共点对每个参数相同学习率更新;
Adagrad优化器:胃不疼参数设置相同学习率,学习率随着模型训练不断变化;
adam优化器,adam优化器为每个带训练参数吗同时考虑动量项和学习率可调节;

(10)正则化:减少泛化误差的技术;
dropout:随机丢弃一部分输入的正则化方法,被丢弃部分的参数不更新;

(11)神经传播算法:
前向传播和反向传播;
前向传播:输入信号从输入层传到输出层;
反向传播:将输出层的误差(损失函数)反向传播到网络,使其各个节点更新权重;
九、实验
实验1:图像识别
2.内容审核
3.文字识别:
4.自然语言处理NLP:
认知智能,感知智能,计算智能。
5.语音交互服务:
peech interaction service
实时语音转写,一句话识别,录音文识别,语音合成
十、计算机视觉:
人工智能领域三大技术方向:
计算机视觉,自然语言处理,语音处理;
(1)识别人,物,场景;
图像识别;
障碍物躲避和检测
制高点监控应用;
(2)计算机视觉三个层次:
底层:图像处理,如直方图,亮度增强,像素等;
中层:图像分析,边缘,朝向,纹理等;
高层:图像理解,物体,场景等;
(3)初级视觉:超分辨率重建,图像修复;
(4)中级视觉任务:
分类:图像目标类型;
检测:定位目标位置以及识别;
分割:分为实例分割或者语义分割,解决每一个像素属于哪个目标或场景;
(5)高级视觉任务:图像文本描述,图像问答技术,图像检索,视觉追踪,动作识别;
中级视觉任务需求最大,1最需要人工智能介入;
(6)AI应用需求分析步骤:
需求背景,需求价值,需求描述,需求抽象,可行性分析。
(7)分析性人工智能:
从数据中学习,代表有机器学习,卷积神经网络,fine-tuning;
(8)生成式人工智能:在学习数据基础上,创造新数据,transformer网络为根技术的chatGpt,以diffusion为根技术的图片生成,prompting;
创造数据中不存在的新样本。
十一、人工智能落地挑战:
(1)
数据获取:数据质量差,数据积累不足,数据安全;
数据治理:结构化和非结构化数据处理,海量数据存储和应用;
数据标注:小场景数据采集
(2)可解释性不足:
对于AI的核心运行机制理解不足;
算法的偏见:算法根据信息做出歧视性决定;
(3)隐私信息
图灵机能解决的问题1占可计算的问题一部分,其中,人工智能能解决的问题右占图灵机解决的一部分;
联邦·学习:不写了个方隐私数据前提下,合并各方模型更新来训练全局模型;
(4)端-边-云全面发展的算力
昇腾芯片:提供AI推理能力;
服务器:边缘计算;
云测服务器:提供资源,适合云计算场景;
(5)大模型与轻量化
轻量化主要用到模型压缩技术:比如网络结构设计,网络剪枝,低秩近似,网络量化,知识蒸馏
大模型:参数数量数十亿或更多的模型,主要指LLM大型语言模型;
(6)大模型训练分类:预训练和精调两个阶段:
预训练:从海量无标注数据采用自监督学习方法;
精调:任务相关数据,调整模型,但是呢过来智能对话,目标检测等能力;
多任务统一的多模态感知大模型:
自然语言为中控,所有主流特征映射到公共空间;
更易用的框架;
(7)相关名词
自然语言处理NLP(natural language processing)
卷积神经网络CNN :convolutional neural network
循环神经网络RNN:recurrent neural network

(8)华为AI解决方案与开放能力介绍:
华为云人工智能发展:
全栈:芯片-芯片使能-框架(MindsPORE,PyTorch,TensorFlow)-应用使能(AI开发生产线ModelArts,大模型等),全场景:


十二、昇腾
鹏城-盘古为业界首个2000亿参数以中文为核心的与训练语言生成模型;
人工智能应用集成需求分析:
NLP自然语言处理:
包括对自然语言的理解和处理;
用机器处理人类语言,让机器理解和生成人类语言;
语音处理:
挑战:输入不统一,噪声影响,模型有效性


使能:软件层调用硬件念能力;
MindSpore:深思华为框架;特点有易开发,高效执行
易开发:API友好,调试难度低。
高效执行:计算效率,数据预处理,分布式训练效率;
全场景:宽假同时支持云,边缘,端侧场景;
EI Gallery:提供算法,镜像,模型等AI数字资产共享;
Mindx SDK:基于CANN接口封装,将各环节接口和数据管理接口封装到插件,通过插件像搭积木一样编排好推理应用;开发周期从传统两人月到两人天‘;
比如mxVision视频分析SDK,智能制造SDK,检索聚类SDK,行业场景SDK
支持模型和应用迁移分析,一站式开发,调试和调优;
调试组件由模型改图和精度对比两大功能组成;
十三、常见AI服务:
OCR文字识别服务;
Moderation:内容审核;
图像搜索:搜索需要的图像;
图像识别:识别图像信息;
自然语言处理NLP:文本相似度等功能;
语音交互SIS:应用于语音回访等
对话机器人CBS:AI数字人等;
人脸验证FRS/IVS:多重身份验证;
LSTM长短期记忆网络;

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。