Synchnorized WebService centos7 collections combobox datagrid nlp jboss ios5 android项目实例 网络营销视频 click事件 jquery查找子元素 xcode打包 mysql自连接 mysql或者条件 js数组截取前5个 图片生成链接 hadoop环境变量配置 数据库学习 python平方函数 python内置库 java查看版本 java的正则表达式 javafor循环 java输出当前时间 java入门基础 linux下载安装 信息系统项目管理师教程 js四舍五入 找茬辅助 骁龙660和625 cmd代码 无限弹窗bat eclipse中文版下载 用流量打电话的软件 js刷新页面 php正则匹配 cad视口旋转 俄罗斯方块代码
当前位置: 首页 > 学习教程  > 编程语言

经典神经网络结构案例分析

2020/8/11 20:18:24 文章标签:

经典神经网络结构案例分析

在这里插入图片描述
在这里插入图片描述

(1)LeNet-5(1998)

在这里插入图片描述在这里插入图片描述

(2)AlexNet(2012)

在这里插入图片描述在这里插入图片描述注:在AlexNet提出的那个年代,还没有GPU,所以用的是CPU进行并行计算

2.1 几种AlexNet的几种形象表示:

![在这里插入图片描述](https://img-blog.csdnimg.cn/2020081018513327.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbmRheGlhb29vbw==,size_16,color_FFFFFF,t_70在这里插入图片描述在这里插入图片描述在这里插入图片描述图像增强
在这里插入图片描述

2.2 AlexNet的特点

在这里插入图片描述

(3)ZFNet(2013)

在AlexNet的基础上对超参数进行优化
在这里插入图片描述

(4)VGG (2014)

在这里插入图片描述在这里插入图片描述在这里插入图片描述
为什么要采用3层大小为3*3和步长为1的卷积呢?

两个33的卷积核1个55卷积的感受野一样,我们可以使用33的卷积,这样就会减少计算量、参数量、增加模型的深度、提高模型的非线性表达能力,百利无一害
在这里插入图片描述**同理,因为3层大小为3
3和步长为1的卷积的感受野和1层7*7的卷积的感受野相同**
在这里插入图片描述为什么说VGG是一个“臃肿”的模型?
因为参数多(特别是全连接),占用内存多
在这里插入图片描述
在这里插入图片描述

(5)GoogLeNet(2014)

当物体目标在图片中所占的大小不一样怎么办?GoogleNet是通过不同的卷积来提取不同的结果,称为多尺度并行卷积

在这里插入图片描述在这里插入图片描述

5.1 原始的Inception模块:存在计算量大的问题,同时“作业本”的厚度增加,模型“臃肿”

在这里插入图片描述在这里插入图片描述

5.2 改进方法:用1*1卷积核

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
改进后的GoogLeNet:
在这里插入图片描述Global Average Pooling: 最后每张特征图的平均值,可以避免全连接层的使用
在这里插入图片描述可以使用弱监督学习,本来的模型只知道图片的分类,但是利用Global Average pooling所得结果乘以种类权重,得到所得种类的位置,图中是狗的位置
在这里插入图片描述辅助分类输出的作用:
在这里插入图片描述

5.3 Inception V2 用两个33的卷积代替一个55的卷积,用两个13和31的卷积代替一个3*3的卷积

在这里插入图片描述

(6)ResNet (2015)

6.1引入了残差模块(residual block)

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

6.2 不同的模型的性能比对

在这里插入图片描述在这里插入图片描述

(7) 模型集成(2016)

模型的集成真的很有用
在这里插入图片描述自适应学习每张特征图channel的权重,先global average pooling 压缩,再经过两层全连接层,学习权重,再和原来的特征图相乘。这个部分可以放在任何模型的后面
在这里插入图片描述2017年,imageNet主办方认为没有必要再进行线下的比赛,就把比赛迁移到kaggle线上

(8)squeezeNet (2017)

和AlexNet 比起来,参数少了50x,模型大小小于0.5 Mb,精度却和AlexNet一样
在这里插入图片描述

(9)总结

在这里插入图片描述在这里插入图片描述在这里插入图片描述

(10)一些经典论文

10.1

1*1卷积就相当于全连接层,可以实现升维和降维
global average pooling可以避免全连接层参数爆炸
是googlenet和resnet 的前身

在这里插入图片描述

10.2

在这里插入图片描述

10.3

在这里插入图片描述

10.4

在这里插入图片描述

10.4

在这里插入图片描述

10.5

在这里插入图片描述

10.7

在这里插入图片描述

学习热点:边缘学习,元学习(神经架构探索)

在这里插入图片描述


本文链接: http://www.dtmao.cc/news_show_100320.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?