纯净、安全、绿色的下载网站

首页|软件分类|下载排行|最新软件|IT学院

当前位置:首页IT学院IT技术

pyTorch实现多层感知机 pyTorch深度学习多层感知机的实现

算法菜鸟飞高高   2021-09-30 我要评论
想了解pyTorch深度学习多层感知机的实现的相关内容吗算法菜鸟飞高高在本文为您仔细讲解pyTorch实现多层感知机的相关知识和一些Code实例欢迎阅读和指正我们先划重点:pytorch深度学习,pytorch实现多层感知机下面大家一起来学习吧。

激活函数

前两节实现的传送门

pyTorch深度学习softmax实现解析

pyTorch深入学习梯度和Linear Regression实现析

前两节实现的linear model 和 softmax model 是单层神经网络只包含一个输入层和一个输出层因为输入层不对数据进行transformation所以只算一层输出层。

多层感知机(mutilayer preceptron)加入了隐藏层将神经网络的层级加深因为线性层的串联结果还是线性层所以必须在每个隐藏层之后添加激活函数即增加model的非线性能力使得model的function set变大。

ReLUSigmoid tanh是三个常见的激活函数分别做出它们的函数图像以及导数图像。

#画图使用
def xyplot(x,y,name,size):
	plt.figure(figsize=size)
	plt.plot(x.detach().numpy(),y.detach().numpy())
	plt.xlabel('x')
	plt.ylabel(name+'(x)')
	plt.show()
#relu
x = torch.arange(-8,8,0.01,requires_grad=True)
y = x.relu()
xyplot(x,y,'relu')

在这里插入图片描述

y.sum().backward()
xyplot(x,x.grad,'grad of relu')

在这里插入图片描述

其它两个激活函数的图像画法类似分别为x.sigmoid(),x.tanh()

多层感知机的PyTorch实现

实际上多层感知机不过是在linear变换之后添加relu操作在output layer进行softmax操作

def relu(x):
	return torch.max(input=x,others,other=torch.tensor(0.0))

max这个方法除了返回tensor中的最大值还有和maximum函数一样的作用将input和other进行element-wise的比较返回二者中的最大值shape不变。

class MulPeceptron(nn.Module):
    def __init__(self,in_features,out_features):
        super().__init__()
        self.fc = nn.Linear(in_features=in_features,out_features=256)
        self.out = nn.Linear(in_features=256,out_features=out_features)
    def forward(self,t):
        t = t.flatten(start_dim=1)
        t = self.fc(t)
        t = F.relu(t)
        t = self.out(t)
        return t

这里就不从零开始实现了因为softmax和linear model手写过以后这个只是增加了一个矩阵乘法和一个ReLU操作


相关文章

猜您喜欢

网友评论

Copyright 2020 www.Shellfishsoft.com 【贝软下载站】 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 点此查看联系方式