2
$\开始组$

这个问题与神经网络有关,但它是一个纯粹的数学问题,所以我认为它属于这里。

考虑$f:\mathbb{R}^N\到\mathbb{R}^M$例如,可以使用带有H美元$隐藏层,没有偏见,因此:

$$f(\vec{x})=W_{H+2,H+1}\circ\sigma\circ W_{H+1,H}\cick\sigma \ldots\circ\sigma\circ W_2,1}\vec}x}\tag{1}$$

哪里美元\西格玛$是非线性(假设ReLU公司)、和$W_{ij}美元$权重矩阵(连接层j美元$带图层$i美元$).如果我们在所有隐藏的神经元上添加神经偏差,假设空间会改变吗?换句话说:如果我们通过添加参数向量来修改(1)($\vec{b_i}$)在每个非线性之前,我们可以用函数空间来表示$f美元$(通过改变参数值)以某种方式改变?我没有找到有关这件事的文献,请提供一些参考书目。

$\端组$

1答案1

重置为默认值
4
$\开始组$

是的,它们不同。

如果没有偏差,零总是映射到零。一般来说,你有$f(tx)=tf(x)$对所有人来说$t\geq 0美元$当然,这是ReLU特有的。

有了偏见,这就不再是事实了。

$\端组$

你必须登录来回答这个问题。

不是你想要的答案吗?浏览标记的其他问题.