这个问题与神经网络有关,但它是一个纯粹的数学问题,所以我认为它属于这里。
考虑$f:\mathbb{R}^N\到\mathbb{R}^M$例如,可以使用带有H美元$隐藏层,没有偏见,因此:
$$f(\vec{x})=W_{H+2,H+1}\circ\sigma\circ W_{H+1,H}\cick\sigma \ldots\circ\sigma\circ W_2,1}\vec}x}\tag{1}$$
哪里美元\西格玛$是非线性(假设ReLU公司)、和$W_{ij}美元$是权重矩阵(连接层j美元$带图层$i美元$).如果我们在所有隐藏的神经元上添加神经偏差,假设空间会改变吗?换句话说:如果我们通过添加参数向量来修改(1)($\vec{b_i}$)在每个非线性之前,我们可以用函数空间来表示$f美元$(通过改变参数值)以某种方式改变?我没有找到有关这件事的文献,请提供一些参考书目。