我们在动态神经回归模型中考虑顺序或在线学习。通过对神经网络参数随时间演化的状态空间表示，我们通过Fisher计分算法导出后验模式或通过重要性抽样方法导出近似后验均值，从而获得对未知后验的近似。此外，我们将神经回归模型中常用的高斯噪声假设替换为基于学生t密度的更灵活的噪声模型。由于t-密度可以解释为高斯的无限混合，因此可以基于在线EM型算法从数据中学习t-密度的自由度等超参数。我们的实验表明，在标准高斯噪声项和测量异常值的情况下，我们的新方法优于最先进的神经网络在线学习算法，如扩展卡尔曼滤波方法。