第312章 历景铄的神经网络模型进展
有了燧火这么一个趁手的算法工程工具，历景铄的神经网络算法研发进度可谓突飞猛进。
两个月前，经过多次尝试，他成功复现了当下学界比较流行的感知机神经网络训练结果，在手写数字识别任务上，已经达到了百分之七十的正确率。
这一成果在国内研究环境中，已然十分亮眼，但历景铄的目光并未就此满足，他深知前路漫漫，还有更多的未知等待探索，于是赶忙找到秦奕开始认真商量下一步的探索方向。
神经网络算法模型的研发有三大关键要素：数据、模型和优化算法。
在神经网络体系中，数据是极为重要的基础部分，数据的质量优劣、规模大小以及多样性程度，对模型的学习能力与泛化能力有着全面且关键的影响。
当数据足够多样时，模型便不会局限于学习某一类特定的数字特征，而是可以提炼出更具通用性、更普遍适用的特征模式，从而在面对从未见过的新数字样本时，也能准确识别。
但要是数据存在偏差，比如手写数字识别任务里的数据某些数字样本数量过多，而另一些过少，模型在学习时就会过度倾向于数量多的数字特征，使得对其他数字的识别能力大幅下降，严重损害泛化性能。
历景铄为了方便对比漂亮国学术界的研究成果，一开始没有去耗费大量精力构建自己独有的数据集，用的是漂亮国现成的数据集——漂亮国国家标准与技术研究院的公开 nist 手写数字数据集。
这个数据集是前世被广泛应用于学术研究和工业实践中的手写数字识别领域基准测试数据集 mnist 的前身，每个样本都是 28x28 像素的灰度图像，代表0 - 9之间的一个数字。
不过 mnist 数据集包含六万个训练样本和一万个测试样本，而目前 nist 数据集目前只有两万个训练样本和五千个测试样本。
随后，话题转到模型架构上，这是历景铄目前希望改进的重点。
他拿起一支笔，在纸上简单画了个神经网络结构草图，说道：“模型架构是神经网络的核心，具体分为网络结构和参数两大部分。”
“网络结构说白了，就是神经网络怎么组织，有几层，每层是什么类型，连接方式如何，信息又是怎么在各层之间流动，这是神经网络的‘骨架’，决定了网络的功能和适用场景。”
“网络参数呢，就是神经网络里要学习的权重和偏置，决定了网络怎么从输入数据里提取特征、做出预测。”
“现在学术界流行的多层感知机神经网络，是一种前馈神经网络，结构有输入层、隐藏层和输出层，神经元基本都是全连接。”
“我用的也是相同的结构，在处理 28x28 像素图像的时候，得把图像数据所有像素先展平成一维 784 长的向量数据，然后从输入层一层一层传到输出层，每层通过权重矩阵和激活函数做非线性映射。”
秦奕凭借前世的经验直接指出了当下多层感知机神经网络的缺点所在：“我觉得这个多层感知机这个神经网络目前至少有两个方面可以改进。”
“首先，它的每个神经元都得和上一层的所有神经元相连，这会导致整个神经网络的参数数量是网络层数的 784 倍，这么庞大的参数数量，会导致训练过程特别缓慢，还特别容易引发过拟合问题。”
“其次，因为它需要将所有像素展开成一维数据，这样会将原本图像数据中的笔画或者边缘这种特征丢失。”
历景铄听着，眼睛渐渐亮了起来，若有所思地说：“你是觉得我们可以适当减少不同层之间的网络连接，同时把保留输入数据的二维结构，接着在隐藏层里面针对二维矩阵进行学习？”
他突然一拍大腿，兴奋地说：“有了！我之前看到过瀛国科学家福岛邦彦的一篇论文，他好像就有差不多的思路！” 说着，他快步走到那堆论文文件夹前，手忙脚乱地翻找起来，嘴里还嘟囔着：“在哪呢，到底放哪了……”
找了好一会儿，终于翻出一篇题为 neocognitron 的论文，他连忙拿到秦奕面前，说：“秦哥，你看这篇名叫新认知机的论文，里面提出了局部感受野和层次化特征提取的思想。”
“他的网络结构包含 s 层和 c 层，s 层也就是简单细胞层用卷积操作提取局部的二维空间特征，c 层复杂细胞层则整合 s 层中一组简单细胞的输出，提取更高级的特征，这能在一定程度上减少网络里的参数。”
他赶紧去自己那一堆论文文件夹里面翻找了一番，然后拿出了一篇题为 neocognitron 的论文给秦奕看：“这篇名叫新认知机的论文里面就提出了局部感受野和层次化特征提取的思想。”
“他的网络结构包含 s 层和 c 层，其中 s 层也就是简单细胞层用卷积操作提取局部的二维空间特征，而 c 层的复杂细胞层，整合 s 层中一组简单细胞的输出，提取更高级的特征，这一定程度上能减少网络里面的参数。”
秦奕接过这篇远没有杨立昆 89 年发表的卷积神经网络出名的论文，快速略读了一遍。
读完后，他发现里面的网络结构设计确实是跟后来引入了卷积层和池化层的卷积神经网络基本一致，只是因为这篇论文用的是无监督学习所以难以处理复杂的分类任务。
无监督学习和有监督学习是机器学习的两种主要范式，有监督学习使用标注过的数据即输入数据和对应的输出标签来训练模型，模型的目标是学习输入与输出之间的映射关系，无监督学习使用未标注数据来训练模型，模型的目标是发现数据中的潜在结构或模式。
秦奕点了点头说道：“我觉得这确实是一个很好的网络结构设计思路，我们可以把有监督学习和他这个网络结合起来，说不定就能在手写数字识别任务上取得突破。”
“另外，神经网络虽说是借鉴生物结构，但网络层命名也没必要弄得这么像生物术语，简单细胞和复杂细胞听起来都不知道是做什么的，我建议直接用操作命名就行，做卷积操作的叫卷积层，做池化操作的叫池化层，这样交流起来方便。”
“可以。”历景铄应道，“另外优化算法方面我们这边也遇到了一些问题。”