连接学派的科学家们曾陷入困境。虽然各种神经网络可以解决问题，但是，它们究竟为什么会成功以及为什么在有些问题上会屡遭失败，却没有人能说得清楚。对网络运行原理的无知，也使得人们对如何提高神经网络运行效率的问题无从下手。因此，连接学派需要理论的支持。

VladimirNaumovichVapnik

年左右，弗拉基米尔·万普尼克（VladimirNaumovichVapnik）和亚历克塞·泽范兰杰斯（AlexeyYakovlevichChervonenkis）这两位俄罗斯科学家提出了一整套新的理论：统计学习理论，受到连接学派的顶礼膜拜。

该理论大意可概括为“杀鸡焉用宰牛刀”。我们的模型一定要与待解决的问题相匹配，如果模型过于简单，而问题本身的复杂度很高，就无法得到预期的精度。反过来，若问题本身简单，而模型过于复杂，那么模型就会比较僵死，无法举一反三，即出现所谓的“过拟合”（overfitting）现象。

实际上，统计学习理论的精神与奥卡姆剃刀原理有着深刻的联系。威廉·奥卡姆（WilliamOccum,—）是中世纪时期的著名哲学家，他留下的最重要的遗产就是奥卡姆剃刀原理。该原理说，如果对于同一个问题有不同的解决方案，那么我们应该挑选其中最简单的一个。神经网络或者其他机器学习模型也应该遵循类似的原理，只有当模型的复杂度与所解决的问题相匹配的时候，才能让模型更好地发挥作用。

然而，统计学习理论也有很大的局限性，因为理论的严格分析仅仅限于一类特殊的神经网络模型：支持向量机（SupportingVectorMachine）。而对于更一般的神经网络，人们还未找到统一的分析方法。所以说，连接学派的科学家们虽然会向大脑学习如何构造神经网络模型，但实际上他们自己也不清楚这些神经网络究竟是如何工作的。不过，他们这种尴尬局面也是无独有偶，另外一派后起之秀虽然来势汹汹，却也没有解决理论基础问题，这就是行为学派。