在2016年初我意识到曲线拟合不是实现符号推理问题空间中具有普适性建模的正确范式时，我有了一个“啊哈”时刻。

我尝试了每一种可能的方法去让基于LSTM/GRU的模型对一阶逻辑陈述进行分类，每一次新的尝试都比上一次更清楚地表明我的模型完全无法学会执行真正的一阶逻辑——尽管这种能力肯定是在可表示的函数空间内的。相反，这些模型不可避免地会依赖于统计上的关键词关联来做出预测。

在过去的8年中，看到这一观察不断被重复提及是相当有趣的。