back to home page

昨天在公园遛狗散步的时候，看到一个白人小伙在钓鱼，虽然下了点小雨，可是他还是怡然自得。我正在发呆的时候，他已经钓上来了一条鱼，看了一下，就扔回到了河里，可能是因为太小了，法律规定不可以。突然想起来以前听说鱼的记忆只有七秒，想了一下，是有可能的，因为水里的氧气含量太低，鱼鳃不能支持太大量的氧气过滤，也就不能支持很大的大脑。可是实际上，鱼的记忆比很多人想的好得多。⁽¹⁾ 突然想起来前一段时间看文章，英伟达弄了一个历史上最大的NLP模型，MegatronLM，说是有83亿个参数。那有没有现在的很多模型已经比一些简单生物的大脑更发达了？

就生物而言，我想先找结构简单的生物，既然鱼的智商可能比我们想的高得多，那么首先是无脊椎动物吧。找到一个秀丽隐杆线虫，这些虫子每一条都包含刚好302条神经元。⁽²⁾ 别说MegatronLM了，你平时无聊了用Pytorch搭一个模型应该都比它的大脑更复杂。我想找一个足够聪明，可是又没有MegatronLM聪明的，可是如果这样继续找下去，可能要找到马斯克真的把人类送上火星，然后我找到了另外一篇文章 ，维基百科上竟然还有列表动物神经细胞数量的。⁽³⁾。这么看的话，MegatronLM已经比很多很多动物的大脑更复杂了。已经达到了灰熊的复杂度 ！可是问题是在这个列表里，大象的神经元数目比人类神经元更多。所以这个问题应该怎么理解呢？

首先，大象确实很聪明，比我们想的聪明，智商可以达到4，5岁的小孩。⁽⁴⁾所以神经元更多还是能决定很多事情的，也许是因为大象没有手指，所以无法更好的训练自己的大脑，或者说大象的体型太大，在非洲没有足够的天敌，所以没有动力去进化？无论如何，神经元更多，意味着聪明，我想，这两者的关系应该是一个线性回归的问题。那么是不是MegatronLM已经比灰熊更聪明了？

首先，如何定义聪明。狭义上的聪明已经被定义成了如何在智力测试中获取更高的分数。当然，有的人会觉得如何有更加好的创新能力更重要。在PISA测试里，考察数学，科学以及阅读的能力。所以似乎聪明没有我们想的那么好定义。

那么，灰熊到底有没有MegatronLM聪明？在自然界，特别是灰熊传统的生活区域内，他必然是聪明的，他甚至比很多人更聪明。因为他知道如何利用自己的爪子，如何利用森林去捕捉猎物。如果一个人没有受过训练，你就算给他一把加特林，他可能在森林中无法生存，因为他在接近猎物之前已经发出了太大的声音了。可是给这个环境来点变化，灰熊可能就没那么聪明了，在城市的水泥森林里，灰熊的智商可能是及其低的，因为他不知道如何在这种环境下生存下去。（当然可能会有人把它抓到动物园里，然后无忧无虑过一辈子）

Ok，在这里有些人可能想到了。人何止不是类似的动物呢？很多中国人到了欧洲美国日本，会感觉到自己不适应，会想家。直接的原因是语言问题。本质上最抽象的问题是对环境的不适应，而语言对人来说可能是环境的最重要一部分。

那么MegatronLM怎么样？它可以在53分钟内就训练/学习出来行业标准的BERT模型。⁽⁵⁾。至于Bert模型可以做到什么，这里有一个简单的demo⁽⁶⁾。灰熊可以在53分钟从刚出生学到这些吗？肯定不行，连人都不行。当然你不能说这个MegatronLM学习语义分析的能力更强，就说它更聪明。不过它在这个“环境”下，明显是更聪明的。

所以现在问题来了。以后每次你开始训练一个足够复杂的model的时候，在某种程度上你用模板（储存在硬盘上的代码）在内存里创建了一个至少比无脊椎动物更复杂的“生物”（内存里运行的模型）。那么，当你按下Ctrl+C结束这个程序的时候，我们是不是相当于杀死了一条鱼？