看了全程,NVDA目前主要的观点是: - 一切都可以tokenize:文字、图像、视频、物理、策略等等全部都是token,AI=token的输入和输出流 - 一切都可以端到端暴力训练和推理:无论是自动驾驶还是具身智能,因此所有的努力都应放在更高速的计算以及更多的训练数据上(不过作为卖铲子的人,不可能不这么说) - 旧的范式没有变化:依然是模型+数据,数据不足时数据端能做的无非(1)生成更多数据;(2)数据增强。收集少量的数据,然后通过cosmos等得到更多的数据,就是一种数据增强的思路。

个人对已有质疑的质疑: - LLM的不可解释性:但是人也有巨大的无意识隐藏在意识之下,要解释它们、知道那里有什么,并不比通过不断地询问探究LLM到底知道什么更容易 - LLM的愚蠢:逻辑差、不擅推理、不擅数学、胡言乱语,这些常谈的弱点却也存在于很多人类身上。个人对现在发生的事的理解是人类第一次通过生物上增殖以外的方法亲手创造了智慧(已经不存在了的上帝又一次不存在了)

个人的质疑: - Transformer:在真的实现之前都很难说transformer架构可以完全支撑对人类大脑的全部模仿,也没有脑科学上的研究足够说服我人脑和transformer间的相似性。虽然说gpt火了以后对模型架构的研究少了很多,但我想研究总还在继续(比如谷歌最近的Titans),针对transformer优化的各类硬件也许哪天就都没用了? - 人类普遍智慧的下降:在万事先找gpt的时代人类是否还能保持思考的习惯、保持创作的真诚?Stack overflow访问量锐减是个不妙的开头。当神经元连接的必要工作有了外部的替代物,几十亿个大脑会怎样?按照目前的训练方式,如果AI没有在人类失去智慧前获得高于人类的智慧,似乎就永远无法获得了

虽然依然保持怀疑,还是感叹几年前人们还在说生成式语言模型没有常识,而今天人们甚至想以端到端的方式让大模型理解物理。人类无意识习得的知识和技能,究竟有什么是AI不能学会的呢?但长期的乐观和短期的乐观完全不同,观察了一年还是没有定论,浪潮中的普通人真难看明白世界会被推到哪里去,出于好奇而投身其中罢了……