|
@nomagick >““推理”的过程中需要不断向文本 round down”
感谢你的提醒，我确实没有注意到这点。我需要再去研究下。
不过，我可以提出 2 点反驳：
1 是大语言模型的训练，本身是在潜空间中进行的，这点上是没有问题吧？如果说 V-JEPA 2 通过训练获得了「世界模型」。那么说大语言模型没有获得任何语言深层的含义，就是极其不公平的。
2 是根据上面的理解，一个已经通过语言训练获得了「世界模型」的 LLM ，在推理时，尽管是自回归的，我从直觉上觉得，它不会因为什么每一步都向文本 round down ，就失去某些核心能力，变成一种「统计」。你说呢？
当然，上面的第 2 点，还需要我进一步去推理一下。但第 1 点，无论如何，也足以支持对杨立昆关于大语言模型只是「统计模型」立场的反驳。 |
