为什么这么简单的一个问题，所有不联网的 AI 全部都答错了

please sort unity event by their execution order:
Start Awake OnPointerDown OnBeginDrag OnDrag OnEndDrag OnPointerUp

正确的顺序 OnPointerUp 在 OnEndDrag 之前，所有 AI 不联网都按照问题里错误的顺序胡编 OnEndDrag > OnPointerUp ，我测试了好几遍都这样

但是如果把问题改成

please sort unity event by their execution order:
Start Awake OnPointerDown OnBeginDrag OnDrag OnPointerUp OnEndDrag

（用正确的顺序提问）

除了 Claude 3.5 Sonnet 还在坚持 OnEndDrag > OnPointerUp ，还详细胡编了一个解释 其它 AI 都能答对

在 Unity 里不管代码顺序怎么样，OnPointerUp 始终比 OnEndDrag 先调用

另外我还测试了把 OnBeginDrag 写错成 OnDragBegin ，OnEndDrag 写成 OnDragEnd ，只有推特的 Grok 发现了问题，别的 AI 全都按错误的事件名在回复，完全没有怀疑

@yukino 其实和人没啥区别，“人还有更高层次的分析能力”只不过是人接受的训练集多而已。。。让小学生来回答这个问题，还强制他不能回答不会，必须回答，那他也只能胡言乱语

还有个更简单的, 离散数学真值表, 在线 AI 都答不对.

LLM 本身并不能区分学到的信息是对的还是错的，目前没有办法制作出“不含错误信息”的训练数据

@yuzo555 还是有点区别的，虽然语言能力和思考能力有交集，但是 LLM 的输出更像是张嘴就来，训练集里没见过的内容就很容易出错。但是人还有更高层次的分析能力，目前的 COT 手段也很难实现同等的效果

Claude 聊天记录 https://i.imgur.com/s1hhhOy.png 只有 Grok 发现我写错的事件名 https://i.imgur.com/oOErXgn.png Gemini 表现和 GPT4 差不多 https://i.imgur.com/lMDedBt.png

人的记忆不也是如此吗？

正常，因为训练的时候没有摄入相关的资料。行为上只能被迫玄学。

@yukino 其实发展到目前这个水平，有无思考能力的界限已经模糊了。人脑不也是一个大型神经网络模型吗。

因为 LLM 本身并没有思考能力，只能模仿训练集里见过的模式来输出概率比较高的 token