为什么这么简单的一个问题，所有不联网的 AI 全部都答错了

please sort unity event by their execution order:
Start Awake OnPointerDown OnBeginDrag OnDrag OnEndDrag OnPointerUp

正确的顺序 OnPointerUp 在 OnEndDrag 之前，所有 AI 不联网都按照问题里错误的顺序胡编 OnEndDrag > OnPointerUp ，我测试了好几遍都这样

但是如果把问题改成

please sort unity event by their execution order:
Start Awake OnPointerDown OnBeginDrag OnDrag OnPointerUp OnEndDrag

（用正确的顺序提问）

除了 Claude 3.5 Sonnet 还在坚持 OnEndDrag > OnPointerUp ，还详细胡编了一个解释 其它 AI 都能答对

在 Unity 里不管代码顺序怎么样，OnPointerUp 始终比 OnEndDrag 先调用

另外我还测试了把 OnBeginDrag 写错成 OnDragBegin ，OnEndDrag 写成 OnDragEnd ，只有推特的 Grok 发现了问题，别的 AI 全都按错误的事件名在回复，完全没有怀疑

另外第一次测试，Claude 3.5 Sonnet 还胡编了 Start > Awake （ Awake 一定比 Start 先） 重新提问没复现

那联网的能答对吗？

@shinsekai 联网的全答对了，因为 Google 能搜到现成答案

因为 LLM 本身并没有思考能力，只能模仿训练集里见过的模式来输出概率比较高的 token

@yukino 其实发展到目前这个水平，有无思考能力的界限已经模糊了。人脑不也是一个大型神经网络模型吗。

正常，因为训练的时候没有摄入相关的资料。行为上只能被迫玄学。

人的记忆不也是如此吗？

Claude 聊天记录 https://i.imgur.com/s1hhhOy.png 只有 Grok 发现我写错的事件名 https://i.imgur.com/oOErXgn.png Gemini 表现和 GPT4 差不多 https://i.imgur.com/lMDedBt.png

@yuzo555 还是有点区别的，虽然语言能力和思考能力有交集，但是 LLM 的输出更像是张嘴就来，训练集里没见过的内容就很容易出错。但是人还有更高层次的分析能力，目前的 COT 手段也很难实现同等的效果