@coefuqin 那你是说是 GPT4 的智能还不如老鼠？

@icyalala 老鼠不能理解文字，真的要比只能比在现实世界中完成任务的情况，比如觅食，躲避捕食者，交配 多大的 LLM 能够完成这些？

@trungdieu031 我过过脑子，当前 LLM reason 的能力怎么来的？不是 RL 后训练得到的？ COT 真要有提升的话，还关参数量什么事情？ 9B 的 LLM 带上 COT 能和 671B 的不带 reason 的比？

@trungdieu031 业内现在喷老黄喷的是他 GPU 单元的利用率其实是及其底下的，原因之一就是内存墙，数据供不上

@icyalala 你对智能的理解量，决定了是不是不如老鼠咯，你和我都不在一个频道上，有什么可讲的，不要艾特我了。

@catazshadow 那你是说在世界中有些人连觅食交配还不如老鼠，所以这些人连老鼠的智能都不如？

@icyalala 你要比应该在相同的基准上来比，多大的 LLM 能够分别完成所有老鼠和人的功能？然后比较 LLM 的大小你也许能获得老鼠和人哪个更具有智能 我希望你能获得你想要的答案

@catazshadow llm 的本质就是下一个字的概率预测，自己多看点入门的书就知道了，比如从零开始训练一个大模型。

@coefuqin 英文世界有人把 LLM 叫做 stochastic parrot ，很贴切了。上面那人就是因为我把这个说法搬过来叫做概率鹦鹉跑来追着我咬的

@catazshadow 我们说现在“摩尔定律失效“ 一般都在说晶体管尺寸（制成工艺）快要达到物理极限了，显存读取带宽目前还没有达到物理极限。 目前的超大模型都是在集群/分布式训练的， 单卡很少能容纳一个完整的超大参数模型，单卡的 DRM 读取速度不是主要瓶颈，因为卡与卡之间的通信比这个要久，所以未来比这个更大的模型也会采用同样的思路。而且还有其他手段来解决这些问题！