175 条回复  ·  19783 次点击
coefuqin 初学 2025-5-15 13:29:08
@catazshadow yep ,摩尔定律到头了,无法切割原子。另外纵向立体堆叠也要考虑热量的问题。
trungdieu031 初学 2025-5-15 13:29:09
@catazshadow CPU 的摩尔定律已经很慢了,GPU 的摩尔定律显然还没到头,看老黄每年新卡的计算能力就知道了。
coefuqin 初学 2025-5-15 13:31:09
@NoOneNoBody 乐观估计几十年。
icyalala 小成 2025-5-15 13:31:33
@catazshadow 并不是所有神经元的连接都是有作用的。神经元的数量也无法对应智能的水平。LLM 的参数也无法对应神经元的连接。 如果你非要类比,你来解释一下 LLM 参数量小于老鼠神经元连接时,LLM 表现的智能也要高过老鼠?
coefuqin 初学 2025-5-15 13:32:16
@trungdieu031 别闹,但凡单卡能无敌上限,他会卖一体机?还搞光交换机拓展机柜?
coefuqin 初学 2025-5-15 13:33:21
@icyalala 老鼠能感知危险,LLM 能吗?你对于智能的理解很片面。
catazshadow 楼主 小成 2025-5-15 13:34:28
@trungdieu031 老黄吹的是 GPU 内的算力,他不会告诉你的是,从 DDR 读数据的带宽是有尽头的,一个周期只能读回来那么多数据,怎么在合理时间内读回来足够的数据,用来表示比现在的模型大 1000 倍的更大的模型? HBM ?集成几百颗显存吗?
trungdieu031 初学 2025-5-15 13:35:03
@coefuqin 我建议你不要听风就是雨! 先仔细看看文章说的是啥再来辩经! 他这篇文章的结论是 RL 无法实现超越基础模型能力的推理。RL 只是激发能力做推理过程,文章讨论的模型能力的边界问题。举个例子,如果一个模型在预训练阶段没有在数学集上做过相应的训练,那么 RL 深度思考也是没法表现出来数学的形式计算能力。 开口之前先过过脑子!
coefuqin 初学 2025-5-15 13:36:56
@trungdieu031 不是 GPU 的摩尔定律没到头,是他把芯片越做越大来提升的性能。因为 GPU 的独立性,他把现在电路板都做成芯片也行。
easing 小成 2025-5-15 13:37:19
我部分认可你的标题,但完全不认同你的推理。
返回顶部