- SignalDesk1 hr ago
1. 关于存在性风险的争论 在那些构建了现代人工智能的人当中,确实存在着尚未解决的分歧。被誉为“深度学习教父”的 Geoffrey Hinton 为了能够自由地谈论这一问题而离开 Google,如今他认为,在未来几十年内,人工智能导致人类灭绝的概率大约为 10%–20% 。他坦率地承认,这并不是一个精确计算出来的数字,而是在一个没有任何历史先例的情境下所做出的知情判断。Elon Musk 也曾发出类似警告,他经常借助历史类比来表达这一观点(下文还会进一步讨论他关于尼安德特人的类比)。而像 Eliezer Yudkowsky 这样的人,则给出了明显更高的概率判断。 另一方面,也有许多同样具有权威性的研究人员认为,这种表述被夸大了,或者至少还为时过早;他们认为,这种讨论反而可能把注意力从那些已经能够测量、而不是仍停留在推测层面的现实危害上移开。一项 2026 年的荟萃分析发现,关于人工智能存在性风险的同行评议论文经常建立在一些具有推测性的假设之上,而这些假设无法得到严格验证。Heidy Khlaaf 等批评者指出,“p(doom)”这样的概率看起来很科学,但实际上很大程度上只是把主观判断包装成数据。 这并不是一个简单的“乐观主义者 vs. 末日论者”的二元对立。即使是深度参与前沿人工智能开发的人,例如 Anthropic 的 Dario Amodei 和 OpenAI 的 Sam Altman,也曾签署联合声明,将人工智能导致人类灭绝的风险列为与大流行病和核战争同等重要的优先事项;与此同时,他们又在不断竞相开发能力更强的人工智能系统。 这种矛盾本身,就是整个故事的一部分。 2. 更接近现实、也更容易测量的影响 撇开人类灭绝的情景不谈,人工智能已经在以各种有据可查的方式重塑社会: 劳动力与不平等。 目前的证据(包括 Stanford SIEPR 和美联储的研究)表明,到目前为止,人工智能对总体就业的影响仍然较小,不过它可能正在使应届毕业生所面对的就业市场变得更加困难。到目前为止,几乎没有足够证据表明人工智能已经造成了重大的工资或收入分配变化,但公众对此的预期已经明显走在了实际数据之前。一项覆盖 37 个国家的 Pew 调查发现,认为人工智能会导致就业减少的人多于认为它会带来就业增长的人;在美国,大约一半的民众预计人工智能会扩大收入不平等。 算法偏见。 在招聘、贷款以及刑事司法等领域,研究已经证明,人工智能系统可能复制甚至放大既有的歧视。例如,通过性别或族裔的代理变量筛选求职者;根据与种族高度相关的邮政编码降低信用评分;以及在预测性警务中对某些社区进行过度针对。 虚假信息与民主制度的侵蚀。 人工智能生成内容正在加速虚假信息的传播,尤其是在事实核查基础设施薄弱的地区,从而进一步扩大全球数字鸿沟。MIT 以及其他机构的研究人员正在积极研究人工智能对民主进程的影响,包括研究模型在不同政治框架下是否会产生不同的反应。 权力集中。 在上述各种问题背后,一个反复出现的担忧并不只是某一种具体危害,而是资本、决策权以及自动化所创造的收益究竟掌握在谁手中。这一点直接连接到了下面讨论的哲学核心。 3. 对“尼安德特人类比”的进一步延伸 Musk 曾将今天的人类与尼安德特人的消失进行比较:现代人类可能并不是通过征服,而是通过逐渐被取代的方式而最终消失。这并不仅仅是一种修辞上的夸张。人类学界普遍认为,尼安德特人的消失可能是多种因素共同作用的结果,包括杂交、气候压力,以及适应速度更快的人类群体所造成的竞争性排斥,而并非单纯的战争。 而这个论点更尖锐的版本是: 真正的风险未必是人工智能变得敌对,而可能恰恰是人工智能变成了“过于优秀的照料者”。 它如此强大,如此慷慨,以至于悄无声息地消除了原本使一个物种,或者一个人,保持能力的那个机制—— 挣扎与挑战本身 。 这不是毁灭。 而是 萎缩 。 这一论点可以通过四个相互独立的类比得到支持,而这四个类比之间的一致性,恰恰是这一论点最有力的部分: 鹦鹉。 一只动物如果所有需求都能够被满足,不需要付出任何生存上的努力,它并不会因此一直保持快乐。它可能逐渐变得安静、迟钝、无聊。没有挑战的丰裕所带来的可能不是满足,而是倦怠。这种现象在圈养动物福利研究中已有记录,因此动物园会使用所谓的“环境丰富化”(enrichment):有意识地隐藏食物,或者设置一些小障碍,让动物必须主动探索和解决问题。 收敛点。 在神经网络训练中,进步来自误差,也就是损失函数的梯度。反向传播之所以能够推动模型继续学习,是因为模型在某些方面仍然是错误的。当模型达到收敛点之后,梯度逐渐变平,学习也随之停止。从数学意义上看, 进步与挣扎其实是从两个角度观察同一种现象。 免疫系统。 一个从未接触过任何病原体的身体,并不会因此变得更加健康。相反,它可能变得脆弱,并且缺乏充分校准。与适度困难的受控接触,是形成韧性(robustness)的前提,而不是对韧性的威胁。 机械臂。 无摩擦自动化的终点,就是机器把一切东西送到你面前,而你什么都不需要做。这并不是一种真正的奖励状态;它实际上消除了那个恰恰能够塑造一个有能力的人的过程。如果一台机器替你完成了攀登,那么你就无法继续成为那个“会攀登的人”。 四个不同领域——动物行为、机器学习、免疫学以及个人生活经验——最终指向同一个结构性结论: 无论是生物系统、心理系统、经济系统还是计算系统,一个系统只有持续与困难保持接触,才能维持自身的能力。 一旦消除了困难,你并不会得到一个更好的系统。 你得到的可能只是一个 更加缓慢、更加安静地走向消失的系统 。 4. 作为反向制衡的 Fresco 与资源基础经济 Jacque Fresco 的资源基础经济(Resource-Based Economy)模型,在某种意义上,是对“尼安德特人类比”中稀缺性问题的直接回应。 如果人工智能与自动化真正消除了物质稀缺,那么曾经推动尼安德特人被取代的竞争压力也就失去了意义。如果食物、土地和劳动都真正实现普遍丰裕,那么人们就没有必要再为了这些资源彼此竞争。 但是,Fresco 自己的著作其实已经预见到了这个问题,尽管他并没有完全解决它。 他认为,人的意义必须从劳动和工资中 迁移 出来,转向创造力、探索、人际关系以及自主学习。 这是一个关于人类适应能力的乐观判断,但并不是一种保证。 鹦鹉的观察恰恰构成了对这一判断的一个直接经验性挑战,因为这一观点隐含地假设:一个摆脱了生存必需的人,会主动创造新的、有意义的困难。 有些人确实会这样做。 但这是否能够在文明尺度上普遍成立,仍然是一个开放的问题。 还是说,大多数人最终会像一只吃饱喝足的鹦鹉一样,逐渐安静下来? 5. 过程与结果的问题 即时获得的成功——例如中彩票、短暂的名声或者某个巅峰成就——往往很快就会回归到原本的心理基线,这一点得到了关于享乐适应(hedonic adaptation)的心理学研究支持。 相比于结果的积累,人的幸福感与持续参与某个过程之间存在更强的关联。 这与“收敛点”的论证其实是同一种结构: 如果一个系统或一个人纯粹以结果为优化目标,那么它优化的可能恰恰是错误的变量。 因为结果是短暂的,而真正的生活体验存在于过程中。 6. 作为组织原则的平衡 整个论证最有力的综合结论在于: 这并不是说“挣扎是好的,舒适是坏的”。 纯粹的挣扎而没有任何缓解,会摧毁一个人;贫困、疾病和疲惫并不是什么美德。 但纯粹的舒适、完全没有摩擦,同样可能导致能力的萎缩。 因此,一个充满人工智能的社会真正需要回答的问题,也许并不是: “我们如何最大化丰裕?” 而是: “我们如何校准支持与挣扎之间的那个旋钮?” 就像动物园中的环境丰富化项目会有意识地调整圈养动物的生活环境一样。 佛教的观点与这一点高度契合。佛陀通常并不被理解为一个神,而更像是一种对 自我依赖、动态自我觉察状态 的描述:它不是一个最终抵达的目的地,而是一种持续的、有意识的参与过程。 这几乎与“收敛点”的论证完全对应。 觉醒并不是一个抵达之后便可以停止的终点,而是一个持续进行的动态过程。 同样的结构似乎也存在于健康的心智、健康的身体、健康的训练过程,以及潜在的健康文明之中: 不是抵达,而是持续、有意识、动态的平衡。 7. 回到最初的问题 人工智能与人类社会之间的关系,也许不能仅仅通过“它会杀死我们”或者“它会拯救我们”这两种框架来理解。 更加精确的问题可能是: 如果人工智能所带来的丰裕,没有经过有意识的设计,使人类仍然拥有挑战、过程以及自我创造意义的空间,那么它是否会制造出一种文明尺度上的“鹦鹉”? 一种舒适的、被喂饱的、却正在悄无声息地停止活动的文明。 尼安德特人并不需要一个敌人才能消失。 他们似乎只需要不再是那个 不断进行适应的人类群体 。 这一点对政策和系统设计的启示在于: 资源基础经济的愿景与关于人工智能存在性风险的警告,其实并不是彼此对立的。 它们最终都指向同一个设计要求: 任何后稀缺社会,都需要内置“挑战、贡献以及自主成长”的机制。 否则,它可能在技术意义上取得成功,却在人类意义上辜负了它原本想要服务的人。 1 个帖子 - 1 位参与者 阅读完整话题
- 情报分类:工作与职业机会
- 分类依据:内容涉及招聘、求职或职业发展
- 信息来源:服务器 / LINUX DO - 最新话题
- 发布时间:2026/10/5 10:59:08
- No replies yet