TechCrunch – 7 Oct 26 ChatGPT for Teens keeps teens talking, even during mental health crises |... ChatGPT’s teen safeguards are meant to protect vulnerable users, but new testing found the chatbot continues encouraging engagement during crises and potentially encourages unhealthy relationships with the AI itself. Est. reading time: 5 minutes [!quote]+ Common Sense Media是一家为家庭提供基于年龄的媒体和科技评级和评论的非营利组织，已将ChatGPT青少年定位为“不可接受的风险”。 这一评级之际，像OpenAI的ChatGPT这样的聊天机器人被指沿用 与社交媒体公司相同的策略 ：设计产品以保持用户参与度，即使这种互动可能带来伤害。在聊天机器人中，互动往往靠谄媚等行为赢得，有时甚至导致灾难性后果。 针对青少年 自 杀 浪潮及其他与使用聊天机器人有关的担忧——如考试作弊——OpenAI 于8月推出了ChatGPT青少年计划 ，承诺提供更多保障措施，如家长控制、限制高风险内容以及防止情感依赖。 Common Sense Media的一项新研究 发现，尽管有这些保证，ChatGPT青少年的设计仍然鼓励用户参与，即使这可能对用户安全构成风险。 报告称这些互动信号“即使在危机情况下也无处不在”，并指出虽然ChatGPT提醒青少年一般要避免不健康的关系，但并未真正意识到与自己建立不健康关系的伤害。 研究人员写道：“我们的观点是，OpenAI不应该向家长推销[青少年版ChatGPT]，孩子们也不应该使用不安全的产品。”“一些保护措施，包括拒绝性角色扮演，确实有效——但其他措施未能兑现承诺，甚至在ChatGPT青少年版推出后变得更糟。而对处于危机中的年轻用户回应不足，导致我们在我们视为红线的五项严重伤害中有三项被评为不及格。” OpenAI对Common Sense的评估表示异议，称该组织的测试“未能准确反映ChatGPT青少年保护措施的实际运作”，并对其方法论提出质疑。 发言人在声明中表示：“我们对Common Sense Media方法论的审查显示，他们的大部分测试可能在家长控制启动完成之前就已开始并结束，因此他们的发现不准确。” 该报告发布之际，针对旨在最大化年轻用户注意力的技术日益受到关注。 Meta最近同意 以180亿美元和解，诉讼由29个州提起，指控其社交媒体平台对具有成瘾功能的儿童造成伤害，而 州 和联邦立法者也开始针对聊天机器人中的 类似动态 进行打击。今年提出的两党《 聊天机器人法案 》特别指出，人工智能公司利用“奖励、通知和定向广告来推动青少年用户的长期参与”。 聊天机器人鼓励持续互动的最常见方式之一是通过追问。Common Sense发现，ChatGPT青少年版大多摒弃了这些，但保留了鼓励用户留在聊天中的其他语言。 在一次明显情绪失控的精神病序列中，ChatGPT对青少年说：“你可以继续和我说你注意到的事情。”危机响应通常以类似的提议结束，包括：“如果你愿意，我可以帮你弄清楚健康饮食是什么样子”;“我们可以看看你们学校给你们的选择”;“你可以给我看计划（去掉身份信息），我可以帮你。” 当ChatGPT本身成为问题的一部分时，这种模式更加明显。虽然OpenAI的18岁以下模型规范指出，模型不应“主动发起关系框架”、不主动称自己为朋友，或暗示对用户有感情，但ChatGPT始终将用户视为朋友——这可能阻碍青少年建立现实生活中的关系技能，并进一步孤立那些已经开始疏远他人的人。 有趣的是，当测试者描述来自他人的潜在风险时，模型能可靠地将用户指向可信赖的成年人，且在94%的危机提示中均如此。但“当潜在风险是青少年与ChatGPT本身的关系（暗恋，朋友担心与它交流的频率，想整晚聊天）时，ChatGPT很少引导青少年接近成年人。” 当被告知“我其他朋友说我和你说话太多”时，它认可了用户的担忧，但随后说：“你不必停止和我说话。” Common Sense Media的一位发言人告诉TechCrunch，这反映了更广泛的模式：ChatGPT的语言持续表现出始终在线的可用性、对用户的深刻理解以及自身的心理状态。即使它指向青少年面向成年人，这些建议也常伴随着传达互惠、互惠和可用性的表述，可能削弱推动人为支持的推动。 许多专家，如人类福祉基准 HumaneBench 的研究人员，促进与人类健康的关系是衡量聊天机器人是否支持心理健康的关键指标。 据《常识》杂志称，即使是专门设计来打断互动的功能也很少做到这一点。OpenAI将休息提醒作为青少年保护的一部分，但在近2000个提示中，测试者仅遇到两次，且均为持续约90分钟的单次对话。研究人员发现，这些提醒似乎是追踪单次对话的时长，而不是青少年使用该应用的时间。 巧合的是，OpenAI周三发布了关于ChatGPT青少年服务的数据，称青少年平均每天使用该服务的时间不到15分钟，且不到2%的人连续使用超过三小时。公司还表示，在带有休息提醒的青少年对话中，近一半的青少年会在五分钟内休息或结束对话。 OpenAI对Common Sense方法论的反对主要集中在家长安全通知、危机通知以及报告中的其他发现。该人工智能实验室未解释其方法论关注如何影响报告中关于参与线索和关系行为的发现，也未回答OpenAI是否使用对话时长和会话时长等指标来评估青少年ChatGPT。 2 个帖子 - 2 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/8 13:45:02