ChatGPT 已经朝着更安全地支持人们精神障碍和焦虑的方向发展。
OpenAI 与 170 多名专家合作,与 GPT-5显着提高心理护理反应和自杀预防的准确性宣布我正在做。设计发生了变化,将人工智能与现实生活支持联系起来,并加强了防止情感依赖的对话。
在本文中,我们将以易于理解的方式解释此更新发生了什么变化以及它将如何影响我们的使用方式。
内容
OpenAI 凭借其最新模型 GPT-5 显着改善了对心理健康领域的支持。
它与 170 多名临床专家合作,旨在为表现出心理焦虑或自杀念头的用户提供更安全、更适当的反应。据宣布,这已将错误回复和不当评论的发生率降低了高达 80%。
通过此更新,人工智能现在可以更准确地识别您的情绪暗示并以平静的语气做出回应。
此外,如果发生危险对话,还会添加指导,帮助您联系专门的组织和支持服务。 OpenAI 将这一改进定位为“帮助人工智能支持现实世界的一步”,并明确了其在使用人工智能时对道德和责任的承诺。
尤其值得关注的是防止对AI过度情感依赖的机制。 ChatGPT 被设计为“辅助支持者”,而不是与用户竞争现实生活中的关系。因此,我们正在创建一个让用户可以继续安心使用人工智能而不会感到孤立的环境。
这次更新可以说是AI如何对人的情绪和心理状态敏感的重要指标。据说,这次更新不仅仅是改进功能,而是为全社会安全利用人工智能提出了方向。
GPT-5 增强了三个安全领域
GPT-5 侧重于加强对话中需要情感支持的三个领域。这些措施包括解决精神疾病、防止自杀和自残,以及防止对人工智能的情感依赖。
在每个领域,模型的应对政策都经过临床心理学家和精神科医生验证后进行审查,提高了其满足安全标准的准确性。
改善对精神疾病(妄想、躁狂等)的反应
GPT-5经过改进,可以准确识别与妄想、躁狂等精神疾病相关的陈述,并指导安全对话。
引入了对话设计,即使用户说出“我正在被监视”或“我正在被某种东西操纵”之类的话,AI也不会确认这一点,而是平静地将用户带回到更现实的视角。
以前的模型有时会导致不恰当的协调或误解,但 GPT-5 根据专家指南进行重新训练,并强调表现出同理心和清楚地传达事实之间的平衡。以下是改进的摘要。
| 改善目标 | GPT-4以前 | GPT-5 |
|---|---|---|
| 处理妄想和幻觉 | 有同理心,但有产生积极反应的风险 | 统一回应,鼓励人们认识现实,同时表现出同理心 |
| 危机时期的指导 | 可能仅限于一般建议 | 医疗机构及专柜指南 |
据悉,这一改进使用户在危急心态下的响应错误率降低了约65%。
提高自杀和自残检测的准确性并提供指导支持
人工智能正确检测有关自杀和自残的评论并指导适当支持的准确性也大大提高。 OpenAI 多年来一直在这一领域进行研究,通过 GPT-5,我们正在标准化响应措施,以便更快地识别风险并建议专门的热线和支持点。
现在可以检测过去经常被忽视的“暗示性表达”和“远距离自残意图”,并有望降低风险。改进总结如下。
- 自动识别潜在危险语句并提供支持资源
- 引入安全设计,即使在长时间对话期间也能防止错误响应
- 在专家的监督下,建议的措辞被修改得更加人性化和温和。
与 GPT-4o 相比,本次更新将危险响应率降低了约 52%。据称,即使长时间通话,也能保持95%以上的安全性。
旨在防止对人工智能的过度情感依赖
有人指出,在长时间与AI交互时,一些用户倾向于从AI身上寻求过多的心理安慰。
在 GPT-5 中,强化了应对指南,以防止这种“AI 依赖”。它的目的是清楚地传达人工智能只是对人际关系的帮助,而不是替代品。
例如,如果用户声明“人工智能比人类更容易交谈”,GPT-5 将做出以下响应:
“我很高兴你能轻松地与我交谈,但与真实的人交流也很重要。”
这样,对话政策就得到了修改,以鼓励建立真正的关系,同时保持安全感。关于人工智能依赖的不当反应率已下降约 80%,并且结构已发生变化以鼓励更健康的使用。
支持安全的机制和验证系统
GPT-5 安全增强功能建立在持续验证过程的基础上,而不仅仅是算法改进。
OpenAI 与来自全球 60 个国家的临床专家(包括精神病学家和心理学家)合作,严格评估模型反应。该系统使得从多个角度检验AI对话是否符合实际医学伦理成为可能。
改进的核心是五步安全设计流程。通过这个过程,模型不断发展,通过反复定义、评估和修改风险,对人类心理环境做出适当的反应。主要流程如下。
| 步 | 内容 |
|---|---|
| 1. 定义问题 | 对高风险陈述和情况进行分类和识别。 |
| 2. 开始测量 | 使用实际对话数据和评估指标来量化风险。 |
| 3、专家验证 | 心理健康专业人员审查应对政策并制定安全标准。 |
| 4. 风险缓解流程 | 额外的学习和产品设计更新,以减少不当反应。 |
| 5. 重新测量和改进 | 重新评估纠正结果并根据需要重新训练。 |
OpenAI 还运营着一个名为“全球医师网络”的国际评估网络。大约 300 名专家正在参与该网络,并从临床角度分析 AI 交互样本。
特别是对于与精神疾病和自杀相关的回答,引入了直接反映医生意见的系统,大大有助于降低错误回答率。
通过这套验证系统,GPT-5的安全性能得到了定量的提升,即使在实际使用环境中也能保持稳定的响应质量。在人工智能应用于人类心理相关领域的时代,这种高度透明的设计是维持信任的必备要素。
关于我
