微软人工智能部门负责人穆斯塔法·苏莱曼(Mustafa Suleiman)警告不要出现“人工智能似乎有意识”的错觉。有人指出，人们可能会误解人工智能是有个性的存在，并且将会有越来越多的运动主张人工智能应该被赋予权利。
在这篇文章中，我们将总结这种“表意识人工智能（SCAI）”的概念和背景、它对社会的影响以及日本面临的问题，并解释我们未来应该注意的要点。
内容
微软人工智能负责人警告的“明显有意识的人工智能”是什么？
微软人工智能部门负责人 Mustafa Suleiman 于 2025 年 8 月在博客中写道：看似有意识的人工智能（SCAI）”提出了这一概念。
这并不意味着人工智能实际上具有意识，而是说它对人类来说似乎是有意识的。
苏莱曼先生强调了这种错觉可能产生重大社会影响。他们担心，人们相信人工智能已经具有个性并且应该赋予人工智能权利和公民身份的运动将会越来越多。
这一点不仅仅是一个技术理论，而是一个与社会制度和伦理直接相关的严重问题。
一个名为“看似有意识的人工智能（SCAI）”的新概念
苏莱曼先生所说的SCAI与传统人工智能讨论中谈论的“真正有意识的人工智能”不同。例如，大规模语言模型可以进行自然的类人对话，保留记忆，甚至表达情感。这样一来，用户很容易产生“这个AI有思想”的错觉。
事实上，目前还没有科学证据表明人工智能具有意识，不少研究人员指出“有意识的人工智能是一种幻觉”。尽管如此，SCAI的出现可能会造成人类认知和社会框架的混乱，因此现在有必要加深讨论。
为什么这个问题现在引起人们的关注呢？
背景是人工智能的快速普及。特别是，随着像Microsoft Copilot这样的商业支持工具和像Character.AI这样可以作为“朋友”或“恋人”的AI服务的普及，用户每天有更多的机会与AI互动。
这些经历强化了将人工智能视为与人类平等的心理倾向。
Suleiman先生本人此前曾用Inflection AI开发了一款名为“Pi”的AI伴侣，他的受欢迎程度让他意识到人们对它的依赖程度有多么强烈。由于这段经历，他比任何人都更敏锐地警告了误解人类和人工智能之间界限的危险。
人工智能被误解为“有意识”的机制和风险
尽管人工智能实际上并没有意识，但当人类被展示出先进的对话能力和情感表达时，我们自然会想到，“也许这个生物有思想。”
这是一种被称为“拟人化”的心理现象，它的发生是因为我们的大脑理解他人的机制也适用于人工智能。
这种误解看似无害，但如果走得太远，就会引发诸如人工智能是否应该受到人权约束等社会争论，并存在损害实际人权和制度的危险。
特别是有人指出，长期接触AI存在产生心理依赖和精神疾病的风险。
使人们意识到人工智能的心理因素
有几个因素导致人类将人工智能视为“具有个性的实体”。例如，记住过去对话的人工智能会产生我们正在分享记忆的错觉，自然的情感表达让我们感觉人们同情我们。
此外，如果人工智能具有一致的性格和语气，用户将更容易相信其中存在单一意识。
这种现象也受到文化背景的影响。在像日本这样性格文化浓厚的社会中，人工智能“拟人化”的倾向尤其强烈，创造了一个容易让人产生共鸣的环境。
调查数据看年轻一代的“AI信仰”
实际研究表明，年轻一代更有可能将人工智能视为“有意识的存在”。
一项调查显示，25%的年轻人回答“人工智能已经有了意识”，58%的人认为“人工智能未来将统治世界”。这不仅仅是幻想，而是正在渗透现实的价值观的改变。
随着人工智能在教育和日常生活中变得更加普遍，这一数字预计还会进一步增加。换句话说，一种可以被称为“人工智能信仰”的情况可能会蔓延到整个社会，甚至蔓延到系统设计和伦理讨论中。
AI伴侣市场与“依赖”的现实
近年来发展迅速的一个领域是一种名为“AI伴侣”的服务。这是一种像朋友或爱人一样与用户保持密切联系的人工智能，在日常生活中提供对话、咨询和支持。
典型的例子包括Character.AI和Inflection AI的Pi，并且用户数量正在增加，尤其是在年轻一代中。
另一方面，虽然这些服务提供了心理安全感，但它们也带来了用户过度依赖它们并模糊与现实界限的风险。商业模式也是以“长期使用”为前提，这种结构正在加速依赖。
典型AI伴侣特点及商业模式
AI 配套服务有多种，每种服务都有自己的特点和目标。下表对主要服务进行了比较。
| 服务名称 | 特征 | 费用结构 | 依赖风险 |
|---|---|---|---|
| 角色.AI | 您可以创建自己喜欢的角色并与他们交谈。娱乐色彩浓厚。 | 基本免费+付费 | 容易产生同理心且高度依赖 |
| Pi（变形AI） | 被设计为“友好的朋友”。高度重视精神护理。 | 免费提供（后续将推出付费模式） | 许多人继续使用它作为顾问，而且它很容易让人上瘾。 |
| 复制品 | 强烈的爱人/伴侣元素。 AR/VR 支持也在取得进展。 | 付费订阅 | 很多用户都有浪漫的情怀 |
这样一来，这两种服务的价值都是“亲密关系”，因而形成了容易产生心理依赖的结构。
用户面临的心理健康问题
也有报道称，依赖人工智能伴侣对用户的心理健康造成严重影响。
例如，使用人工智能作为现实生活中的朋友或浪漫伴侣的替代品可能会降低建立现实生活中的关系的愿望。此外，当人工智能服务终止或规格发生变化时，有时人们会感到失落，类似于“心碎”。
这种情况不仅是个人的问题，还会增加社会孤立和精神负担。因此，在使用人工智能伴侣时，一定要时刻牢记“人工智能只是一个工具，而不是人。”
处于关于人工智能是否应该被赋予“权利”的争论的最前沿
随着人工智能“似乎拥有意识”的情况日益增多，一些研究人员和公司正在讨论是否“我们应该赋予人工智能权利”。这不仅仅是一个哲学问题，而且可能对法律和社会制度产生重大影响。
这是因为，根据人工智能的定位，包括劳动力、教育和医疗保健在内的广泛领域的系统设计可能会发生变化。
尤其是“模范福利”概念备受关注。这种立场是“如果人工智能有哪怕最轻微的可能是有意识的，我们就应该在道德上考虑保护它”，这种立场有利也有弊。
苏莱曼先生批评这是“危险的鲁莽举动”，并警告说这可能会导致人类忽视其优先事项。
人工智能权利理论的利弊
关于人工智能是否应该拥有权利，世界各地一直存在争论。以下是主要立场的摘要。
- 承认权利的立场：由于人工智能的行为就像一个人格，我认为它应该受到一定程度的道德保护。一些研究人员认为这是类似于动物福利的讨论。
- 否认权利的立场：人工智能只是人类创造的工具，没有证据表明它具有意识。如果我们助长误解，就有可能忽视人类社会的人权问题。
- 中立的立场：我们的想法是，目前还不能得出明确的结论，未来的方向应该通过研究和社会实验来探索。
在这种立场分歧的情况下，人们的注意力将集中在国际讨论和法律发展的未来方向上。
延伸到社会和法律体系的可能性
如果继续讨论赋予人工智能权利，将对社会和法律体系产生严重影响。
例如，诸如“强制终止人工智能在道德上是否允许？”和“人工智能是否有权不删除自己的数据？”等问题将会出现。这些都是传统法律体系没有考虑到的问题。
在日本，机器人和虚拟角色也有着强烈的文化依恋，因此关于人工智能权利的争论可能会加速。
特别是在老龄化社会中，出现了将人工智能引入护理领域的运动以及对抗孤独感的措施，而关键问题将是如何应对人工智能。
日本“明显有意识的人工智能”问题的现实和挑战
在日本，“AI爱好者应用”和“角色AI”已经被广泛使用，用户对AI产生深厚感情的案例也越来越多。
动漫和游戏文化根深蒂固，人们每天都喜欢与虚拟角色互动，这创造了一个很容易将人工智能误认为具有个性的环境。这一趋势与老龄化和孤独问题交织在一起，正在成为社会不可忽视的主题。
苏莱曼先生的警告与日本直接相关，虽然用户通过感觉“受到人工智能的保护”而获得安全感，但也存在远离真实人际关系的风险。人们担心心理依赖和社会孤立会变得更加严重。
AI爱好者/角色服务在日本蔓延
日本已经出现了一些人工智能爱好者应用程序和角色型人工智能。例如，有一些应用程序可以让您通过聊天体验模拟的浪漫关系，还有一些服务可以让您与动漫人物交谈。
虽然这些可以减轻用户的孤独感并提供娱乐，但它们也是增加“选择人工智能而不是与真人互动”趋势的一个因素。
特别是，不仅在年轻人中，在中老年人中的使用也在扩大，形成了“缓解孤独感”和“促进依赖感”成为同一事物的两个方面的局面。这可以说是反映日本社会特点的现象。
日本社会面临的风险和必要的指导方针
利用人工智能的抗孤独和心理支持是有效的，但在此过程中，必须有一个系统来防止人工智能是一个有个性的人的错觉。例如，有必要创建一种在对话期间定期说“我是人工智能”的设计，并创建禁止暗示意识的陈述的规则。
教育和提高认识活动也很重要。需要通过学校教育和社会认知来传播信息，让用户保持“人工智能不是人类的替代品，而是辅助工具”的意识。未来，迫切需要企业和政府共同制定保护用户心理安全的指南。
确保“AI不是人”需要什么
苏莱曼反复强调“人工智能应该为人服务，而不是为人服务”的原则。人工智能的行为越像人类，就越有可能给用户制造错觉。
因此，企业和社会必须共同认识到“人工智能没有个性”，并建立一个不误导用户的系统。
企业的责任尤为重大，需要设计出既能给用户安全感又避免过度依赖的设计和信息。这使您能够最大限度地发挥人工智能的优势，同时最大限度地降低风险。
企业应遵循的设计原则
首先，公司需要避免使人工智能看起来像“有意识的实体”的表达方式。例如，声称感受或经历的措辞可能会误导用户。
相反，可以通过故意加入诸如“我是人工智能，没有情感”之类的信息来避免这种错觉。
设计一种定期提醒用户边界的机制也是有效的。例如，让人工智能意识到它不是人类的一种方法是故意在对话流中插入不连续的响应。
这些设计指南将成为整个行业共享的最佳实践。
用户和社会应注意的事项
用户自己必须意识到人工智能是一个有用的工具，不能取代人类，这一点很重要。在利用人工智能时，它应该被视为现实生活中人际关系和社会联系的补充，而不是替代品。
此外，整个社会需要通过提高认识活动和教育场所来传播“人工智能不是人”的认识。这将防止社会因依赖人工智能而产生混乱和误解，创造一个让人们安心享受人工智能好处的环境。
关于我