为何以及如何制定企业 genAI 政策

随着大量公司继续测试和部署生成人工智能 (genAI) 工具，许多公司面临着人工智能错误、恶意攻击和违反监管机构的风险——更不用说敏感数据的潜在暴露。

例如，今年 4 月，三星半导体部门允许工程师使用 ChatGPT 后，使用该平台的员工至少泄露了三次商业机密。已发布的帐户。一名员工将机密源代码粘贴到聊天中以检查错误，而另一名员工与 ChatGPT 共享代码并“请求代码优化”。

ChatGPT 由其开发商 OpenAI 托管，该公司要求用户不要分享任何敏感信息因为它无法被删除。

系统集成提供商 Insight Enterprises 的全球首席技术官马修·杰克逊 (Matthew Jackson) 表示：“这几乎就像在使用谷歌一样。”“您的数据由 OpenAI 保存。他们可以使用您在聊天窗口中输入的任何内容。您仍然可以使用 ChatGPT 来帮助编写通用内容，但您不想将机密信息粘贴到该窗口中。”

底线是Gartner 副总裁兼杰出分析师 Avivah Litan 表示，法学硕士 (LLM) 和其他 genAI 应用程序“尚未完全成熟”。她说：“它们仍然存在准确性问题、责任和隐私问题、安全漏洞，并且可能会偏离不可预测或不受欢迎的方向，但它们完全可用，并极大地促进了生产力和创新。”

最近哈里斯民意调查发现企业领导者在未来一年推出 genAI 工具的两大原因是增加收入和推动创新。近一半（49%）的人表示，在技术创新方面跟上竞争对手的步伐是今年面临的最大挑战。（哈里斯民意调查在 2023 年 4 月至 5 月期间调查了 1,000 名担任董事或更高职位的员工。）

受访者认为员工生产力（72%）是人工智能的最大优势，而客户参与度（通过聊天机器人）和研发分别位居第二和第三。

人工智能应用呈爆炸式增长

根据咨询公司的独立调查，未来三年内，大多数企业领导者希望采用 genAI 来提高员工的工作效率并增强客户服务安永（安永）和研究公司哈里斯民意调查。大多数首席执行官正在将人工智能融入产品/服务中，或计划在 12 个月内实现这一目标。

安永在其调查报告中表示：“2023 年，没有哪家企业领导者能够忽视人工智能。如今，82% 的领导者认为，企业必须投资于数字化转型计划，例如生成式人工智能，否则就会落后。”

在由系统集成服务供应商委托进行的哈里斯民意调查中，约有一半受访者洞察企业，表示他们正在采用人工智能来确保产品质量并解决安全风险。

安永调查的美国首席执行官中，42%表示他们已经将人工智能驱动的产品或服务变化完全融入其资本配置流程，并正在积极投资人工智能驱动的创新，而38%的首席执行官表示他们计划在未来12个月内对该技术进行重大资本投资。

哈里斯民意调查显示，超过一半（53%）的受访者希望使用 genAI 协助研究和开发，50% 的受访者计划将其用于软件开发/测试。

尽管高管层认识到 genAI 的重要性，但他们也保持警惕。安永调查中 63% 的首席执行官表示，这是一股向善的力量，可以提高企业效率，但 64% 的首席执行官认为，在管理 genAI 使用对企业和社会造成的任何意外后果方面，他们做得还不够。

两项民意调查显示，鉴于“人工智能的意外后果”，八成组织已经制定了人工智能政策和战略，或正在考虑这样做。

人工智能问题与解决方案

生成式人工智能是第二大被提及的风险Gartner 第二季度调查据Gartner风险与审计实践研究总监徐冉称，这是该公司首次进入前十名。

徐直军在一份声明中表示：“这反映了公众对生成式人工智能工具的认识和使用的快速增长，也反映了这些工具潜在用例的广度，以及由此产生的潜在风险。”

幻觉是 genAI 应用程序呈现的事实和数据看似准确，但实际上并非如此，这是主要风险。众所周知，人工智能输出会无意中侵犯他人的知识产权。使用 genAI 工具可能会引发隐私问题，因为它们可能会在未经事先通知的情况下与第三方（如供应商或服务提供商）共享用户信息。黑客正在使用一种称为“即时注入攻击”来操纵大型语言模型如何响应查询。

“这是一个潜在的风险，人们可能会问它一个问题，认为数据是正确的，然后根据不准确的数据做出一些重要的商业决策，”杰克逊说。“这是人们最担心的问题——使用不良数据。在我们的调查中，排名第二的是安全性。”

Litan 解释说，组织在部署 genAI 时面临的问题主要分为三类：

• 输入和输出，包括危及企业决策和机密性的不可接受的使用、敏感数据的泄露以及不准确的输出（包括幻觉）。
• 隐私和数据保护，包括通过托管 LLM 供应商系统泄露数据、不完整的数据隐私或保护政策以及未​​能满足监管合规规则。
• 网络安全风险，包括黑客访问 LLM 及其参数来影响 AI 输出。

Litan 表示，缓解此类威胁需要分层的安全和风险管理方法。组织可以通过多种不同方式减少不必要或非法输入或输出的可能性。

首先，组织应制定可接受的使用政策，并建立系统和流程来记录使用 genAI 应用程序的请求，包括预期用途和所请求的数据。GenAI 应用程序的使用还应获得各种监督人员的批准。

组织还可以使用输入内容过滤器来过滤提交到托管 LLM 环境的信息。这有助于根据企业政策筛选输入，以确定其是否可接受使用。

通过选择不托管即时数据存储，并确保供应商不使用公司数据来训练其模型，可以降低隐私和数据保护风险。此外，公司应该仔细阅读托管供应商的许可协议，该协议定义了其 LLM 环境中数据保护的规则及其责任。

最后，组织需要注意即时注入攻击，这是一种恶意输入，旨在诱骗 LLM 改变其期望的行为。这可能导致数据被盗或顾客被骗通过生成式人工智能系统。

Gartner 表示，组织需要围绕本地企业 LLM 环境提供强大的安全性，包括访问管理、数据保护以及网络和端点安全。

Litan 建议 genAI 用户部署安全服务边缘将网络和安全结合在一起形成云原生软件堆栈的软件，用于保护组织的边缘、站点和应用程序。

此外，组织应要求其 LLM 或 genAI 服务提供商负责如何防止对其 LLM 的间接提示注入攻击，因为用户组织对此没有控制权或可见性。

人工智能的优势大于风险

公司犯的一个错误是认为使用人工智能不值得冒险，因此“大多数公司提出的第一个政策是‘不要使用它’”，Insight 的杰克逊说。

“这也是我们的第一项政策，”他说。“但我们很快就在 Azure 技术上使用微软的 OpenAI 建立了一个私人租户。因此，我们创建了一个安全的环境，我们可以在其中连接到一些私有企业数据。这样，我们就可以允许人们使用它。”

Insight 的一名员工将生成式人工智能技术描述为 Excel。“在将 Excel 交给员工之前，你不会问他们如何使用它；你只需将它交给他们，他们就会想出各种创造性的方法来使用它，”杰克逊说。

Insight 最终与许多客户讨论了 genAI 用例，并考虑到该公司自身使用该技术的经验。

“我们的一些试点项目让我们意识到，人工智能其实只是一种通用的生产力工具。它可以处理很多用例，”杰克逊说。“……我们决定，与其经历一个漫长而冗长的过程来过度定制它，不如把它交给一些部门，给他们设定一些通用的框架和界限，告诉他们能做什么和不能做什么，然后看看他们能想出什么。”

Insight Enterprises 使用 ChatGPT 的首批任务之一是在其配送中心，客户在此购买技术，然后公司对这些设备进行成像并将其发送给客户；该过程充满了平凡的任务，例如更新产品状态和供应系统。

“因此，我们仓库中的一位员工意识到，是否可以要求生成式人工智能编写脚本来自动执行某些系统更新，”杰克逊说。“这是一个实际用例，源自 Insight 在整个组织范围内众包其自己的私有企业 ChatGPT 实例（称为 Insight GPT）。”

生成式人工智能程序写了一个简短的PythonInsight 仓库操作的脚本可以自动执行大量任务，并启用可针对其 SAP 库存系统运行的系统更新；它本质上自动化了每次更新时人们需要花费五分钟完成的任务。

“因此，我们仓库的生产效率得到了大幅提升。当我们向该中心的其他员工推广该技术时，每周节省了数百小时的时间，”杰克逊说。

现在，Insight 专注于优先考虑可能需要更多定制的关键用例。这可能包括使用快速工程以不同的方式训练 LLM 或绑定更多样化或更复杂的后端数据源。

Jackson 将 LLM 描述为一个预先训练好的“黑匣子”，其训练数据通常为几年前的数据，且不包括公司数据。不过，用户可以指示 API 访问公司数据，就像高级搜索引擎一样。“这样，你就可以访问更相关、更及时的内容，”他说。

Insight 目前正在与 ChatGPT 合作开展一个项目，旨在实现合同编写的自动化。该公司使用标准的 ChatGPT 4.0 模型，将其连接到其现有的数万份合同库。

组织可以使用 LLM 扩展，例如朗链或微软的Azure 认知搜索通过生成式 AI 工具发现与任务相关的公司数据。

在 Insight 的案例中，genAI 将用于发现公司赢得了哪些合同，对这些合同进行优先排序，然后将它们与 CRM 数据进行交叉引用，以自动为客户撰写未来合同。

某些数据源（例如标准 SQL 数据库或文件库）易于连接；其他数据源（例如 AWS 云或自定义存储环境）则更难以安全访问。

“很多人认为你需要重新训练模型才能将自己的数据输入其中，但事实并非如此；这实际上可能有风险，具体取决于模型所在的位置和执行方式，”杰克逊说。“你可以轻松地在 Azure 中建立其中一个 OpenAI 模型，然后在该私有租户中连接你的数据。”

“历史告诉我们，如果你给人们正确的工具，他们就会变得更有效率，并找到新的工作方式来为自己谋利，”杰克逊补充道。“拥抱这项技术为员工提供了前所未有的机会来发展和提升他们的工作方式，对一些人来说，甚至还能发现新的职业道路。”