Google 于 2023 年 5 月 10 日推出了下一代 Pathways 语言模型 (PaLM 2) Google I/O 2023。其新的大型语言模型 (LLM) 比其前身 (PaLM) 进行了许多改进，最终可以准备好迎接其最大的竞争对手， OpenAI’S GPT-4。

但改善有多大 Google 制成？ PaLM 2 有何不同？ Google 希望如此，更重要的是，有这么多相似的功能，PaLM 2 与 OpenAI’S GPT-4？

PalLM 2 对比 GPT-4：性能概述

与其前身相比，PaLM 2 充满了新的和改进的功能。 PaLM 2 的独特优势之一是 GPT-4 是它有更小的尺寸，专门用于某些没有那么多内置处理能力的应用程序。

所有这些不同尺寸都有自己的较小型号，称为 Gecko、Otter、Bison 和 Unicorn，其中 Gecko 是最小的，其次是 Otter、Bison，最后是最大的型号 Unicorn。

Google 还声称思维能力得到提高 GPTWinoGrande 和 DROP 为 -4，前者在 ARC-C 中以微弱优势领先。 然而，PaLM 和 SOTA 都有显着的全面改进。

据PaLM 2称，PaLM 2在Google上的数学方面也更好，有91页长 PaLM 2 研究论文 [PDF]。 然而，方式 Google 和 OpenAI 由于测试结果的结构，直接比较两个模型很困难。 Google 此外，一些比较被省略，可能是因为 PaLM 2 的性能不如 GPT-4。

在MMLU中， GPT-4得分86.4分，PaLM 2得分81.2分。 HellaSwag 也是如此，其中 GPT-4 得分 95.3，但 PaLM 2 只能达到 86.8，而 ARC-E，其中 GPT-4和PaLM 2分别达到96.3和89.7。

PaLM 2 系列中最大的型号是 PaLM 2-L。 虽然我们不知道它的确切大小，但我们确实知道它比最大的 PaLM 模型小得多，但需要更多的训练计算机。 因此 GooglePaLM 有 5400 亿个参数，因此“小得多”的 PaLM 2 应该有 10 到 3000 亿个参数。 请记住，这些数字只是基于此的假设 Google PaLM 2论文中说。

如果这个数字接近 1000 亿或更少，PaLM 2 很可能在参数方面小于 GPT-3.5。 考虑到可能千亿以下的机型可以竞争 GPT-4，甚至在某些任务上击败它也令人印象深刻。 GPT-3.5 最初使所有内容停止流通，包括 PaLM，但 PaLM 2 已显着恢复。

PaLM 2带来的另一个明显的性能优势 GPT-4 是不同尺寸的可用性。 这意味着该模型的不同版本，例如 Gecko，即使没有互联网连接也可以在移动设备上运行，并提供内置人工智能功能 – 这是我们以前从未见过的 GPT-4。 这种类型的设备上处理为 PaLM 2 带来了优势 GPT-4 在可访问性和部署方面。

差异在于 GPT-4和PaLM 2训练数据

尽管 Google 尽管该公司尚未披露PaLM 2的训练数据集的大小，但该公司在其研究论文中报告称，新的LLM的训练数据集明显更大。 OpenAI 揭幕仪式也以同样的方式进行 GPT-4，不提供有关训练数据集大小的信息。

然而， Google 希望专注于对数学、逻辑、推理和科学的更深入理解，这意味着 PaLM 2 的训练数据很大一部分集中在上述主题上。 Google 他在文章中表示，PaLM 2 的预训练语料库由多种来源组成，包括网络文档、书籍、代码、数学和对话数据，使其全面改进，至少与 PaLM 相比是这样。

考虑到该模型已经过 100 多种语言的训练，使其具有更好的上下文理解和翻译能力，PaLM 2 的对话能力也应该达到另一个水平。 也就是说， Google 声称 PaLM 2 会产生较少的有毒结果，主要是因为它接受的数据较少，并且避免了可能包含仇恨言论或其他有毒行为的网站。 大型文本源，例如 Reddit 据报道，它们没有包含在训练集中，从而产生了一种“更干净”的输出。

就 GPTE 而言，训练数据为-4。 OpenAI 告诉我们，它使用公开数据及其许可的数据来训练模型。 GPT-4s研究页面 它指出：“这些数据是基于网络的数据集，包含数学问题的正确和错误解决方案、弱论证和强论证、矛盾和一致的陈述，并代表了各种各样的意识形态和想法。”

什么时候 GPT-4 提出问题可能会得到多种答案，但并非所有答案都与您的查询相关。 为了使其与用户的意图保持一致， OpenAI 使用强化学习和人类反馈来微调模型行为。

虽然我们可能不知道训练这些模型的确切训练数据，但我们确实知道训练意图非常不同。 我们必须等待，看看这两个模型之间训练意图的差异如何在现实世界的部署中发挥作用。

也就是说，用于它的训练数据的绝对数量 GPT-4 意味着它在理解语言的细微差别方面具有优势，并且理论上应该生成更高质量的输出。 然而，这也意味着 OpenAI 需要引入更严格的限制以防止模型失控 Google 考虑到这从训练数据中排除了潜在的有毒源，可以避免这种情况。

PaLM 2 和 GPT-4 个聊天机器人和服务

访问这两个 LLM 的第一个门户使用各自的聊天机器人 Bard 和 PaLM 2 GPT-4s ChatGPT。 也就是说， GPT-4 位于付费专区后面 ChatGPT 附加版和免费版用户只能访问 GPT-3.5。 另一方面，Bard 对所有人免费，可在 180 个国家/地区使用。

这并不意味着您无权访问 GPT-4也是免费的。 使用微软的 Bing AI Chat GPT-4 并且完全免费，所有人都可以访问，并且可以在 Bing 搜索旁边使用。 谷歌是该领域最大的竞争对手。

Google I/O 2023 上充斥着有关 PaLM 2 和生成式 AI 集成将如何改进这一点的公告 Google 具有 AI 功能的工作空间体验 Google 文件、表格、幻灯片、 Gmail，以及搜索巨头提供的几乎所有服务。 此外， Google 已确认 PaLM 2 已集成到超过 25 个 Google 产品，包括 Android 和 YouTube。

相比之下，微软已经推出了AI功能 Microsoft Office 程序套件及其许多服务。 目前，您可以体验两个法学硕士的类似产品版本，这些产品来自两家竞争公司在人工智能之战中的正面交锋。

然而，从那时起 GPT-4 很早就出来了，确保避免了很多错误 Google 它由最初的巴德构建而成，实际上已成为第三方开发人员、初创公司以及几乎任何其他想要将强大的人工智能模型集成到其服务中的人的法学硕士。 我们有一个清单 GPT-4 个应用程序（如果您想尝试的话）。

这并不意味着开发人员不会转向 PaLM 2 或至少尝试一下，但是 Google 仍然需要赶上 OpenAI 在这方面。 事实上，PaLM 2 是开源的，不依赖付费 API，这意味着它有可能得到更广泛的分发 GPT-4。

总而言之，在研究方面，目前由 PaLM 2 驱动的 Bard 似乎是更好的选择，因为它更擅长用相关信息回答问题，并访问互联网上有关特定主题的最新信息。 根据巴德的最新更新随着该版本于 2023 年 9 月 19 日发布，巴德现在利用其“迄今为止最强大的模型”，支持另外 40 种语言、全面的编码支持、针对给定主题呈现不同观点的能力以及整体质量和准确性的改进。

您还有机会仔细检查巴德的答案 Google 寻找。 然而，在性能方面，与模型相比，该模型仍然需要更长的时间来生成答案 GPT-4 供电 ChatGPT 或必应聊天。

可采用PaLM 2 GPT-4？

PaLM 2 还是很新，所以答案是它能否跟上 GPT-4仍然需要回答。 然而，随着一切的发生 Google 前景光明，并且考虑到其积极传播的方式，PaLM 2 看起来可以实现这一目标 GPT-4 争夺他的钱。 随着谷歌进一步开发名为 Gemini 的多模式人工智能模型，现在是时候了 OpenAI 开始吧。

然而， GPT-4 仍然是一个相当强大的模型，并且如上所述，在许多比较中都击败了 PaLM 2。 尽管如此，众多较小的型号给PaLM 2带来了无可辩驳的优势。 Gecko 本身非常轻量，它也可以在移动设备上离线工作。 这意味着PaLM 2可以支持可能难以使用的完全不同类别的产品和设备 GPT-4。

AI竞赛正在白热化

随着 PaLM2 的推出，AI 霸主地位的争夺已经白热化，因为这可能是第一个值得竞争的对手 GPT-4。 名为“Gemini”的新型多模式人工智能模型也在训练中， Google 这里没有任何放缓的迹象。