在这篇博文中，我想更深入地了解开源大型语言模型。我通常将帖子重点放在 OpenAI 的 GPT-4 或 Aleph Alpha 的 Luminous 等专有模型上。尽管这些公司提供了大量的开源软件和模型，但今天我想重点讨论纯开源模型。在这种情况下，我想向您介绍三个重要的模型，并说明为什么开源语言模型如此重要。
什么是开源？
开源是一种基于自由访问和修改软件源代码的有影响力的技术概念。它促进协作、持续改进和知识共享。 Linux 和 Apache 等历史项目影响了技术发展，是现代系统的重要组成部分。开源背后的理念是协作努力和透明度带来卓越的解决方案。这种方法不仅限于软件，还扩展到硬件、数据和科学，为技术和知识的民主化做出了贡献。
开源是当今研究和开发领域的重要工具，使每个人都可以在已经 医疗实践电子邮件列表 取得的进步的基础上再接再厉。这提供了开发创新应用程序或重大改进的机会，而无需被迫重新设计已经建立的概念。开源理念为多元化的开发者和公司社区提供了获取人工智能技术的机会。他们有多大或有多少财务资源并不重要。这种获取先进技术的民主化是开源原则的核心部分。开源项目的另一个重要方面是透明度。提供源代码和训练数据可以深入研究人工智能模型的工作原理及其潜在偏差。这有助于增进对此类技术的理解和信任。
基准测试
找出哪种模型最适合哪种用途非常重要。选择的方法是来自独立提供商的基准。他们给自己设定的任务是使用数据集评估大型语言模型，从而实现模型之间的客观比较。
首先，我想介绍一下 Hugging Face 的 OpenLLM 排行榜。 Hugging Face 是一家法裔美国公司，专注于实现自然语言处理人工智能的民主化。您可以在OpenLLM 排行榜网站上查看排行榜。但需要注意的是，该排行榜仅包含开源模型，并未考虑 Aleph Alpha、Anthropic 和 OpenAI 等商业提供商。
模特列表，来源：Hushing Face
我还想指出斯坦福大学的语言模型整体评估（HELM）基准，它可以对语言模型进行全面评估。您可以在此处查看基准测试：HELM Benchmark。此外，还应该提到 LMSYS（Vicuna 模型的发明者）的聊天机器人领域。这使得可以使用 Elo 系统对聊天机器人进行比较。您可以在此网站找到相关信息。
聊天机器人竞技场，来源：Hugging Face
型号
在本章中，我将讨论三个重要模型的历史和功能。基础模型是大型语言模型，可以学习大量未标记的数据，从而获取对许多应用程序有用的“世界知识”。