开源人工智能将促进新模型的激增，这些模型与专有模型相辅相成
开源人工智能才刚刚起步，其发展势头正在加速。这将使新的LLM能够与专有模型互补并协同工作。为了了解如何以及为什么，以及接下来需要做什么，让我们放大并只考虑过去两周在这个快速发展的领域发布的公告。
OpenAI和微软这两家大型专有合作公司的发明速度之快，激励和挑战了我们每一个思考人工智能和大型语言模型的人。斯坦福大学的Chris Ré呼吁在人工智能中建立一个Linux时刻，模型激增，Jon写了一篇关于LLM中iPhone/Android紧张关系的文章。但这些预测都发生在“很久以前”的2023年1月！如今，ChatGPT的1亿用户、这些专有玩家聚集的人才和资本，以及培训新的大型模型的大量资源，都在提出一个问题：专有产品是我们唯一需要的吗？我们是否正在进入一个谷歌式的主导时代，或者可能是一个狭隘的寡头垄断时代，少数玩家控制着我们整个行业的平台（模型、应用程序、数据反馈回路）？
大概这将是这些球员的历史性胜利。这将导致我们行业创新、建设和运营方式的代际调整。但我们最好的猜测仍然是，回顾LLM的早期，这些问题听起来就像TJ Watson 1943年预测的“可能有5台计算机的世界市场”
我们预计LLM会激增，而不是过度集中。高级专有产品将继续发挥重要作用。但企业也将拥有一个或多个自己的私人有限责任公司。新公司将通过突破功能和模式的极限来创建。我们预计开源模型体系结构将在这种扩散中发挥重要作用。我们可以通过考虑过去两周宣布的专有和开放创新来看到这一点。
……企业将拥有一个或多个自己的私人有限责任公司。新公司将通过突破功能和模式的极限来创建。
- 首先，让我们回顾一下OpenAI和微软在过去两周取得的进展。我们在科学层面（GPT4的推出）、运营层面（Yusuf Mehdi的事后透露，Bing Chat自推出以来一直在GPT4上大规模运行）、平台层面（ChatGPT插件）和应用层面（365 Copilot）取得了显著成就。有很多理由相信我们才刚刚开始：GPT-4的图像输入功能甚至还没有广泛使用。在专有模型世界的其他地方，Adobe和谷歌也有重大的发布。呜呜。
- 接下来，让我们比较这两周开源模型的创新速度。在科学层面，我们看到了斯坦福大学的Alpaca模型的发布，该模型在Meta的LLaMa模型的基础上进行了微调，其行为与OpenAI的text-davinci-003（GPT-3的一种味道）相似。LLaMa功能强大，但足够小，可以接受中等金额（约80000美元）的再培训，并调整教学费用约600美元。它甚至可以在Macbook Pro、智能手机或Raspberry Pi上运行。我们还看到了Databricks的Dolly的发布，这是一个具有ChatGPT风格行为的开源模型，开发人员也可以私下进行廉价的再培训。Dolly不仅本身很有用，而且它还清楚地展示了微调的力量（只需对一个两岁的基础模型进行30分钟的微调即可创建Dolly）。LLaMa、Alpaca和Dolly仅用于研究，不用于商业用途。但其他新模型，如Together.xyz的OpenChatKit和Cerebras的7个Cerebras GPT模型家族，都是在众所周知的Apache 2.0许可证下发布的，该许可证允许商业使用。就在过去两周的运营层面，我们看到OctoML、Banana、Replicate和Databricks发布了新的公告，所有这些都有助于在云中进行模型训练和推理。在平台级别，即使是ChatGPT插件也可以立即与其他模型集成，开源实现在最初发布后不到24小时就推出了。在应用程序层面，Runway还推出了基于开源模型的Gen2文本到视频功能。所有这些都发生在过去的两周里。它显然代表了一种快速而广泛的创新步伐，以回应前面描述的专有公告。
- 接下来，让我们考虑一下客户现在是如何以及为什么使用开源人工智能模型的。我们在HuggingFace上看到了数百万次下载，在Replicate上看到了数以百万计的开源计算机视觉模型（如Stable Diffusion和ControlNet）的运行。在语言模型方面，我们看到了Cerebras培训基础设施的参考客户，包括葛兰素史克（GlaxoSmithKline）和阿斯利康（AstraZeneca）（每一家都有高度敏感的培训数据），以及Jasper AI（一家在OpenAI上推出但现在寻求更深护城河的公司）。上周，Luis在Madrona的年会上与Coda、Lexion和CommonRoom的领导人进行了炉边谈话，他们一致认为对自己的专有数据进行微调的重要性，并表达了对与任何外部方共享时可能出现的客户数据保护的共同担忧。
围绕专有模型和开源模型出现了常见的线程。OpenAI等专有模型之所以有用，是因为它们是最先进、最准确的，也因为它们易于采用。根据最新的斯坦福HELM基准测试，Cohere的一个新专有模型在16个“核心”场景中与OpenAI模型并列第一。开发人员可以通过API轻松访问这些模型，最终用户可以通过ChatGPT、Bing或Microsoft 365等应用程序轻松访问它们。但与此同时，我们也看到开源模型仅落后于最先进的专有模型约6-18个月。Dolly和类似的项目展示了微调的简单性和强大性，以进一步提高精度。开源提供了灵活性、可配置性和隐私性等额外优势。
综上所述，现在让我们考虑一下我们对未来的看法：
- 已经发生了：用于管理模型的数据和工具正在推动开源人工智能。如今，从业者可以访问大规模数据集，如LAION（图像）、PILE（多种语言文本）和Common Crawl（网络爬行数据）。他们可以使用Snorkel、Ontocord、fastdup和xethub等工具来策划、组织和访问这些大型数据集。
- 已经发生了：Runway、Stability AI、Midtravel、Jasper、Numbers Station等客户正在使用开源模型来突破模式和功能。葛兰素史克和阿斯利康等客户正在使用开源模型来保持对专有数据的控制。
- 相信它：正如MLOps从业者多年来构建的模型集合一样，我们预计会看到LLM集合，其中可能包括专有和开源模型的混合。这样的组合将允许开发人员在准确性/适合性、延迟、成本和监管/隐私方面进行优化。
- 已经发生了：客户已经在微调LLM，但随着模型的基本质量提高和工具变得更容易使用，与交易更大的基本模型相比，微调的影响和实用性将变得更具吸引力。这意味着，企业将越来越多地拥有自己（或其中许多）经过私人培训的LLM。
- 依靠它：将上述LLM集合再向前推进几步，开发人员也将开始使用开源LLM进行推理和（有限的）边缘训练，与云中的模型集合协同工作。
我们还可以看到缺少了什么，以及接下来会发生什么。
- 在数据和模型方面的广泛合作：这一运动将使伟大的企业得以建立，但它是建立在广泛合作的基础上的。因此，我们共同支持像LAION和Common Crawl这样的开源数据项目是很重要的，它们为大量的模型训练提供了基础。此外，以允许商业使用的方式许可开源模型对于确保这种合作同样重要。
- 广泛的研究合作：这一领域的许多有利研究都是由少数企业实验室发表的。商业上的紧张关系是可以理解的，但这些实验室必须继续发表有意义的研究，以最大限度地扩大集体反馈循环。
- 基础设施和操作：OpenAI、Cohere甚至HuggingFace在作为API提供的模型和部署它们的平台内核之间有着紧密的耦合——模型优化、二进制代码、硬件选择、自动缩放等。这意味着，即使人们可以选择一个开放模型或构建自己的自定义模型，他们也没有平台来部署它。香蕉、Modal、OctoML等，所有人都在努力提供平台选项，以“将模型与系统工程脱钩”。为了让开发者更容易参与开源人工智能运动，这里有很多工作要做。
我们将通过表彰OpenAI和微软以及他们在Cohere、Anthropic等领域的同行所取得的惊人创新，结束我们的起点。我们还将表彰HuggingFace、Eleuther、Stable Diffusion、Meta、谷歌、亚马逊、LAION、Common Crawl、OntoCord、斯坦福大学、华盛顿大学等机构的巨大研究贡献，这些机构正在推动这一波开源创新。
我们对LLM的未来以及这些专有和开源方法的结合将成为可能感到无比兴奋。
