在人工智能领域,大型语言模型(LLM)是基于预先训练好的数据集进行“学习”,得到能够拟合结果的参数。虽然随着参数的增多,模型的能力也随之提升,但无论是专门的小模型,还是当今最流行、性能最好的大模型,都有一个共同的缺点:无法准确/正确地回答训练数据集之外的结果(不同于验证集和测试集,比如实时新闻、未公开的公司信息等),然后虚构答案来回应,即所谓的LLM幻觉问题。
为了解决上述问题,同时避免微调或重新训练 的成本 ,LLM插件应运而生。通过将LLM强大的内容生成能力和上下文理解能力与插件提供的数据和特定功能相结合,不仅扩展了LLM的应用领域,而且也增加了LLM生成结果的可信度,更好地为用户服务。
大型语言模型插件
第 1 部分。什么是插件?
插件是一种软件组件, 比利时 whatsapp 数据 可以添加到主应用程序或系统以扩展其功能或提供附加功能。
插件通常被设计为独立安装和卸载,并能与主应用程序交互。插件的功能取决于应用领域和具体应用。在AI飞速发展的今天,LLM插件异军突起,改变了插件的存在形态,这也是本文的重点。
结合目前LLM插件的发展情况,插件分类如下:
插件分类
1. 传统插件
传统的插件(又称addin、add-on、addon)是按照一定的应用程序编程接口规范编写的程序,只能运行在程序指定的系统平台上(可能同时支持多个平台),无法脱离指定平台独立运行,即插件的运行依赖于宿主软件,无法选择性地启用或禁用插件功能。
传统插件可以分为浏览器插件和客户端软件插件,传统插件的存在方式如下图所示。
浏览器插件
软件插件
2. LLM 插件
LLM插件是随着大型语言模型的发展而诞生的一种全新类型的插件。
LLM插件的核心是Web API,独立于大语言模型。插件开发过程不受大语言模型的约束,也不受开发语言的限制,通用性更强。只要Web API遵循RESTful相关规则,就可以构建LLM插件。
配置大语言模型插件时需要遵循配置规则,如原生 ChatGPT 插件配置需遵循 OpenAPI 格式并添加相关描述。大语言模型与插件是两个相对独立的部分,大语言模型与插件关系如下图所示。
LLM 插件
大型语言模型对于插件都是有选择器的,按需使用插件函数,也就是只有当用户的疑问或者数据满足插件调用条件的时候才调用插件,不会胡乱使用插件函数。
LLM插件的工作流程如下图所示。