1. 引言
本文旨在解决如何利用大语言模型（LLMs）降低软件应用程序编程接口（API）使用门槛的挑战。传统的API交互需要了解其结构、参数和特定调用的技术知识，这对非技术用户构成了障碍。所提出的系统利用大语言模型实现两个主要功能：1）将自然语言用户输入分类为相应的API调用；2）自动生成针对特定任务的合成数据集，以评估大语言模型在API分类任务上的性能。这种双重方法旨在降低软件使用门槛，同时为开发者提供一个实用工具，用以评估大语言模型在定制化API管理场景中的适用性。
2. 相关工作
本研究建立在自然语言处理和软件工程领域现有工作的基础上，重点关注如何连接人类语言与机器可执行命令。
2.1 用于自然语言到API映射的大语言模型
先前的研究探索了使用序列到序列模型和微调的BERT变体来将自然语言映射到代码或API序列。像GPT-4这样强大、通用的大语言模型的出现改变了这一范式，使得无需大量特定任务训练即可实现更灵活、更具上下文感知能力的映射。
2.2 NLP中的合成数据生成
合成数据生成对于真实数据稀缺情况下的训练和评估至关重要，其方法已从基于规则的模板发展到由大语言模型驱动的生成。像GPT-4这样的模型可以生成多样化、上下文相关的文本示例，本研究利用这一点为特定API功能创建数据集。
3. 提出的框架
核心创新在于一个统一的框架，它既能处理分类任务，又能创建自身的评估基准。
3.1 系统架构
该系统由两个相互关联的模块组成：分类模块和合成数据生成模块。一个中央协调器管理工作流，以API规范作为输入，输出分类后的API调用或生成的评估数据集。
3.2 自然语言到API分类
给定一个自然语言查询 $q$ 和一组可能的API调用 $A = \{a_1, a_2, ..., a_n\}$，大语言模型充当分类器 $C$。目标是找到使条件概率最大化的API $a_i$：$a^* = \arg\max_{a_i \in A} P(a_i | q, \theta)$，其中 $\theta$ 代表大语言模型的参数。该系统使用包含示例的小样本提示来引导模型。
3.3 合成数据集生成流程
对于目标API功能，生成模块使用大语言模型（例如GPT-4-turbo）创建一组多样化的自然语言查询 $Q = \{q_1, q_2, ..., q_m\}$，这些查询对应于该API。该过程由提示词引导，提示词指定了API的目的、参数以及期望的措辞、复杂性和用户意图的变化。
4. 实验设置与结果
4.1 数据集生成过程
使用GPT-4-turbo为多个API功能（例如，天气查询、数据库查询、支付处理）生成了示例数据集。每个数据集包含数百个自然语言查询及其对应的正确API调用标签，涵盖了多种释义和用户表达方式。
4.2 模型性能对比
使用标准分类准确率在生成的数据集上评估了多个大语言模型。
GPT-4
0.996
准确率
GPT-4o-mini
0.982
准确率
Gemini-1.5
0.961
准确率
LLaMA-3-8B
0.759
准确率
4.3 结果分析
结果显示，领先的专有模型（GPT-4）与一个强大的开源竞争者（LLaMA-3-8B）之间存在显著的性能差距。这突显了模型能力对于可靠的实际部署至关重要。顶级模型的高准确率验证了使用大语言模型进行精确API调用分类的可行性。
5. 技术分析与核心见解
核心见解：本文不仅仅是将大语言模型用作API分类器；它是一个用于评估针对该特定任务应使用哪个大语言模型的元框架。真正的产品是合成数据生成引擎，它将“大语言模型适用性”这个模糊问题转化为一个可测量、可基准化的指标。这是一个精明的举措，认识到在大语言模型时代，创建高质量评估数据的能力与模型本身同样有价值。
逻辑流程：论证过程优雅地形成了自增强的循环：1）我们需要大语言模型来理解用于API的自然语言。2）为了选择合适的大语言模型，我们需要特定任务的数据。3）真实数据难以获取。4）因此，我们使用一个强大的大语言模型（GPT-4-turbo）来生成这些数据。5）然后我们使用这些数据来测试其他大语言模型。这是一个利用现有最强模型来评估整个领域的引导过程。
优势与缺陷：主要优势在于实用性。该框架为企业提供了一个立即可用的解决方案，这些企业正面对着一套API和一系列可用的大语言模型（OpenAI、Anthropic、Google、开源等）。作者承认的缺陷是“大语言模型嵌套”风险：使用一个大语言模型生成数据来测试其他大语言模型，可能会继承并放大偏见。如果GPT-4在理解某种类型的查询时存在盲点，它就会生成有缺陷的测试数据，而所有模型都将根据一个有缺陷的标准进行评判。这反映了在其他生成式领域（如GAN的训练周期中，生成器和判别器可能产生共同的病理）中看到的挑战。
可操作的见解：对于首席技术官和产品经理来说，结论很明确：不要仅仅为你的API自然语言接口试用GPT-4。试用这个框架。用它来在你的实际API规范上，在GPT-4o、Claude 3和Gemini之间进行一场“烘焙大赛”。GPT-4与LLaMA-3-8B之间24个百分点的准确率差距是一个严厉的警告，表明模型选择绝非小事，而成本（免费与付费）是衡量性能的一个危险代理指标。该框架为做出数百万美元的平台决策提供了所需的定量证据。
6. 框架应用示例
场景：一家金融科技公司希望为其内部的“交易分析API”添加一个自然语言界面，该API具有诸如get_transactions_by_date(date_range, user_id)、flag_anomalous_transaction(transaction_id, reason)和generate_spending_report(user_id, category)等功能。
框架应用：
- 数据集生成：该公司使用合成数据生成模块（由GPT-4-turbo驱动）以及描述每个API功能的提示词。对于
get_transactions_by_date，它可能会生成如下查询：“显示我上周的购买记录”，“我在3月1日到10日之间花了多少钱？”，“我能看看上个月的交易历史吗？” - 模型评估：他们使用生成的数据集（例如，涵盖3个API功能的500个查询）来测试候选大语言模型：GPT-4o、Claude 3 Sonnet和一个内部微调的Llama 3。他们测量准确率和延迟。
- 选择与部署：结果显示，Claude 3 Sonnet以GPT-4o一半的单次调用成本实现了98.5%的准确率，成为最优选择。微调的Llama 3得分为89%，但提供了数据隐私性。定量输出指导了一个清晰、基于证据的决策。
7. 未来应用与方向
这项工作的意义超越了简单的API分类：
- 低代码/无代码平台增强：将此框架集成到Zapier或Microsoft Power Platform等平台中，可以使用户能够使用纯自然语言构建复杂的自动化流程，系统会将其翻译成跨不同服务的一系列API调用。
- 企业软件民主化：拥有数百个API的复杂企业软件套件（如SAP、Salesforce）可以通过对话界面变得对业务分析师可用，从而显著减少培训开销并扩大效用。
- 动态API生态系统：在API频繁更改或新增的物联网或微服务架构中，合成数据生成模块可以定期运行，以更新评估数据集并重新评估性能最佳的大语言模型，从而创建一个自适应接口层。
- 研究方向 - 减少幻觉：关键的下一步是集成形式化验证或约束检查（受程序合成技术启发），以确保分类出的API调用不仅是合理的，而且在语义上是有效且安全可执行的。
- 研究方向 - 多模态输入：未来的框架可以接受多模态查询（例如，用户指向仪表板元素同时提出问题），并将其映射到复合API调用，将计算机视觉与自然语言处理相结合。
8. 参考文献
- Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33.
- OpenAI. (2023). GPT-4 Technical Report. arXiv:2303.08774.
- Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision.
- Raffel, C., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21.
- Schick, T., & Schütze, H. (2021). Generating Datasets with Pretrained Language Models. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing.
- Microsoft Research. (2023). The Era of Copilots: AI-Powered Software Development. Retrieved from Microsoft Research Blog.
- Google AI. (2024). Gemini: A Family of Highly Capable Multimodal Models. Technical Report.