Agent 系列之 LLM Compiler框架解析

论文摘要

【论文标题】：《An LLM Compiler for Parallel Function Calling》；

【发布时间】：2023.12.04；

【论文链接】：https://arxiv.org/abs/2312.04511；

【内容摘要】

这篇论文介绍了一种名为LLMCompiler的新方法，用于在语言模型中并行执行多个函数调用，以提高效率和准确性。该方法基于经典编译器的原则，包括规划、任务获取和执行三个组件。通过自动优化执行计划，LLMCompiler可以与开源和私有模型一起使用，并已在各种任务上进行了测试，取得了比现有方法更高的速度、成本节省和准确性的结果。

主要内容

方法描述

LLMCompiler，旨在通过自动识别任务之间的依赖关系来优化大规模多模态推理问题的执行效率。该方法包括三个组件：一个LLM规划器（LLM Planner），一个任务获取单元（Task Fetching Unit）和一个执行器（Executor）。其中，LLM规划器负责生成一系列任务及其依赖关系，并使用预定义的提示引导其创建依赖并确保正确的语法；任务获取单元根据策略将任务分配给执行器，同时替换变量为前一任务的实际输出；执行器异步地执行任务，并将结果传递给后续任务。

此外，该方法还支持动态重新规划，即在未知中间结果的情况下适应执行流程。当出现复杂的分支结构时，执行器会将中间结果发送回LLM规划器，以便重新计划和分派任务。

解决的问题

LLMCompiler的目标是优化大规模多模态推理问题的执行效率。传统的工具增强型LLMs通常需要手动指定任务之间的依赖关系，这可能会导致计算效率低下。而LLMCompiler则可以自动识别任务之间的依赖关系，并将其转化为执行顺序，从而实现更高效的计算。此外，LLMCompiler还支持动态重新规划，可以在未知中间结果的情况下适应执行流程，进一步提高了计算效率。

LangChain实现

代码不贴了，可参考github：https://github.com/langchain-ai/langgraph/blob/main/examples/llm-compiler/LLMCompiler.ipynb?ref=blog.langchain.dev

总结一下，LLM Compiler与AcWOO类似，都通过宏观的计划与执行减少了Prompt内容，但LLM Compiler通过支持任务并发执行可以显著提升效率。