The batch tool

📚 学习笔记：LLM 并行工具调用策略

核心概念：

• 多工具调用能力 (Multiple Tool Use):
• 理论上，单个助手消息（Assistant Message）可以包含多个工具使用块（Tool Use Blocks），实现任务的并行处理（例如：同时计算 10+10 和 30+30）。
• 实际挑战 (Practical Challenge):
• 在实际应用中，大型语言模型（如 Claude）往往难以在单个响应中生成多个工具调用，即使任务是明确的并行任务（例如：设置两个独立的提醒）。
• 解决方案：批处理工具 (Batch Tool):
• 为了强制 LLM 执行并行任务，可以引入一个“批处理工具”。
• 结构： 该工具接收一个“调用列表”（List of Invocations）。
• 内容： 列表中的每个对象代表一个需要调用的底层工具，包含工具名称和对应的参数。

工作机制 (Mechanism):

• LLM 的行为： 当 LLM 决定执行多个并行任务时，它不会直接调用多个底层工具，而是调用这个统一的“批处理工具”。
• 外部代码的实现 (External Implementation):
• 外部代码需要拦截批处理工具的调用。
• 代码负责遍历 LLM 提供的调用列表。
• 对于列表中的每一个调用，代码需要解析 JSON 参数，并调用相应的底层工具（例如 set_reminder）。
• 代码收集所有底层工具的执行结果，并返回给 LLM。
• 目的： 通过这种“抽象层”的实现，我们绕过了 LLM 难以直接生成多工具调用的限制，从而实现了并行执行。

Takeaways

• 理论上，LLM支持多工具并行调用，但实际应用中，LLM难以在单个响应中生成多个底层工具调用。
• 解决方案是引入“批处理工具”（Batch Tool），该工具接收一个包含所有底层工具调用信息的“调用列表”。
• LLM在需要并行任务时，不会直接调用底层工具，而是统一调用这个批处理工具。
• 外部代码负责拦截批处理工具的调用，遍历列表，解析参数并执行所有底层工具，从而实现并行执行。