DC娱乐网

Spring AI推出Tool Search Tool模式,实现动态工具发现:L

Spring AI推出Tool Search Tool模式,实现动态工具发现:LLM初始仅接收搜索工具,按需查询并加载相关工具定义,在多模型场景下实现34-64%的token节省,同时提升工具选择准确率,支持管理数百个工具而不造成上下文膨胀。

ToolSearchToolCallingAdvisor 扩展了 Spring AI 的 ToolCallingAdvisor,实现动态工具发现。

工具搜索工具流程
1. 索引 (Indexing):对话开始时,所有已注册的工具都被索引到 ToolIndex 中(但不会发送给 LLM)
2. 初始请求 (Initial Request):只将工具搜索工具的定义发送给 LLM
3. 发现调用 (Discovery Call):当 LLM 需要某些能力时,它会调用搜索工具并传入查询
4. 搜索与展开 (Search & Expand):ToolIndex 找到匹配的工具,并将其定义添加到下一次请求中
5. 工具调用 (Tool Invocation):此时 LLM 既能看到搜索工具,也能看到已发现工具的定义
6. 工具执行 (Tool Execution):执行已发现的工具并返回结果
7. 响应 (Response):LLM 生成最终答案

夏日生活打卡季 探寻人工智能,人与AI全新序章