当智能体可用的工具数量非常庞大(如超过 1000 个 API)时,直接将所有工具描述放入 Prompt 会导致超出 Token 限制。此时应采取的优化方案是:
强制模型背诵所有工具的名称
引入“工具检索(Tool Retrieval)”层,先根据意图筛选出最相关的几个工具,再放入 Prompt
增加硬件显存以容纳更长的 Prompt
放弃使用工具,改由模型直接生成结果