Skip to content

fix: 插件模型调用不再全表扫描调用记录,修复整点任务导致的事件循环卡顿 - #126

Merged
LEN5010 merged 1 commit into
masterfrom
fix/digest-mind-usage-scan
Nov 15, 2026
Merged

LEN5010 merged 1 commit into
masterfrom
fix/digest-mind-usage-scan

Conversation

@LEN5010

@LEN5010 LEN5010 commented Nov 15, 2026

Copy link
Copy Markdown
Collaborator

改动内容

线上实例每个整点出现 15–23 秒的事件循环卡顿,22:00 的 group_digest daily-summary 连续调用模型时,从 22:00 到 22:07 几乎每分钟卡一次。loop_monitor 记录的调用栈全部停在 request_estimate → store.last_mind_usage 的同步 SQLite 查询。

原因:last_mind_usage 的查询(WHERE scene=? AND role='mind' AND plugin IS NULL ORDER BY id DESC LIMIT 1)没有可用索引,执行计划为 SCAN model_calls。scene 列排在 request、response 两个大字段后面,逐行判断要读溢出页;插件调用记录的 plugin 有值,没有聊天回合的群永远匹配不到,每次都扫完整张表。线上库 8.7 GB,容器内存上限 1.25 GiB,页缓存装不下,每次都从磁盘读。

  • request_estimate 新增 plugin 参数,插件发起的模型调用(无论 role)不再查询聊天用量参照;request_model 传入自己的 plugin。聊天回合和 compact_now 不受影响。
  • 新增部分索引 model_call_mind_usage ON model_calls(scene,role,id) WHERE plugin IS NULL,查询计划改为 SEARCH model_calls USING INDEX model_call_mind_usage (scene=? AND role=?)。其余 model_calls 查询在有无新索引时计划相同。

配置与数据

业务数据库格式 2 → 3。upgrade 接受格式 1、2,由补建缺失索引的循环建立新索引。大库首次建索引需要读取大部分文件,可能需要数分钟,期间实例须停止。升级后 0.2.7 无法打开数据库,回退需要升级前的快照。配置格式和插件接口不变。

核对

  • 新增 tests/test_mind_usage_anchor.py:插件请求不触发 last_mind_usage(去掉 request.py 改动后该用例失败);查询计划使用新索引,无 SCAN、无 TEMP B-TREE。
  • tests/test_jargon_migration.py 新增格式 2 升级用例:建立索引、可重复执行、升级后 last_mind_usage 返回聊天调用。
  • 格式 3 结构指纹已记录,格式 2 指纹不变。
  • 本地全量测试 1689 通过、43 跳过;compileall、ruff、git diff --check 通过。

未确认

  • 线上 8.7 GB 库首次建索引的实际耗时未实测。
  • 发现已有问题未在本 PR 处理:request_estimate 中 same_binding 比较的 request['settings'] 来自 JSON(retry_delays_seconds 为 list),model_dump() 为 tuple,两者永不相等,usage_assisted 分支实际不会命中,compact_now 的 token_scale 恒为 1.0。修复会改变聊天上下文预算估算,另行处理。

估算模型请求输入量时,request_estimate 会通过 last_mind_usage 查询本群最近一次聊天调用作为用量参照。这条查询没有可用索引,只能扫描整张 model_calls;scene 列排在 request、response 两个大字段后面,逐行判断时要读溢出页。插件调用记录的 plugin 有值,没有聊天回合的群永远匹配不到,每次都会扫完整张表。线上 8.7 GB 的库在容器内存不足时,每次查询在事件循环上同步阻塞约 20 秒:group_digest 的 hourly-notes 每个整点卡一次,daily-summary 连续调用模型时会连续卡好几分钟。

- 插件发起的模型调用(无论 role)不再查询聊天用量参照,插件 prompt 与聊天会话前缀不会匹配。
- 业务数据库格式升为 3,新增部分索引 model_call_mind_usage ON model_calls(scene,role,id) WHERE plugin IS NULL,聊天请求的这条查询改走索引。upgrade 接受格式 1、2,由补建缺失索引的循环建立新索引。
- 补充测试:插件请求不触发 last_mind_usage;查询计划使用新索引;格式 2 升级建立索引且可重复执行;格式 3 结构指纹。同步 CONTRIBUTING 格式表。
@LEN5010
LEN5010 merged commit ac93ef9 into master Nov 15, 2026
15 checks passed
@LEN5010
LEN5010 deleted the fix/digest-mind-usage-scan branch November 15, 2026 14:24
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant