kita / notes
← 回到全部笔记

事件日期 阅读约 4 分钟

万象画卷生图调优:人设参考图顺位、/v1/media/tasks 异步轮询与思考标签泄漏拦截

发布于

本文目录(3 节)
  1. 1. 为什么传了参考图,还是会退化成纯文生图或丢掉人设脸?
  2. 2. 对齐 /v1/media/tasks 异步媒体任务协议
  3. 3. 图发出去 28 秒后,为什么又吐出 <thinking> 和 <comtext>?

10 月 28 日到 30 日,我集中给机器人新装的「万象画卷」(astrbot_plugin_omnidraw,基于 3.3.23)和会话过滤插件做了一轮深度手术。最初的现象很杂:有时候传了参考图却画出一张毫不相干的新图、有时候带图自拍把角色自己的脸弄丢了、切到新的媒体任务节点后请求格式报错,而且图明明已经发出来了,机器人隔了半分钟又在群里吐出一大段带 <thinking> 或 <comtext> 的内部推理文字。

把日志按工具名和时间戳拆开后,我把这四类问题逐个定位并打上了热补丁。

1. 为什么传了参考图,还是会退化成纯文生图或丢掉人设脸?

翻万象画卷的调用分支,揪出了四个静默丢图的逻辑漏洞:

  1. 正常下发分支忽略了显式 refs 参数:原代码里只有 return_result=true(把结果交回给其他插件)的分支读取了模型传入的 refs 参数;走正常直接发图分支时,代码居然无视了 refs,一旦当前消息事件里没直接挂图,改图就静默退化成了纯文生图。
  2. 自拍时身份图排在最后被截断:JSON generations 接口映射最多只取前 3 张参考图。而原版自拍把角色固定设定图(persona_ref)排在用户场景图(user_refs)后面——只要用户在群里附了 3 张图让机器人自拍,角色自己的设定图就会作为第 4 张被静默裁掉。
  3. Image.file 的 HTTP 回退缺失:当消息组件里的 Image.url 为空、但 Image.file 存着 HTTP URL 时,原参考图收集器直接跳过了这张图。
  4. 参考图下载全败时仍强行生图:上游参考图下载失败后,原逻辑不报错而是继续裸跑文生图,表现出来就是“机器人突然不认识照片里的人了”。

修复方案:统一让 generate_image 与 generate_selfie 的所有分支严格尊重显式 refs;在自拍以及普通画图提及「可不 / KAFU」时,强制把去重后的人格设定图放在参考图顺位第一张;修复 Image.file 的 HTTP 提取;一旦参考图下载不完整或超过 3 张上限,立即中止并报明确原因,绝不静默裁图或裸跑。

2. 对齐 /v1/media/tasks 异步媒体任务协议

10 月 30 日切到新的自定义媒体节点后,发现旧版 providers/custom_endpoint_impl.py 对着 /v1/media/tasks 发的依然是扁平的 OpenAI Images 请求体,和服务端协议对不上。

我将请求体改成了服务端要求的嵌套结构:顶层声明 type: "image"、model,提示词与参数放进嵌套的 input,参考图数组映射到 input.reference_image_urls;收到响应后优先读取服务端返回的 poll_url 做异步任务轮询,兼容嵌套的 assets / outputs 结果提取,并在日志里把 API Key 和长串 Base64 自动打码。

3. 图发出去 28 秒后,为什么又吐出 <thinking> 和 <comtext>?

10 月 28 日 15:52:59 的一条生产日志把耗时和泄漏过程记死在了毫秒级:

  • 15:52:59.725:调用 generate_image
  • 15:55:13.590:图像节点生成完成(耗时约 134 秒)
  • 15:55:20.989:图片下载并发送到 QQ 完成,工具返回结果(耗时约 7 秒)
  • 15:55:48.517:聊天主模型又花了 28 秒做工具回合后的“总结收尾”,并把含 <thinking> 标签的内部思考正文直接发进了聊天窗口。

也就是说,图片其实早就发完了,后面那 28 秒不仅白白让用户干等、多烧一次模型调用,还把未闭合的思考标签漏了出来。

我在两处同时下了刀:

  1. 生图成功后直接终止 Agent 后续收尾回合:当万象画卷在正常下发路径(非 return_result=true)确认图片已成功投递到聊天窗口后,立即在当前事件上打上成功标记并设置 agent_stop_requested = True。AstrBot 核心看到停止信号后不再发起第二次 LLM 收尾调用;记忆插件在 agent_done 钩子里对这类事件只归档一句干净的 "图片已发送。"。
  2. 会话层显式标签清洗(output_guard.py):在 astrbot_plugin_kafu_conversation 中加入输出守卫,在响应钩子与发送前同时清空独立的 reasoning_content / _llm_reasoning_content,并剥离正文与历史写回中的 <think>、</think>、<thinking>、<analysis>、<reasoning> 以及 <comtext> 标签块(未闭合标签隐藏至末尾),同时保护代码块、行内代码和 Markdown 引用不被误伤。

97 项万象画卷回归测试与 11 项输出过滤测试全部通过,三个插件通过热重载直接生效,线上随后自然触发的带双参考图媒体任务一次性跑通。

← 返回全部手记