Skip to content

[Bug][pi] 纯图片的 custom_message 被丢出上下文(pi-web-ui 粘贴的图片到不了模型) #3239

Closed

Description

@ranxianglei

来源: https://github.com/ranxianglei/billion-context-pi/issues/637(billion-context-pi → billion-context 迁移,见 billion-context-pi#633,第三轮:10-10 ~ 10-13 窗口)

原 issue 由 @sounfury 在 billion-context-pi(Pi 适配层)提交。大部分功能已在 billion-context 实现、后续迭代方向是 billion-context,此 issue 迁移至此继续跟踪;原单已关闭留指针(历史评论保留)。


摘要:isCustomMessageEntry() 要求 custom_message 必须含文字才进入上下文。pi-web-ui 把粘贴/上传的图片存成只有 image 块、没有 text 块的 custom_message(customType: "file"),于是装了 ACP 后,页面上附件卡片显示正常,但模型完全收不到图片。0.1.83 与 master 均可复现;附最小复现和已在本机验证的补丁。


环境

  • billion-context-pi@0.1.83(npm 最新版),master @ f9dc7139 代码相同
  • 宿主:pi(@earendil-works/pi-coding-agent),由 pi-web-ui@0.102.0 驱动
  • Windows,主模型支持识图

现象

  1. 在 pi-web-ui 里粘贴或上传一张截图,附一句简短的问题后发送。
  2. 聊天里附件卡片正常显示,会话 .jsonl 中也有完整的 base64 PNG。
  3. 模型回答说只收到了文字,没有图片。

关闭 ACP 后图片恢复正常。用 read 工具读取同一张图片也能看到,因为工具结果走的是另一条转换路径。

根因

pi-web-ui 把每张粘贴的图片作为一条独立的自定义消息发送,不带文字块:

// pi-web-ui dist/server/attachments.js
message: {
  customType: "file",
  content: [{ type: "image", data: raw, mimeType, source: { type: "url", url } }],
  display: true,
  details: { name, mode: "image", size, attachmentUrl, attachmentHash },
}

Pi 原生的 convertToLlm 会把它作为 { role: "user", content } 转发,图片包含在内。ACP 替换了这条管线,而 src/messages.ts 按文字来筛选自定义消息:

export function isCustomMessageEntry(entry) {
  if (entry.type !== "custom_message") return false;
  if (entry.customType !== undefined && CONTEXT_EXCLUDED_CUSTOM_TYPES.has(entry.customType)) return false;
  return extractText(entry.content).length > 0;   // 纯图片 => false
}

extractText 只收集 type === "text" 的块,所以纯图片条目被拒绝。两条转换路径里还各有一处同样的 text.length > 0 判断:

  • entriesToCoreMessages(完整转换)
  • EntryProjectionCache.project(增量路径)

条目没有变成 CoreMessage,coreOutToAgentMessages 就不会去 collectOriginals 里查它,图片因此从请求中消失。#75 / #78 恢复了带文字的自定义消息,这里是当时遗留的纯图片情况。

projectMessage 末尾的分支(customText.length > 0 ? [...] : [])对 live 数组里 role: "custom" 的消息有同样的写法,可能也需要同样处理。

最小复现

针对构建产物 dist/index.js 运行(提取其中 src/messages.ts 部分的函数):

const entry = {
  type: "custom_message", id: "e1", customType: "file", display: true,
  content: [{ type: "image", data: "<base64>", mimeType: "image/png" }],
};
isCustomMessageEntry(entry);                 // false
entriesToCoreMessages([entry]).length;       // 0  -> 图片到不了模型

// 对照:加任意文字块后就会被纳入
entriesToCoreMessages([{ ...entry, content: [...entry.content, { type: "text", text: "x" }] }]).length; // 1

在一个含两张粘贴截图的真实会话上,两个条目的结果都是 included: false, projectedMessages: 0。

建议修复

纳入带图片块的自定义消息,并给它一段占位文字,使其能生成 core message 和 ref:

export function isCustomMessageEntry(entry) {
  if (entry.type !== "custom_message") return false;
  if (entry.customType !== undefined && CONTEXT_EXCLUDED_CUSTOM_TYPES.has(entry.customType)) return false;
  return extractText(entry.content).length > 0 || countImageBlocks(entry.content) > 0;
}

function customEntryToCore(entry): CoreMessage {
  const text = extractText(entry.content) || "[Image attachment]";
  return { id: entry.id, role: "user", contentType: "text", text };
}

然后在 entriesToCoreMessages 和 EntryProjectionCache.project 中都改用 customEntryToCore(entry)。

重建一侧不需要改:collectOriginals 已经把条目映射为 { role: "user", content },patchRefTag / rebuildBodyFromCore 也会保留非文字块。

我把这个改动应用到了本机安装的 dist/index.js,并用真实的 pi-web-ui 附件验证了:

  • 完整转换和增量转换都为每个图片条目生成一条 core message
  • coreOutToAgentMessages 返回原始图片块,data 和 mimeType 完全一致;core 文本带或不带 <acp> ref 标签时都如此
  • 图片加文字的混合条目保留其文字
  • 空内容条目和 acp-status 条目仍被排除

重启 pi 后,在启用 ACP 的情况下,pi-web-ui 粘贴的图片能正常到达模型。

有一点我没有验证:占位文字与图片 token 计量之间的相互影响,以及纯图片消息被折叠进压缩块时的行为(参见 #593)。


关联

Activity

  1. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。本仓 open/closed 的 issue 与 PR 里没有同症状(纯图片 custom_message 被丢出上下文、pi-web-ui 粘贴的图片到不了模型)的条目;唯一关联是本 issue 的来源单 billion-context-pi#637 及其修复 PR #638(独立仓库、旧架构)。

    先定版本:你复现用的是 billion-context-pi@0.1.83(独立仓库 @ f9dc7139),不是 billion-context。issue 里点名的 isCustomMessageEntry / entriesToCoreMessages / EntryProjectionCache.project / coreOutToAgentMessages 这几个函数在 billion-context 全仓 grep 不到——两边架构不同:

    • 旧的 billion-context-pi:ACP 扩展在进程内替换了 pi 的 convertToLlm,自己把 session entries 转成 LLM 消息,那条转换链按「含文字才纳入」筛选(extractText(...).length > 0),纯图片条目因此被丢。
    • 现在的 billion-context(pi 走 src/agent/pi-native.ts):pi 保留自己的原生 convertToLlm,只是把模型 API 的 HTTP 请求经 fetch 拦截改写到代理;代理收到的是已经转好的 LLM 消息体,不再自己从 session entries 重推。

    所以这个 issue 迁过来后真正要回答的问题是:在当前 billion-context 的压缩管线里,一条「只有 image 块、没有 text」的 user 消息,会不会在折叠/重建时被丢掉?

    正在核对代理侧对纯图片消息的处理路径(解析 → 折叠 → 重建),有结论马上回。

  2. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    结论:本仓(billion-context)无法复现,报告的根因代码路径在此不存在 —— 建议关闭本单并留指针回 standalone PR #638

    查重:不重复。本仓无同类 issue/PR;来源单 billion-context-pi#637 / 修复 PR #638 都在另一个仓库。

    八问

    1. 是什么问题:pi-web-ui 粘贴/上传的图片被存成“只有 image 块、没有 text 块”的 custom_message,装 ACP 后页面附件卡片正常显示,但模型收不到图片。
    2. 什么原因导致(按原报告):standalone billion-context-pi 的 ACP 扩展在进程内替换了 pi 的 convertToLlm,其 src/messages.ts 用 extractText(content).length > 0 过滤自定义消息 → 纯图片条目被拒绝,进不了上下文。
    3. 影响范围与严重程度:仅 standalone billion-context-pi(@0.1.83 / master f9dc7139)+ pi-web-ui 宿主用户;图片完全到不了模型(功能性失效,非体验瑕疵)。billion-context 不受此机制影响。
    4. 怎么修复 / 本仓判定:本仓无需修复——架构不同。 billion-context 的 pi 集成(src/agent/pi-native.ts)不替换 pi 的原生 convertToLlm,只把发往模型 API 的 HTTP 请求经代理转发;pi 自己就把图片转成 { role:"user", content:[{type:"image"}]},而代理侧 wire codec 用 sidecar 字段对纯图片消息逐字节保真。
    5. 是否有回归问题:不涉及(本轮未改任何代码,只做验证)。
    6. 是否破坏缓存:不涉及。
    7. 是否改了设计方向:不涉及。
    8. 是否引入新配置:不涉及。

    验证证据(跑出来的,不是读代码推断)

    • 根因函数在本仓不存在:isCustomMessageEntry / entriesToCoreMessages / EntryProjectionCache.project / coreOutToAgentMessages 在 billion-context 全部 0 命中——报告描述的“按文字筛自定义消息”那条管线在此仓库根本没有。
    • 既有回归测试已覆盖此场景:kernel/tests/wire-bili-message-roundtrip.test.ts 42/42 通过;其中 anthropic: image block is restored verbatim via rawAnthropicBlock 构造的正是“image-only user message、无 text”请求体,断言 source(base64+media_type)逐字节还原。另有 kernel/tests/media-payload.test.ts、tests/fix-1205-file-parts.test.ts、tests/image-compress.test.ts、tests/image-restore.test.ts。
    • 我补做全链路实测(toCore → processTurn → coreToX,模拟“刚粘贴的新轮次”,即尚未被压缩的路径):
      • Anthropic 纯图片 user 消息 → 存活,source 逐字节一致 ✅
      • OpenAI 纯图片 user 消息 → 存活,data URL 逐字节一致 ✅
      • 图+文混合条目 → 图片与文字都保留 ✅ (共 6/6 通过)

    唯一残留(不属本单)

    纯图片消息被折叠进压缩块之后的行为——报告也标注了这一点未验证,属 #593 范畴(两仓通用),与“刚粘贴的图片到不了模型”是不同的失败机制,不在本单范围。

    建议处置

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions