Repository navigation
Description
来源: https://github.com/ranxianglei/billion-context-pi/issues/637(billion-context-pi → billion-context 迁移,见 billion-context-pi#633,第三轮:10-10 ~ 10-13 窗口)
原 issue 由 @sounfury 在 billion-context-pi(Pi 适配层)提交。大部分功能已在 billion-context 实现、后续迭代方向是 billion-context,此 issue 迁移至此继续跟踪;原单已关闭留指针(历史评论保留)。
摘要:isCustomMessageEntry() 要求 custom_message 必须含文字才进入上下文。pi-web-ui 把粘贴/上传的图片存成只有 image 块、没有 text 块的 custom_message(customType: "file"),于是装了 ACP 后,页面上附件卡片显示正常,但模型完全收不到图片。0.1.83 与 master 均可复现;附最小复现和已在本机验证的补丁。
环境
billion-context-pi@0.1.83(npm 最新版),master@f9dc7139代码相同- 宿主:pi(
@earendil-works/pi-coding-agent),由pi-web-ui@0.102.0驱动 - Windows,主模型支持识图
现象
- 在 pi-web-ui 里粘贴或上传一张截图,附一句简短的问题后发送。
- 聊天里附件卡片正常显示,会话
.jsonl中也有完整的 base64 PNG。 - 模型回答说只收到了文字,没有图片。
关闭 ACP 后图片恢复正常。用 read 工具读取同一张图片也能看到,因为工具结果走的是另一条转换路径。
根因
pi-web-ui 把每张粘贴的图片作为一条独立的自定义消息发送,不带文字块:
// pi-web-ui dist/server/attachments.js
message: {
customType: "file",
content: [{ type: "image", data: raw, mimeType, source: { type: "url", url } }],
display: true,
details: { name, mode: "image", size, attachmentUrl, attachmentHash },
}Pi 原生的 convertToLlm 会把它作为 { role: "user", content } 转发,图片包含在内。ACP 替换了这条管线,而 src/messages.ts 按文字来筛选自定义消息:
export function isCustomMessageEntry(entry) {
if (entry.type !== "custom_message") return false;
if (entry.customType !== undefined && CONTEXT_EXCLUDED_CUSTOM_TYPES.has(entry.customType)) return false;
return extractText(entry.content).length > 0; // 纯图片 => false
}extractText 只收集 type === "text" 的块,所以纯图片条目被拒绝。两条转换路径里还各有一处同样的 text.length > 0 判断:
entriesToCoreMessages(完整转换)EntryProjectionCache.project(增量路径)
条目没有变成 CoreMessage,coreOutToAgentMessages 就不会去 collectOriginals 里查它,图片因此从请求中消失。#75 / #78 恢复了带文字的自定义消息,这里是当时遗留的纯图片情况。
projectMessage 末尾的分支(customText.length > 0 ? [...] : [])对 live 数组里 role: "custom" 的消息有同样的写法,可能也需要同样处理。
最小复现
针对构建产物 dist/index.js 运行(提取其中 src/messages.ts 部分的函数):
const entry = {
type: "custom_message", id: "e1", customType: "file", display: true,
content: [{ type: "image", data: "<base64>", mimeType: "image/png" }],
};
isCustomMessageEntry(entry); // false
entriesToCoreMessages([entry]).length; // 0 -> 图片到不了模型
// 对照:加任意文字块后就会被纳入
entriesToCoreMessages([{ ...entry, content: [...entry.content, { type: "text", text: "x" }] }]).length; // 1在一个含两张粘贴截图的真实会话上,两个条目的结果都是 included: false, projectedMessages: 0。
建议修复
纳入带图片块的自定义消息,并给它一段占位文字,使其能生成 core message 和 ref:
export function isCustomMessageEntry(entry) {
if (entry.type !== "custom_message") return false;
if (entry.customType !== undefined && CONTEXT_EXCLUDED_CUSTOM_TYPES.has(entry.customType)) return false;
return extractText(entry.content).length > 0 || countImageBlocks(entry.content) > 0;
}
function customEntryToCore(entry): CoreMessage {
const text = extractText(entry.content) || "[Image attachment]";
return { id: entry.id, role: "user", contentType: "text", text };
}然后在 entriesToCoreMessages 和 EntryProjectionCache.project 中都改用 customEntryToCore(entry)。
重建一侧不需要改:collectOriginals 已经把条目映射为 { role: "user", content },patchRefTag / rebuildBodyFromCore 也会保留非文字块。
我把这个改动应用到了本机安装的 dist/index.js,并用真实的 pi-web-ui 附件验证了:
- 完整转换和增量转换都为每个图片条目生成一条 core message
coreOutToAgentMessages返回原始图片块,data和mimeType完全一致;core 文本带或不带<acp>ref 标签时都如此- 图片加文字的混合条目保留其文字
- 空内容条目和
acp-status条目仍被排除
重启 pi 后,在启用 ACP 的情况下,pi-web-ui 粘贴的图片能正常到达模型。
有一点我没有验证:占位文字与图片 token 计量之间的相互影响,以及纯图片消息被折叠进压缩块时的行为(参见 #593)。
Activity
ranxianglei commentedon Oct 15, 2026
(ai: vllm-qwen/qwen3.8-27b)
查重:不重复。本仓 open/closed 的 issue 与 PR 里没有同症状(纯图片 custom_message 被丢出上下文、pi-web-ui 粘贴的图片到不了模型)的条目;唯一关联是本 issue 的来源单 billion-context-pi#637 及其修复 PR #638(独立仓库、旧架构)。
先定版本:你复现用的是
billion-context-pi@0.1.83(独立仓库 @ f9dc7139),不是billion-context。issue 里点名的isCustomMessageEntry/entriesToCoreMessages/EntryProjectionCache.project/coreOutToAgentMessages这几个函数在 billion-context 全仓 grep 不到——两边架构不同:billion-context-pi:ACP 扩展在进程内替换了 pi 的convertToLlm,自己把 session entries 转成 LLM 消息,那条转换链按「含文字才纳入」筛选(extractText(...).length > 0),纯图片条目因此被丢。billion-context(pi 走src/agent/pi-native.ts):pi 保留自己的原生convertToLlm,只是把模型 API 的 HTTP 请求经 fetch 拦截改写到代理;代理收到的是已经转好的 LLM 消息体,不再自己从 session entries 重推。所以这个 issue 迁过来后真正要回答的问题是:在当前 billion-context 的压缩管线里,一条「只有 image 块、没有 text」的 user 消息,会不会在折叠/重建时被丢掉?
bili plugin install codex无法修复已存在的畸形[mcp_servers.bili]块("already installed" 短路只比对 BILI_MCP_PROXY 行) #638 已开),这里确认现状并给指向即可;正在核对代理侧对纯图片消息的处理路径(解析 → 折叠 → 重建),有结论马上回。
ranxianglei commentedon Oct 15, 2026
(ai: vllm-qwen/qwen3.8-27b)
结论:本仓(billion-context)无法复现,报告的根因代码路径在此不存在 —— 建议关闭本单并留指针回 standalone PR #638
查重:不重复。本仓无同类 issue/PR;来源单 billion-context-pi#637 / 修复 PR #638 都在另一个仓库。
八问
custom_message,装 ACP 后页面附件卡片正常显示,但模型收不到图片。billion-context-pi的 ACP 扩展在进程内替换了 pi 的convertToLlm,其src/messages.ts用extractText(content).length > 0过滤自定义消息 → 纯图片条目被拒绝,进不了上下文。billion-context-pi(@0.1.83 / masterf9dc7139)+ pi-web-ui 宿主用户;图片完全到不了模型(功能性失效,非体验瑕疵)。billion-context 不受此机制影响。src/agent/pi-native.ts)不替换 pi 的原生convertToLlm,只把发往模型 API 的 HTTP 请求经代理转发;pi 自己就把图片转成{ role:"user", content:[{type:"image"}]},而代理侧 wire codec 用 sidecar 字段对纯图片消息逐字节保真。验证证据(跑出来的,不是读代码推断)
isCustomMessageEntry/entriesToCoreMessages/EntryProjectionCache.project/coreOutToAgentMessages在 billion-context 全部 0 命中——报告描述的“按文字筛自定义消息”那条管线在此仓库根本没有。kernel/tests/wire-bili-message-roundtrip.test.ts42/42 通过;其中anthropic: image block is restored verbatim via rawAnthropicBlock构造的正是“image-only user message、无 text”请求体,断言source(base64+media_type)逐字节还原。另有kernel/tests/media-payload.test.ts、tests/fix-1205-file-parts.test.ts、tests/image-compress.test.ts、tests/image-restore.test.ts。toCore → processTurn → coreToX,模拟“刚粘贴的新轮次”,即尚未被压缩的路径):source逐字节一致 ✅唯一残留(不属本单)
纯图片消息被折叠进压缩块之后的行为——报告也标注了这一点未验证,属 #593 范畴(两仓通用),与“刚粘贴的图片到不了模型”是不同的失败机制,不在本单范围。
建议处置
billion-context-pi#637及其修复 PR bug:bili plugin install codex无法修复已存在的畸形[mcp_servers.bili]块("already installed" 短路只比对 BILI_MCP_PROXY 行) #638——真正的修复应落在仍维护的那个包上。billion-context-pi,则需要在那边合掉 bug:bili plugin install codex无法修复已存在的畸形[mcp_servers.bili]块("already installed" 短路只比对 BILI_MCP_PROXY 行) #638。processTurn后仍保留”钉死,我可以单独提一个小的test:PR——但现有测试已在 codec 层覆盖该场景,这属于加固而非修 bug。