CHCVis：面向多源文化遗产交叉验证的交互式可视分析系统

An Interactive Visual Analytics System for Multi-Source Cultural Heritage Cross-Validation

CHCVis 面向数字人文与文化遗产研究，将文物图像、层级特征、知识图谱和历史文献组织在统一的分析流程中。系统帮助研究者发现“文物—文物”“文物—史料”之间的潜在联系，并通过局部视觉证据、共享特征和史料原文解释关联结果。

研究背景

传统文化遗产交叉验证依赖专家在图录、数据库与历史文献之间反复检索和人工比对，成本较高，也容易遗漏跨媒介、跨来源的潜在联系。CHCVis 将多模态关联计算与交互式可视分析结合，支持研究者围绕以下问题逐步探索：

• 哪些文物在局部元素、整体风格或文化语义上相关？
• 不同文物共享了哪些可定位、可比较的视觉特征？
• 这些视觉关联能否由历史文献进一步印证？
• 推荐结果的证据来自哪里，哪些环节仍需专家复核？

核心能力

• 跨源关联发现：融合局部视觉特征、高层语义特征与史料文本语义，推荐潜在关联文物和文献。
• 局部特征解释：结合 Grounding DINO 与 SAM 定位并分割人物、器物、纹样和场景等图像元素。
• 多层相似度计算：综合 SimCSE、DINOv2、Hu Moments、CLIP、LPIPS、CSD 和 Gist 等方法，从语义、感知、风格、内容与结构等维度衡量关联。
• 知识图谱探索：以“文物类别—文物对象—大类特征—小类特征”的层级结构组织关联证据。
• 交互式交叉验证：利用特征弦图、局部分割对比和史料高亮，呈现“文物—文物—史料”证据链。
• 可溯源语义解释：结合视觉语言模型（VLM）与检索增强生成（RAG），在史料约束下辅助解释多文物关联。

方法概览

CHCVis 的技术路线：

CHCVis 的分析流程包括四个阶段：

1. 数据组织：使用中国图像志索引典（CIT）的文物图像与层级特征，并接入古今汉语平行语料等历史文本资源。
2. 特征解析：对文物进行分类，构建层级特征知识图谱，并生成局部图像元素的分割结果。
3. 关联计算：联合局部特征相似度与高层语义相似度，形成文物推荐与多维关联结果。
4. 交叉验证：检索相关史料，通过弦图、图像区域和文本高亮呈现可解释、可追溯的互证关系。

论文实验使用的 CIT 数据包含来自 5 家博物馆的 12,893 件艺术品和 17,419 个特征，并将文物划分为成扇、法书法帖、绘画、家具、器物、拓片、文具和织品衣物 8 类。

系统模块

系统由五个相互联动的模块组成：

模块	功能
文物检索	按层级特征或元数据查找主文物
主文物分析	查看文物信息、特征标签与局部分割结果
关联文物	通过排序列表和知识图谱发现候选文物
文物交叉验证	使用特征弦图与局部图像对比解释共享特征
史料交叉验证	检索并高亮与多件文物相互印证的历史文本

案例研究

多源佛教文化形象

系统围绕《如来说法图》推荐绘画、织品、器物、成扇与法书法帖等不同媒介的关联文物，并通过“释迦牟尼”“肉髻”“禅坐”等共享特征及《幼学琼林》相关文本，辅助分析佛教图像范式的跨媒介传播。

中秋赏月意象与场景

系统将鼻烟瓶、节令绘画与山水画中的中秋意象关联到《陶庵梦忆》《琵琶记·中秋望月》等史料，呈现“群体节庆宴饮”与“文人观月意境”两类相对稳定的文化表达。

技术栈

• 前端：React 19、Vite 7、D3.js 7
• 后端：Python、Flask、Neo4j Driver
• 图数据库：Neo4j 5.x
• 数据：JSON、CSV、预计算相似度与图像资源