MEDMKG: Benchmarking Medical Knowledge Exploitation with Multimodal Knowledge Graph

MIMIC-CXR提供的多模态数据与UMLS结构化临床知识进行融合,构建了统一的医学多模态知识图谱。MEDMKG通过多阶段的构建流程,利用基于规则的工具和大型语言模型实现精准的医学概念提取和关系建模。为确保知识图谱的质量和紧凑性,作者创新性地提出了面向多模态知识图谱的“邻接感知过滤”(Neighbor-aware Filtering, NaF)算法。通过在两种实验设置下对下游任务的对比实验,该模型在六大数据集上评估了24个基线方法及四种行业领先的视觉-语言基础模型,结果显示MEDMKG不仅提升了疾病诊断等医疗任务的表现,更为医学人工智能中多模态知识融合的适应性策略开发提供了坚实基础。

[科技领域]英文高频短语
1. Domain-specific knowledge(领域特定知识):指特定专业领域的科学理论或实践经验,与通用知识相对的专业性知识体系。
2. Knowledge-intensive clinical tasks(知识密集型临床任务):需要整合大量医学专业术语、诊断逻辑及经验规则的复杂医疗场景任务。
3. Unimodal knowledge graphs(单模态知识图谱):仅基于单一模态数据(如纯文本或纯图像)构建的知识体系,缺乏跨模态关联能力。
4. Multimodal knowledge graphs(多模态知识图谱):整合文本、图像等多源异构数据的知识表示形式,强调跨模态语义连接。
5. Neighbor-aware Filtering (NaF)(邻接感知过滤):通过分析节点邻接关系优化知识图谱密度的算法,降低噪声干扰并提升结构紧凑性。

最优tag标签
1. 医学多模态知识图谱
2. 多模态医疗知识整合