超声心动图本来就是动态、多切面的检查，可早期AI模型大多把它当成一组静态图像来学。10月，JACC：Asia AI专刊上发表了东京大学团队的一项研究，在近7万次检查、57万余段超声视频上，把单帧图像、单视图视频和多视图视频三条路线放在同一队列里比较。结果说明了一件事：让AI显式学习运动信息，比堆叠静态帧更有效；多视图带来的额外提升，主要来自推理时真正把不同切面整合进来，而不是训练阶段见过更多视图。不过，最优模型的配对报告检索命中率也只有6.0%，方向对了，但离像医生一样判读还有明显距离。

研究背景

超声报告生成是心血管AI的热点，但既往模型多基于单帧图像，比如EchoCLIP这一类思路，难以捕捉瓣膜开闭、室壁运动这些时间维度上的信息。临床医生判读超声时，习惯在多个标准切面之间来回对照，再把看到的内容和描述方式整合成报告。AI能不能同时学会利用运动信息和多个切面，此前缺少在同一队列内的系统比较。

研究设计

研究纳入东京大学附属医院2015—2023年的69 482次检查、34 155例患者，其中46 852次检查的577 061段超声视频配对日语临床报告用于训练。患者层面按训练67.4%、验证2.6%、测试30.0%划分；测试比较分析使用16 436次检查、8809例患者的232 682段视频片段，候选报告为16436份。模型任务是从候选报告中检索出与输入视频匹配的正确报告，主要指标是R@10，也就是正确报告进入前10候选的比例。

比较的模型有三类：仅用代表性四腔心帧的SingleImage，对应EchoCLIP思路；仅用四腔心视频的SingleVideo；以及整合左室长轴、短轴、两腔、三腔、四腔5个标准切面视频的MultiVideo。另设MultiVideo-4CH，多视图训练但推理时只用四腔心，用来区分多视图训练和多视图推理各自的贡献。模型采用CLIP架构，视频编码器替换为ViViT或VideoMAE，文本编码器为BERT Japanese V3，文本长度扩展到256 tokens，以适配日语报告较详细的描述。所有模型从零训练，并额外评估ImageNet-21k、LAION-2B、Kinetics-400、VideoMAE2等不同预训练初始化的影响。

研究结果

先看整体检索性能。SingleImage的R@10只有1.3%，平均跨模态检索排名MCMRR为3768；换成四腔心视频后，SingleVideo升到4.2%，MCMRR降到1918；MultiVideo-4CH为4.6%，MCMRR 1887，和SingleVideo很接近，说明多视图训练本身的迁移效应并不大；真正把5个切面视频一起整合的MultiVideo，R@10达到6.0%（95% CI 5.5%~6.4%），MCMRR降到1584。换句话说，从静态帧到视频带来的提升最明显，多视图的额外增益则主要发生在推理阶段——只有切面信息在推理时真正可用，模型才能从中获益。

从发现层面看，增益最集中的是左室壁运动异常和左室扩大，这两类征象恰恰无法从单帧静态图像充分判断，高度依赖运动时序和多切面互参。检索性能随可用切面数量增加而提高，但不同切面组合之间存在变异，提示某些切面对特定发现贡献更大。作者也指出，当前多视图嵌入用的是简单平均，未来如果换成注意力聚合，性能可能还有提升空间。

不过，不同病种的可靠性并不均衡。左室扩大的Cohen’s kappa为0.418，室壁运动异常为0.438，是各发现中最高的；主动脉瓣狭窄在发现层面的agreement只有6.3%。特异性方面，左室扩大（94.5%）、右室扩大（92.9%）、主动脉瓣狭窄（98.0%）较高；敏感性方面，二尖瓣反流（80.9%）和三尖瓣反流（88.6%）较高。R@10与发现患病率呈负相关（Spearman r=-0.68，P=0.008），说明检索性能并不是主要由常见发现驱动。

预训练的影响也值得单独说。大规模图像预训练，比如ImageNet-21k和LAION-2B，确实大幅缩小了图像模型与视频模型从零训练时的差距；但最佳性能最终由VideoMAE2预训练的视频模型取得，甚至超过EchoCLIP预训练的图像模型。视频模型的性能随预训练数据量（对数尺度）近似线性提升，提示1000万到1亿视频样本的预训练可能带来进一步增益；图像模型则出现平台期。这提示未来视频-语言超声模型的进展，可能更依赖大规模视频预训练语料。

外部评估方面，在EchoNet-Dynamic的100例四腔心视频中，VideoMAE2预训练视频模型对左室扩大的准确率为80.0%（加权kappa 0.467），室壁运动为60.0%（加权kappa 0.478）；SingleVideo分别为58.0%和55.0%，SingleImage为62.6%和48.0%。3名board-certified心内科专家对生成报告的诊断准确性、完整性和临床有用性中位评分均为4分（5分制，IQR 3~4），均值3.48~3.60，提示这些报告在临床可接受，具有潜在辅助价值。

研究结论

对临床医生来说，这项研究最实用的信息是方法学方向：把超声当作包含运动信息的多切面检查来建模，而不是一组静态图像，是提升模型表示质量的正确路径；日语报告配对也说明，视觉-语言学习可以围绕本地语言和报告模板构建。但必须保留限定：R@10 6.0%意味着在94%的检查中，配对报告未能进入前10候选；检索任务衡量的是模型对检查的表示能力，不等于报告生成，更不等于诊断判读。外部验证只纳入100例EchoNet-Dynamic四腔心视频，且没有独立原生报告，属于可行性证据，而不是完整外部验证；研究未做时间外部验证，排除低视图分类置信度视频可能引入选择偏倚，临床报告本身也存在观察者间变异和标签噪声；单中心、日本三级医院的设计，也不足以确立泛亚洲可迁移性。

一句话概括：方向正确，性能仍处于早期，从检索到辅助判读还隔着发现准确性、外部验证和工作流整合三道关。

要点回顾

·同一队列内比较：单帧图像R@10 1.3%、单视图视频4.2%、多视图训练仅四腔心推理4.6%、多视图视频6.0%。

·时序编码的增益大于多视图增量；多视图优势主要来自推理阶段真实整合的切面，而非训练迁移。

·增益集中在室壁运动异常、左室扩大等依赖“动态+多视图”的征象；主动脉瓣狭窄发现层面agreement仅6.3%，病种间可靠性不均衡。

·VideoMAE2视频预训练优于大规模图像预训练；视频模型性能随预训练数据量近似线性提升。

·EchoNet-Dynamic 100例外部评估：左室扩大准确率80.0%、室壁运动60.0%；专家评分中位4分（5分制）。

·定位：方法学方向正确，但仍是早期研究，检索任务不能等同于临床判读能力；需多中心、多语言、前瞻验证。

参考文献：

Takizawa R，Yamazaki C，Kodera S，et al.Comprehensive Echocardiography Interpretation Using Video and Multiview Vision-Language AI[J].JACC：Asia，2026，6（10）：2533-2546.