多层次注意力机制编码

数据上传与参数设置

上传数据文件

拖放文件到这里或点击上传

支持的格式: CSV (多模态数据), JSON (模型配置)

文件大小限制: 100MB。如需处理更大文件，请联系管理员。

分析参数

模态设置

包含基因表达模态

处理基因表达数据列（gene1, gene2, ...）

包含临床特征模态

处理临床特征数据列（age, gender, bmi, ...）

包含文本描述模态

处理文本描述数据列（text_description）

注意力机制参数

注意力头数量

多头注意力机制中的头数量，数量越多，模型捕捉的特征模式越丰富

启用跨模态注意力

使用注意力机制捕捉不同模态之间的交互关系

多模态融合方法

不同模态特征的融合方式

高级参数

嵌入维度

模态特征的嵌入维度

丢弃率

0.0 0.2 0.5

模型训练中的丢弃率，用于防止过拟合

学习率

模型训练的学习率

分析结果

上传数据并运行分析后，结果将显示在这里

分析完成!

您的多模态数据已经成功通过多层次注意力机制进行编码和分析。模型准确率达到89%，生成了详细的注意力权重和特征重要性分析。

数据摘要

样本数量	15
模态数量	3
基因特征数	10
临床特征数	6
文本处理	BERT编码
注意力头数	8
跨模态注意力	已启用
融合方法	加权求和

模型架构

多层次注意力网络架构示意图

处理流程

数据预处理：读取多模态数据，进行缺失值填充、归一化和特征提取
模态嵌入：将各模态特征嵌入到相应的潜在空间，基因特征→64维，临床特征→32维，文本特征→128维
自注意力处理：各模态内部应用多头自注意力机制，捕捉模态内特征间的关系
跨模态注意力：计算不同模态间的注意力权重，实现模态间的信息交互
多模态融合：通过加权求和方式融合处理后的多模态表示
分类预测：使用全连接层进行最终的分类预测，包含三个隐藏层 [256, 128, 64]
注意力分析：生成注意力权重热图，揭示模型决策过程中的特征重要性

处理总时间: 32.6秒，模型训练时间: 28.3秒，推理时间: 4.3秒

示例预测结果

样本ID	预测类别	置信度	基因贡献	临床贡献	文本贡献	关键特征
SAMPLE001	Malignant	0.87	42%	23%	35%	gene3, age, "占位性病变"
SAMPLE002	Malignant	0.91	38%	27%	35%	gene5, smoking, "咯血"
SAMPLE003	Benign	0.78	45%	32%	23%	gene8, age, "结节"
SAMPLE004	Malignant	0.89	41%	21%	38%	gene2, age, "胸痛"
SAMPLE005	Malignant	0.82	39%	28%	33%	gene1, smoking, "毛刺征"

多模态注意力热图

上图展示了多模态特征之间的注意力权重。颜色越深表示注意力权重越高，即特征间关联性越强。左上角和右下角的方块分别表示基因特征和临床特征内部的自注意力权重，而左下角和右上角则表示不同模态之间的跨模态注意力权重。

特征重要性分析

特征重要性分析显示了各个特征对模型预测的贡献度。从图中可以看出，文本中的症状描述、肿瘤大小和位置是最重要的文本特征；在临床特征中，年龄和吸烟状态影响较大；基因特征中，Gene 3和Gene 5的表达水平对预测结果有较大影响。

文本注意力可视化

文本注意力可视化展示了模型如何关注临床文本描述中的关键信息。红色条表示高注意力权重的关键医学术语，如"胸闷"、"气短"、"占位性病变"和"边界不规则"等。这些术语对模型判断病变性质起到关键作用。

不同模态对预测的贡献

该图展示了不同模态对各样本预测的贡献百分比。从整体来看，基因表达数据对预测结果的贡献最大（平均约40%），其次是文本描述数据（约33%）和临床特征数据（约27%）。绿色表示正确预测的样本，红色表示错误预测的样本。

模态关联性分析

模态间关联性

	基因表达	临床特征	文本描述
基因表达	1.00	0.38	0.45
临床特征	0.38	1.00	0.57
文本描述	0.45	0.57	1.00

*模态间关联性通过计算注意力权重的余弦相似度得到

模态交互分析

临床特征 → 文本描述：最强关联，说明文本中的症状描述与临床特征高度一致
基因表达 → 文本描述：中等关联，特定基因表达模式与临床表现相对应
基因表达 → 临床特征：较弱关联，某些基因表达与患者年龄、吸烟状态等临床特征有一定相关性

注意到良性与恶性肿瘤样本的模态贡献存在显著差异：良性样本中基因表达贡献更大，而恶性样本中文本描述的贡献明显提高。

模态联合分析结论

主要发现：

多模态融合显著提高了预测准确率，相比单模态方法提升约11%
不同类型的样本依赖不同模态的信息：良性样本更依赖基因表达数据，恶性样本对文本描述更敏感
跨模态注意力机制能有效捕捉复杂的模态间相互作用，尤其是临床特征与文本描述之间的关系
部分样本的预测错误主要来源于模态间信息不一致，例如基因表达与临床表现不匹配的情况
Gene 3, Gene 5, 年龄, 吸烟状态, 以及文本中的症状描述是最具区分性的特征组合

模型性能比较

该图展示了不同模型架构的性能比较。多模态注意力网络在所有评估指标上均优于其他方法，特别是在AUC值上达到了0.91。相比之下，单模态方法和简单拼接的多模态方法性能较差，说明注意力机制在模态融合中的重要性。

训练过程

训练过程图展示了模型在训练和验证集上的损失和准确率变化。模型在约65个epoch后达到最佳性能并触发早停机制。训练曲线平滑，无明显过拟合现象，说明模型具有良好的泛化能力。

性能详细指标

分类报告

	精确率	召回率	F1分数	支持数
良性	0.86	0.85	0.85	6
恶性	0.89	0.90	0.89	9
宏平均	0.87	0.88	0.87	15
加权平均	0.88	0.89	0.88	15

混淆矩阵

	预测良性	预测恶性
实际良性	5	1
实际恶性	1	8

其他指标：

准确率: 0.89
AUC值: 0.91
Matthews相关系数: 0.75
计算效率: 每样本平均推理时间 0.29秒

工具说明

支持的数据格式