摘 要
心脏病是目前严重危害人类健康的慢性疾病之一,发病机制复杂、早期症状隐匿,传统的诊断模式面对大量的医疗数据的时候,效率会受到限制。在大数据、人工智能技术迅猛发展之时,运用机器学习技术对大量的临床数据加以分析,从中找出潜在的规律,这在心脏病早期风险预估、协助诊断方面有着十分重要的理论价值与实际意义。
本文根据机器学习理论来创建心脏病早期诊断和人群风险聚类模型。首先选择权威的心脏病临床公开数据集,用Spark大数据处理框架对数据进行严格的清洗和特征预处理,即根据逻辑主键去重、缺失值采用统计学填充、异常值采用IQR法则处理、特征标准化等,为之后的建模打下了高质量的数据基础。第二,在数据分析和可视化阶段,用描述性统计和相关性分析发现,肌钙蛋白(Troponin)、肌酸激酶同工酶(CK-MB)等生化标志物在心脏病风险预测中占据了绝对的主导地位,贡献了超过97%的预测权重,常规生理体征的预测区分度较低。最后本文用无监督学习的K-Means算法做人群聚类建模。根据肘部法和轮廓系数确定最优聚类簇数为6,可以将样本分为基准低风险人群、单一指标异常亚群和急性高危综合征人群。
目 录
1 绪论
1.1 研究背景与意义
1.2 国内外研究现状
论文结构安排
2 相关技术和理论基础
2.1 心脏病早期诊断相关基础
2.2 机器学习基本理论
2.3 聚类模型
3 数据来源与预处理
3.1 数据来源
3.2 数据清洗
3.2.1 重复值检测及处理
3.2.2 缺失值检测及处理
3.2.3 异常值检测及处理
3.4 数据预处理
4 数据分析与可视化
4.1 数据基本信息
4.1.1 描述性统计分析
4.1.2 相关性分析
4.2 心脏病数据分析
5 心脏病聚类分析
5.1数据探索
5.1.1 特征与分布检查
5.2 聚类建模
5.2.1 确定最优参数组合
5.2.2 模型训练和预测
5.2.3 聚类人群特征画像分析
5.3 模型评估
5.4 模型预测应用
参考文献
致 谢
附录A
1 绪论
心脏病属于目前严重威胁人类生命健康的主要慢性疾病之一,具有发病率高、致残率高、死亡率高、发病过程复杂等特征。由于人口老龄化趋势不断加重、生活节奏越来越快、高盐高脂饮食、缺乏运动、长期精神压力等因素的叠加,心血管疾病在人群中的发生率也呈持续上升的趋势。与急性传染病相比,心脏病不是短时间内突然形成的,而是在多种危险因素长期积累、相互作用之后逐渐发展的[1]。将机器学习应用到心脏病早期诊断有明显的理论意义和现实意义。
2 相关技术和理论基础
研究以心脏病早期智能诊断为目标,基于Kaggle心脏病临床数据集开展实验。依托机器学习监督学习理论构建诊断逻辑,采用K-means聚类、层次聚类挖掘数据潜在特征。通过重复值剔除、缺失值填充、IQR异常值处理及数据标准化完成数据预处理,有效提升模型分析精度与数据可靠性。
4数据分析与可视化
4.2 心脏病数据分析
心肌损伤标志物阈值分段分析,先根据结果字段生成患病标签,然后对CK-MB、肌钙蛋白分别按照预设区间进行分箱,合并之后再按照“指标+区间”的方式统计总数和患病数,最后计算发病率,得到分段对比数据。
图4-4 心肌损伤标志物诊断效能
标志物诊断效能汇总,复用阈值分段统计结果,按指标汇总总样本数和患病数,计算总体发病率,用来比较两类标志物的诊断效能。
图4-6 早期预警重要性指标
5 心脏病聚类分析
5.4 模型预测应用
心脏病预测系统界面页面左半部分为指标输入区,可以录入各项重要的生理和临床数据。其中不仅有基本的年龄、性别信息,还要填写心率、收缩压、舒张压、血糖等常规生命体征,还要填写CK-MB和肌钙蛋白这两个重要的心肌损伤标志物数值。在所有的数据填好之后,点击左下角的开始预测按钮就可以进行系统的分析了。
图5-10 心脏病预测界面
总结
本文主要针对心脏病早期筛查这个医疗痛点,利用机器学习技术完成了数据分析到辅助预警的全部智能诊断过程。研究开始时就依靠大数据处理框架,对复杂的临床数据做了严格的去重、缺失值填补和异常值清洗,从而形成了良好的数据基础。本文打破了常规的生理指标,对肌钙蛋白、肌酸激酶同工酶这些生化标志物在风险评价中所占有的97%的权重做出了深刻的分析,给临床精准筛查指明了方向。