Establishment of a Traditional Chinese Medicine Syndrome Diagnostic Model Based on Stacking Ensemble Learning：Take Lung Cancer as an Example

GUO Xiaochuan; FENG Zhenzhen; LIU Wenrui; LI Jiansheng

doi:10.13288/j.11-2166/r.2024.17.007

您当前的位置：

首页 >

文章列表页 >

Establishment of a Traditional Chinese Medicine Syndrome Diagnostic Model Based on Stacking Ensemble Learning：Take Lung Cancer as an Example

更新时间：2024-08-27

- Establishment of a Traditional Chinese Medicine Syndrome Diagnostic Model Based on Stacking Ensemble Learning：Take Lung Cancer as an Example
- Journal of Traditional Chinese Medicine Vol. 65, Issue 17, Pages: 1775-1783(2024)
- 作者机构：
  
  1.河南中医药大学/呼吸疾病中医药防治省部共建协同创新中心，河南省郑州市郑东新区金水东路156号，450046
  2.河南中医药大学第一附属医院
  3.河南中医药大学第一临床医学院
- 作者简介：
- 基金信息：
- DOI：10.13288/j.11-2166/r.2024.17.007
  CLC：
- Received：12 February 2024，
  
  Revised：2024-05-04，
  
  Published：02 September 2024
- 稿件说明：
移动端阅览
郭小川,冯贞贞,刘文瑞等.基于Stacking集成算法的中医证候诊断模型建立——以肺癌为例[J].中医杂志,2024,65(17):1775-1783.

GUO Xiaochuan,FENG Zhenzhen,LIU Wenrui,et al.Establishment of a Traditional Chinese Medicine Syndrome Diagnostic Model Based on Stacking Ensemble Learning：Take Lung Cancer as an Example[J].Journal of Traditional Chinese Medicine,2024,65(17):1775-1783.
郭小川,冯贞贞,刘文瑞等.基于Stacking集成算法的中医证候诊断模型建立——以肺癌为例[J].中医杂志,2024,65(17):1775-1783. DOI： 10.13288/j.11-2166/r.2024.17.007.

GUO Xiaochuan,FENG Zhenzhen,LIU Wenrui,et al.Establishment of a Traditional Chinese Medicine Syndrome Diagnostic Model Based on Stacking Ensemble Learning：Take Lung Cancer as an Example[J].Journal of Traditional Chinese Medicine,2024,65(17):1775-1783. DOI： 10.13288/j.11-2166/r.2024.17.007.

摘要

目的

探索Stacking集成算法优化中医证候诊断模型效能的方法。

方法

以肺癌中医证候诊断模型的构建为例，将来自9家医院肺癌患者的2598例次临床症状及体征信息作为自变量（即特征变量），中医证候信息作为因变量，采用Python 3.7软件将临床数据以8∶2比例按照随机数字表法分为训练集和测试集。运用卡方检验、Spearman相关性检验、最小绝对值收缩和选择算子（LASSO）逻辑回归分析筛选肺癌中医证候的稳定特征；利用支持向量机（SVM）、K近邻算法（KNN）、随机森林（RF）、极端随机树（ExtraTrees）、极端梯度提升机（XGBoost）、轻量级梯度提升机（LightGBM）、自适应增强（AdaBoost）、梯度提升（GB）及多层神经网络（MLP）9种机器学习算法进行训练，得到9种基础模型。在上述基础模型中筛选出性能表现较优的4种模型，运用Stacking集成算法进行融合形成融合模型，并通过上述9种机器学习算法对融合模型进行二次训练，运用准确率、微平均受试者工作特征（ micro-average ROC）曲线、曲线下面积（AUC）和混淆矩阵指标进行评估，筛选最优诊断模型。

结果

经数据处理得到稳定特征79个、中医证候13个。在基础模型训练中，RF、ExtraTrees、MLP及SVM基础模型综合性能表现较优，故将该4种模型的证候预测分布作为二次训练数据，并基于Stacking集成算法得到9种融合模型（SVM，KNN，RF，ExtraTree，XGBoost，LightGBM，GB，AdaBoost，MLP）。其中XGBoost融合模型性能表现最优，在训练集和测试集中准确率分别为0.850和0.838，过拟合差异为0.012，micro-average ROC曲线下面积（micro-average AUC）为0.996。所有融合模型在测试集中的准确率和micro-average AUC较基础模型均有改善。

结论

以肺癌的中医证候数据为例，通过Stacking集成算法得出XGBoost融合模型在提升肺癌中医证候诊断效能方面具有显著优势。可见Stacking集成算法能整合多种模型算法的优点，有效提升中医证候诊断模型识别效能，为同类研究提供方法学借鉴。

Abstract

Objective

To explore the method of optimizing the performance of traditional Chinese medicine （TCM） syndrome diagnostic models using Stacking ensemble learning.

Methods

Taking the construction of TCM syndrome diagnostic model for lung cancer as an example， 2598 cases of clinical symptoms and signs from lung cancer patients in 9 hospitals were used as independent variables （i.e.， feature variables）， TCM syndrome information as dependent variables， and the clinical data were divided into training set and testing set in 8：2 ratio according to random number table method using Python 3.7 software. The stable features of TCM syndrome of lung cancer were screened using chi-square test， Spearman's correlation test， and Least Absolute Shrinkage and Selection Operator （LASSO） logistic regression analysis； nine machine learning algorithms are trained， including support vector machines （SVMs）， k-nearest neighbors （KNN） algorithm， Random Forest （RF）， Extremely Randomized Trees， Extreme Gradient Boosting （XGBoost）， Lightweight Gradient Boosting （LightGBM）， Adaptive Boosting （AdaBoost）， Gradient Boosting （GB） and the multi-layer perceptron （MLP）， to obtain 9 basic models. Four models with better performance were screened out from the above basic models and fused to form a fusion model by using the Stacking ensemble learning， and the fusion model was trained twice by the above nine machine learning algorithms and evaluated by accuracy rate， micro-average ROC curves， area under the curve （AUC）， and confusion matrix metrics， to screen the optimal diagnostic model.

Results

After data processing， 79 stable features and 13 TCM syndromes were obtained. In the basic model training， the comprehensive performance of RF， ExtraTrees， MLP and SVM basic models were better， so the predicted distributions of the syndromes of these four models were used as the secondary training data， and nine fusion models were obtained based on the Stacking ensemble learning （SVM， KNN， RF， ExtraTree， XGBoost， LightGBM， GB， AdaBoost， MLP）. Among them， the XGBoost fusion model performed the best， with an accuracy of 0.850 and 0.838 in the training set and test set， respectively， an overfitting difference of 0.012， and an area under the micro-average ROC curve of 0.996. All fusion models showed an improvement in accuracy and area under the micro-average ROC curve compared with the base model in the test set.

Conclusion

Taking the TCM syndrome information of lung cancer as an example， the XGBoost fusion model has significant advantages in improving the diagnostic performance of TCM syndrome information of lung cancer through Stacking ensemble learning. It can be seen that the advantages of Stacking ensemble learning to integrate multiple models and effectively improve the diagnostic efficiency of TCM diagnostic models， which provided a methodological reference for similar studies.

关键词

Keywords

references

沈舒文，宇文亚 . 中医辨证论治与标准化问题的思考［J］. 中华中医药学刊， 2013 ， 31 （ 10 ）： 2088 - 2090 .

赵国桢，郭诗琪，庞华鑫，等 . 人工智能技术在辅助中医诊疗及诊疗标准化中的应用［J］. 中医杂志， 2022 ， 63 （ 24 ）： 2306 - 2310 .

黄欣荣，钟平玉，马纲 . 人工智能与中医智能化［J］. 中医杂志， 2017 ， 58 （ 24 ）： 2076 - 2079，2106 .

佘楷杰，袁艿君，马庆宇，等 . 机器学习驱动中医诊断智能化的发展现状、问题及解决路径［J］. 中国中医基础医学杂志， 2024 ， 30 （ 3 ）： 398 - 406 .

DŽEROSKI S ， ŽENKO B . Is combining classifiers with stacking better than selecting the best one？［J］. Mach Learni ， 2004 ， 54 （ 3 ）： 255 - 273 .

SUGIYAMA M . Introduction to statistical machine learning ［M］. Boston ： Morgan Kaufmann ， 2016 ： 343 - 354 .

中华医学会，中华医学会肿瘤学分会，中华医学会杂志社 . 中华医学会肺癌临床诊疗指南（2019版）［J］. 中华肿瘤杂志， 2020 ， 42 （ 4 ）： 257 - 287 .

中华中医药学会 . 中医临床诊疗术语　第2部分：证候［EB/OL］. （ 2022-03-15 ）［ 2023-12-01 ］. https：//www.cacm.org.cn/2022/03/15/17240 https://www.cacm.org.cn/2022/03/15/17240 .

HUANG Y ， ZHU T ， ZHANG X ， et al . Longitudinal MRI-based fusion novel model predicts pathological complete response in breast cancer treated with neoadjuvant chemotherapy： a multicenter， retrospective study ［J］. EClinical-Medicine ， 2023 ， 58 ： 101899 . doi： 10.1016/j.eclinm. 2023.101899 http://dx.doi.org/10.1016/j.eclinm.2023.101899 .

CUI Y ， ZHANG J ， LI Z ， et al . A CT-based deep learning radiomics nomogram for predicting the response to neoadjuvant chemotherapy in patients with locally advanced gastric cancer： a multicenter cohort study ［J］. EClinicalMedicine ， 2022 ， 46 ： 101348 . doi： 10.1016/j.eclinm.2022.101348 http://dx.doi.org/10.1016/j.eclinm.2022.101348 .

GAL MS ， RUBINFELD DL . Data standardization ［J］. NYUL Rev ， 2019 ， 94 ： 737 . doi： 10.2139/ssrn.3326377 http://dx.doi.org/10.2139/ssrn.3326377 .

SCHOBER P ， BOER C ， SCHWARTE LA . Correlation Coefficients： Appropriate Use and Interpretation ［J］. Anesth Analg ， 2018 ， 126 （ 5 ）： 1763 - 1768 .

LI Z ， SILLANPÄÄ MJ . Overview of LASSO-related penalized regression methods for quantitative trait mapping and genomic selection ［J］. Theor Appl Genet ， 2012 ， 125 （ 3 ）： 419 - 435 .

徐玮斐，刘国萍，王忆勤，等 . 近5年中医证候诊断客观化研究述评［J］. 中医杂志， 2016 ， 57 （ 5 ）： 442 - 445 .

宋召青，陈垚 . 基于支持向量机的多类分类算法综述［J］. 海军航空工程学院学报， 2015 ， 30 （ 5 ）： 442 - 446 .

林香亮，袁瑞，孙玉秋，等 . 支持向量机的基本理论和研究进展［J］. 长江大学学报（自科版）， 2018 ， 15 （ 17 ）： 48 - 53，6 .

THAKKAR HK ， LIAO WW ， WU CY ， et al . Predicting clinically significant motor function improvement after contemporary task-oriented interventions using machine learning approaches ［J］. J Neuroeng Rehabil ， 2020 ， 17 （ 1 ）： 131 .

杨巍，文小平，郭晶磊 . 以法统方结合机器学习探索中医温胆治法沿革［J］. 中国中医药信息杂志， 2020 ， 27 （ 11 ）： 96 - 98 .

李杨，陈子彬，谢光强 . 一种基于ExtraTrees的差分隐私保护算法［J］. 计算机工程， 2020 ， 46 （ 2 ）： 134 - 140 .

刘尚松 . 面向点击率预测的梯度提升决策树可视分析研究［D］. 成都：四川大学， 2023 .

吴晖南，陈淑娇，陈展峰，等 . 基于LightGBM模型的糖尿病预测模型的研究［J］. 中国卫生标准管理， 2023 ， 14 （ 24 ）： 64 - 67 .

蒋晋文，刘伟光 . XGBoost算法在制造业质量预测中的应用［J］. 智能计算机与应用， 2017 ， 7 （ 6 ）： 58 - 60 .

HASTIE T ， ROSSET S ， ZHU J ， et al . Multi-class AdaBoost ［J］. Stat Interface ， 2009 ， 2 （ 3 ）： 349 - 360 .

王婧萱，王雯婧，闻亮，等 . 基于深度学习与多模态生理数据的阿尔茨海默病分类方法研究［J］. 医疗卫生装备， 2023 ， 44 （ 11 ）： 1 - 8 .

SWETS JA . Measuring the accuracy of diagnostic systems ［J］. Science ， 1988 ， 240 （ 4857 ）： 1285 - 1293 .

MANDREKAR JN . Receiver operating characteristic curve in diagnostic test assessment ［J］. J Thorac Oncol ， 2010 ， 5 （ 9 ）： 1315 - 1316 .

LOBO JM ， JIMéNEZ‐VALVERDE A ， REAL R . AUC： a misleading measure of the performance of predictive distribution models ［J］. Global Ecol Biogeogr ， 2008 ， 17 （ 2 ）： 145 - 151 .

HEYDARIAN M ， DOYLE TE ， SAMAVI R . MLCM： multi-label confusion matrix ［J］. IEEE Access ， 2022 ， 10 ： 19083 - 19095 . doi： 10.1109/ACCESS.2022.3151048 http://dx.doi.org/10.1109/ACCESS.2022.3151048 .

毋心怡 . 基于Logistic回归与集成学习方法的代谢综合征中医证候识别与诊断研究［D］. 广州：暨南大学， 2022 .

高振，董竞成 . 由四诊合参到中医精准辨证论治［J］. 中华中医药杂志， 2019 ， 34 （ 1 ）： 13 - 17 .

仝小林，何莉莎，赵林华 . 中医迈向精准时代的思考［J］. 中医杂志， 2016 ， 57 （ 20 ）： 1715 - 1718 .

田甜，张培彤 . 肺癌证候研究方法现状及展望［J］. 中国中医药信息杂志， 2010 ， 17 （ 4 ）： 105 - 108 .

李建生，春柳，冯贞贞，等 . 基于关联规则结合贝叶斯网络的症状间关系及其对证候诊断贡献度的研究：以新型冠状病毒肺炎湿热蕴肺证为例［J］. 中华危重病急救医学， 2020 ， 32 （ 9 ）： 1045 - 1050 .

付钊 . 基于文本语义分块的中医病情分类问题研究［D］. 杭州：浙江大学， 2018 .

罗慜婧，柴倩云，冯玉婷，等 . 中医药临床研究证候标准化诊断的研究思路与方法［J］. 中医杂志， 2023 ， 64 （ 24 ）： 2505 - 2510 .

刘洋 . 基于Stacking融合模型的高血压风险预测研究［D］. 武汉：华中农业大学， 2023 .

查看原文

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Construction of a Diagnostic Model for Traditional Chinese Medicine Syndromes of Chronic Cough Based on the Voting Ensemble Machine Learning Algorithm

Differentiation and Treatment of Hypertension Comorbidities from the Perspective of "Constitution-Syndrome-Disease Location Correlation"

Treatment of Lung Cancer Based on Ferroptosis：from the Theory of Yin-Yang Qi Transformation

Construction and Validation of a Clinical Prediction Model for Inflammatory Remission Outcome of Bushen Zhiwang Decoction（补肾治尪汤）in the Treatment of Rheumatoid Arthritis with Liver and Kidney Deficiency Syndrome

Current Status and Prospective of Research on Disease-Syndrome Integrated Animal Models of Spleen and Stomach Diseases in Traditional Chinese Medicine

Related Author

BAI Yichen

QIN Suyang

ZHOU Chongyun

SHI Liqing

JI Kun

ZHANG Chuchu

LI Panfei

CUI Tangming

Related Institution

Institute of Information on Traditional Chinese Medicine，China Academy of Chinese Medical Sciences

Dongfang Hospital，Beijing University of Chinese Medicine

School of Medical Technology and Information Engineering，Zhejiang Chinese Medical University

National Clinical Research Center for Chinese Medicine Cardiology，Xiyuan Hospital，China Academy of Chinese Medical Sciences

Postdoctoral Research Station，China Academy of Chinese Medical Sciences

Address：No.16, Nanxiao street, Dongzhimen, Dongcheng District, Beijing Postal code：100700
Tel：010-64035632 Email：jtcmcn@188.com
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备09064830号-19 京公网安备11010102007558号
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰