Application and Thinking on Multimodal Fusion Technology of Traditional Chinese Medicine Inspection

XIAO Wendi; ZHU Long; WANG Yang; LIN Xuejuan; LI Candong

doi:10.13288/j.11-2166/r.2024.17.001

您当前的位置：

首页 >

文章列表页 >

Application and Thinking on Multimodal Fusion Technology of Traditional Chinese Medicine Inspection

更新时间：2024-08-27

- Application and Thinking on Multimodal Fusion Technology of Traditional Chinese Medicine Inspection
- Journal of Traditional Chinese Medicine Vol. 65, Issue 17, Pages: 1741-1746(2024)
- 作者机构：
  
  1.福建中医药大学中医证研究基地，福建省福州市闽侯上街邱阳路1号，350122
  2.福建中医药大学福建省中医健康状态辨识重点实验室
- 作者简介：
- 基金信息：
- DOI：10.13288/j.11-2166/r.2024.17.001
  CLC：
- Received：28 March 2024，
  
  Revised：2024-05-22，
  
  Published：02 September 2024
- 稿件说明：
移动端阅览
肖雯迪,朱龙,王洋等.中医望诊多模态融合技术的应用与思考[J].中医杂志,2024,65(17):1741-1746.

XIAO Wendi,ZHU Long,WANG Yang,et al.Application and Thinking on Multimodal Fusion Technology of Traditional Chinese Medicine Inspection[J].Journal of Traditional Chinese Medicine,2024,65(17):1741-1746.
肖雯迪,朱龙,王洋等.中医望诊多模态融合技术的应用与思考[J].中医杂志,2024,65(17):1741-1746. DOI： 10.13288/j.11-2166/r.2024.17.001.

XIAO Wendi,ZHU Long,WANG Yang,et al.Application and Thinking on Multimodal Fusion Technology of Traditional Chinese Medicine Inspection[J].Journal of Traditional Chinese Medicine,2024,65(17):1741-1746. DOI： 10.13288/j.11-2166/r.2024.17.001.

摘要

中医望诊多模态融合研究借助新兴科技，让辨识结果的精准性大幅提升。目前在望诊仪器采集参数的集成、参数的分析方面都使用了多模态融合技术，其中以舌诊仪、面诊仪及目诊仪的研发应用为代表。目前望诊多模态融合研究在信息采集、融合分析与辨识结果应用环节分别存在参数采集全面性与准确性不足、参数对齐集成困难、辨识结果临床实用性低等问题，认为望诊多模态融合研究在紧跟前沿科技的同时，仍应以中医整体观念为指导，注重提升多模态参数采集的全面性和准确性、参数融合的规范性、融合辨识结果的实用性，以逐步推进中医四诊客观化、智能化与现代化进程。

Abstract

Multimodal fusion research in traditional Chinese medicine （TCM） inspection has greatly improved the accuracy of identification results with the help of emerging technologies in science and technology. At present， multimodal fusion technology is used in the integration of the parameters collected by the inspection instruments and the analysis of the parameters， which is represented by the development and application of the tongue inspection instrument， the face inspection instrument and the eye inspection instrument. However， the multimodal fusion research of TCM inspection has problems such as insufficient comprehensiveness and accuracy of parameter acquisition， difficulty in parameter integration for fusion analysis， and low clinical practicability of identification results. It is believed that， while keeping up with the cutting-edge science and technology， research on multimodal fusion of TCM inspection should be guided by the holism concept of TCM， and should focus on the enhancement of comprehensiveness and accuracy of multimodal parameter acquisition， standardisation of parameter fusion， and fusion of identification results， so as to gradually promote the objectivity， intelligence and modernisation of the four diagnostic methods of TCM.

关键词

Keywords

references

李红岩，李灿，郎许锋，等 . 中医四诊智能化现状及关键技术探讨［J］. 中医杂志， 2022 ， 63 （ 12 ）： 1101 - 1108 .

李灿东 . 中医诊断学［M］. 北京：中国中医药出版社， 2016 ： 4 ．

李灿东，杨雪梅，纪立金，等 . 健康状态表征参数体系的建立与集合分析［J］. 中华中医药杂志， 2011 ， 26 （ 3 ）： 525 - 528 .

杨曦，宋彬 . 多模态数据融合与检索技术［M］. 西安：西安电子科学技术大学出版社， 2021 ： 12 .

蔡云鹏，徐辉任 . 机器学习和人工智能技术在机器人领域的应用研究［M］. 徐州：中国矿业大学出版社， 2020 ： 186 .

中国指挥与控制学会 . 智能化无人系统学科路线图［M］. 北京：中国科学技术出版社， 2022 ： 312 .

LIU Z ， WANG S ， DONG D ， et al . The applications of radiomics in precision diagnosis and treatment of oncology： opportunities and challenges ［J］. Theranostics ， 2019 ， 9 （ 5 ）： 1303 - 1322 .

文含，赵莹，蔡秀定，等 . 一种具有域自适应反标准化的多模态医学图像对比学习算法［J］. 生物医学工程学杂志， 2023 ， 40 （ 3 ）： 482 - 491 .

田娟秀，刘国才，谷珊珊，等 . 医学图像分析深度学习方法研究与挑战［J］. 自动化学报， 2018 ， 44 （ 3 ）： 401 - 424 .

林育 . 糖脂代谢病中医舌象特征研究［D］. 广州：广州中医药大学， 2019 .

段锦龙 . 食管癌高危人群舌象特征分析与应用探索［D］. 北京：北京中医药大学， 2016 .

薛艳，段敬瑞，王学宗，等 . 膝骨关节炎患者局部病性证素与整体舌象参数关系的研究［J］. 上海中医药杂志， 2018 ， 52 （ 6 ）： 15 - 18 .

周俊莲，余必伟，何志玲，等 . 颈动脉粥样硬化患者舌象图像特征研究［J］. 时珍国医国药， 2020 ， 31 （ 7 ）： 1767 - 1771 .

颜建军，徐姿，郭睿，等 . 基于力场活动轮廓模型的舌图像分割研究［J］. 中华中医药杂志， 2019 ， 34 （ 8 ）： 3725 - 3727 .

余兆钗，张祖昌，李佐勇，等 . 融合多颜色分量的舌图像阈值分割算法研究［J］. 计算机应用与软件， 2019 ， 36 （ 5 ）： 199 - 203，248 .

覃武星，李斌，岳小强 . 一种基于初始化Snake轮廓线的混合舌图像分割算法［J］. 中国科学技术大学学报， 2010 ， 40 （ 8 ）： 807 - 811 .

郭玉雯 . 基于红外与可见光图像融合技术的中医望诊研究［D］. 天津：天津大学， 2020 .

张冬，张俊华，孟昭鹏，等 . 基于高光谱图像技术的中医舌诊客观化研究展望［J］. 中国中医基础医学杂志， 2019 ， 25 （ 9 ）： 1324 - 1326 .

王鹏，董美涵，孙长库，等 . 光栅投影真伪混合双目舌面三维成像方法［J］. 天津大学学报（自然科学与工程技术版）， 2022 ， 55 （ 10 ）： 1101 - 1107 .

赵凌昊 . 基于多特征融合的中医舌象分类系统设计与实现［D］. 洛阳：河南科技大学， 2022 .

LI J ， YUAN P ， HU X ， et al . A tongue features fusion approach to predicting prediabetes and diabetes with machine learning ［J］. J Biomed Inform ， 2021 ， 115 ： 103693 . doi： 10.1016/j.jbi.2021.103693 http://dx.doi.org/10.1016/j.jbi.2021.103693 .

JIANG T ， GUO XJ ， TU LP ， et al . Application of computer tongue image analysis technology in the diagnosis of NAFLD ［J］. Comput Biol Med ， 2021 ， 135 ： 104622 . doi： 10.1016/j.compbiomed.2021.104622 http://dx.doi.org/10.1016/j.compbiomed.2021.104622 .

姚国美 . 姚国美医学讲义合编［M］. 北京：人民卫生出版社， 2009 ： 109 .

张伟妃，李雪，张瑞义，等 . 大肠癌临床辨证面诊信息特征研究［J］. 中国中医药科技， 2019 ， 26 （ 1 ）： 1 - 4 .

陈超乾，郭元成，徐莹，等 . 慢性肾功能衰竭脾肾阳虚证的舌面诊图像特征研究［J］. 时珍国医国药， 2023 ， 34 （ 5 ）： 1144 - 1146 .

徐艺峰，王忆勤，郝一鸣 . 2型糖尿病患者中医主证面诊客观参数分析［J］. 中华中医药杂志， 2021 ， 36 （ 12 ）： 7377 - 7380 .

孙娴，向春婕，徐硕，等 . 胃癌患者常见舌苔类型与肠道菌群的相关性分析［J］. 世界科学技术-中医药现代化， 2020 ， 22 （ 3 ）： 759 - 769 .

熊莉莉，邱模炎，柯应水，等 . 维持性血液透析高磷血症舌象特征的多中心横断面调查分析［J］. 中国中西医结合肾病杂志， 2021 ， 22 （ 9 ）： 774 - 777 .

杨娜婷，周旋，马庆宇，等 . 抑郁症肝郁脾虚证患者面诊客观参数分析［J］. 中华中医药杂志， 2023 ， 38 （ 8 ）： 3836 - 3839 .

杨帅，钱鹏，叶进，等 . 基于关联规则的阴虚、阳虚体质与舌、面诊图像特征的关联性分析［J］. 时珍国医国药， 2022 ， 33 （ 12 ）： 3041 - 3043 .

任琦，唐斐斐，周旋，等 . 冠心病痰瘀互结证面诊客观化的初步研究［J］. 中国中医基础医学杂志， 2020 ， 26 （ 9 ）： 1280 - 1283 .

孟月，崔殿坤，刘立安，等 . 从人脸生物特征进行中医体质辨识的思路和方法探讨［J］. 中华中医药杂志， 2020 ， 35 （ 9 ）： 4514 - 4517 .

HUAN EY ， WEN GH ， ZHANG SJ ， et al . Deep convolutional neural networks for classifying body constitution based on face image ［J］. Comput Math Methods Med ， 2017 ， 2017 ： 9846707 . doi： 10.1155/2017/9846707 http://dx.doi.org/10.1155/2017/9846707 .

于长颖 . 基于图像识别技术的高血压证候与舌面特征关联性研究［D］. 北京：北京中医药大学， 2019 .

秦黎明 . 基于图像识别处理的中医面诊研究［D］. 天津：天津大学， 2018 .

陈梦竹，岑翼刚，许家佗，等 . 基于图像处理的望诊面色自动识别研究［J］. 中国中医药信息杂志， 2018 ， 25 （ 12 ）： 97 - 101 .

张红凯，胡洋洋，张伟妃，等 . 基于舌、面、问诊数字信息的“云中医”移动健康管理平台的建立［J］. 中国中医药科技， 2018 ， 25 （ 2 ）： 151 - 154 .

林怡，王斌，许家佗，等 . 基于面部图像特征融合的中医望诊面色分类研究［J］. 实用临床医药杂志， 2020 ， 24 （ 14 ）： 1 - 5 .

王麒达 . 基于多任务网络的中医望诊心脑血管疾病智能化方法研究［D］. 太原：太原理工大学， 2022 .

张赫怡，刘巍，邢文龙，等 . 中医目诊理论发展与临床应用现状［J］. 北京中医药， 2021 ， 40 （ 10 ）： 1165 - 1168 .

彭清华，彭俊，谭涵宇，等 . 中医目诊的基本原理及方法［J］. 湖南中医药大学学报， 2015 ， 35 （ 10 ）： 1 - 5 .

朱会明，赵锐，高悦，等 . 基于图像识别技术的中医肝病目诊系统设计与研发［J］. 世界中医药， 2020 ， 15 （ 10 ）： 1494 - 1497 .

孙旭豪，傅中添，严玲，等 . EfficientNet在阴虚证眼象识别中的应用研究［J］. 中医药信息， 2020 ， 37 （ 3 ）： 29 - 34 .

朱晓萌，姜峰，庞嘉楠 . 数字图像处理技术在中医眼诊方面的应用［J］. 科技创新导报， 2020 ， 17 （ 16 ）： 148 - 149，151 .

张红凯，孙晨阳，钱鹏，等 . 中医眼神特征提取与分类方法研究［J］. 中华中医药杂志， 2018 ， 33 （ 3 ）： 886 - 889 .

LU QY ， DENG JY ， YU Y ， et al . Machine learning models for stroke detection by observing the eye-movement features under five-color visual stimuli in traditional Chinese medicine ［J］. J TCM Sci ， 2023 ， 10 （ 3 ）： 321 - 330 .

李雅方 . 基于中医心理学理论的恐之情志的识别模式研究［D］. 广州：广州中医药大学， 2020 .

陈玉霏 . 基于中医情志理论的悲喜情绪识别模式研究［D］. 广州：广州中医药大学， 2017 .

NOORI FM ， RIEGLER M ， UDDIN MZ ， et al ． Human activity recognition from multiple sensors data using multi-fusion representations and CNNs ［J］． ACM Transactions on Multimedia Computing ， Communications， and Applications， 2020 ， 16 （ 2 ）： 1 - 19 .

吕佩珏，黄哲，王晓明，等 . 多功能传感器集成综述［J］. 电子与封装， 2023 ， 23 （ 8 ）： 5 - 16 .

张婷婷，王亚强，温川飙，等 . 论智能中医辨证可解释研究的挑战和研究思路［J］. 中医杂志， 2022 ， 63 （ 6 ）： 506 - 510 .

查看原文

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Construction and Application of a Real-World Cohort of Community-Acquired Pneumonia Based on a Multimodal Large-Scale Traditional Chinese Medicine Big Data Platform

Current Status and Strategic Recommendations for Randomized Controlled Trials on Functional Dyspepsia-Irritable Bowel Syndrome Comorbidity：from a Real-World Research Perspective

Effect of Xiaoqinglong Decoction （小青龙汤） on Th2 Immune Responses and Nasal Mucosal TSLP/OX40L Pathway in Allergic Rhinitis Model Rats

Efficacy and Economic Evaluation of Weishi Qingjin Formula （苇石清金方）in the Treatment of Adult Community-Acquired Pneumonia with Phlegm-Heat Obstructing the Lung Syndrome：A Multicenter Retrospective Real-World Cohort Study

A Preliminary Discussion on the Method of Regulating Qi and Calming the Mind

Related Author

No data

Related Institution

No data

Address：No.16, Nanxiao street, Dongzhimen, Dongcheng District, Beijing Postal code：100700
Tel：010-64035632 Email：jtcmcn@188.com
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备09064830号-19 京公网安备11010102007558号
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰