作者投稿
专家审稿
编辑办公
邮件订阅
RSS
Research Progress on Generative Adversarial Network in Cross-modal Medical Image Reconstruction
-
摘要: 单一模态的医学影像所包含的疾病特征信息有限，临床医生可通过综合分析多种模态的医学影像信息以明确诊断，但由于医疗资源及诊疗时间受限，医生一般无法在短时间内获得所需的多模态影像信息。跨模态医学影像重建技术能够生成临床所需的多种模态医学影像，有望辅助临床医生对疾病进行精准诊疗。目前，传统跨模态重建技术已实现部分临床场景的应用，但重建影像的生成质量有待进一步提高，生成对抗网络可重建出临床所需的高质量多模态医学影像，最大程度地节约医疗资源并缩短患者就诊时间。本文就生成对抗网络在X线、CT、MRI、PET等多模态影像之间的跨模态重建应用研究作一综述，以期为开发更先进的跨模态重建技术提供借鉴。Abstract: Single-modal medical images contain limited disease-specific information. To analyze and diagnose patients, clinicians often need to integrate multiple modal images. However, due to limited medical resources and treatment time, it may be difficult to obtain multi-modal images. Cross-modal image reconstruction can generate medical images for clinical needs, thus assisting clinicians in accurately diagnosing and treating diseases. Traditional cross-modal reconstruction techniques have been applied in some clinical scenarios, but the quality of the reconstructed images needs further improvement. Generative adversarial network (GAN) can recover high-quality and complete image data from low-quality or incomplete medical image data, maximally savings medical equipment resources and accelerating medical treatment speed. This article summarizes the applications of GAN technology in cross-modal image reconstruction across X-ray imaging, computed tomography imaging, magnetic resonance imaging, and positron emission tomography imaging, to provide reference for the development of more advanced cross-modal reconstruction techniques.
-
系统性红斑狼疮(systemic lupus erythematosus，SLE)是分子遗传、表观遗传、免疫调节、种族和环境(感染、药物和紫外线)等复杂因素相互作用的结果。SLE患者细胞凋亡异常增加、晚期凋亡碎片清除缺陷，导致自身抗原暴露机会增多，先天性和适应性免疫细胞对自身抗原反应异常，产生了多种自身抗体并形成自身免疫复合物沉积于组织中，从而导致补体途径激活、中性粒细胞和单核细胞聚集以及自身反应性淋巴细胞增殖，最终造成全身各器官损伤。近年来，SLE发病机制的一些关键通路被揭示，如细胞因子-JAK-STAT信号通路、Ⅰ型干扰素[主要为干扰素-α/β(interferon-α/β，IFN-α/β)]信号通路、Toll样受体(Toll-like receptor, TLR)信号通路以及T、B淋巴细胞受体信号通路，显著推动了多种靶向治疗如生物制剂、小分子制剂、miRNA类似物以及基因工程T细胞免疫疗法在SLE中的开发及临床应用。本文将重点阐述SLE发病机制及其相关靶向治疗的最新研究进展，以期为临床诊疗提供参考。
1. 遗传机制与新型靶向治疗
SLE是具有分子遗传和表观遗传背景的自身免疫性疾病[1]。单基因SLE相对较少见，但其机制研究对了解经典型SLE的发生发展具有重要意义。单基因SLE的发生主要与下列异常有关：(1)补体因子，如补体C1q、C2和C4；(2)参与核酸内源性代谢的酶，如DNase；(3)直接参与Ⅰ型IFN途径的蛋白；(4)参与调节T、B淋巴细胞自我耐受的基因。目前，全基因组关联研究(genome-wide association studies，GWAS)已鉴定超过100个与SLE相关的遗传易感基因位点[2]，对这些易感基因位点的进一步分析揭示出与SLE最密切相关的细胞类型为T、B淋巴细胞，易感位点主要涉及的转录因子包括活化T细胞核因子1、核因子-κB (nuclear factor-κB，NF-κB)、信号传导转录激活因子5A、IFN调节因子4以及EB病毒核抗原2。人类白细胞抗原(human leucocyte antigen，HLA)是目前与自身免疫性疾病遗传性关联最强的易感基因位点，对HLA区域以外的易感位点进行富集分析提示，参与SLE最主要的通路为细胞因子信号通路、IFN-α/β信号通路、TLR信号通路以及T、B淋巴细胞受体信号通路。这些发现揭示了SLE发病机制的关键细胞及通路，亦成为靶向治疗研究的重要方向[3]。目前针对这些关键细胞/通路开发的靶向治疗药物约20余种(表 1)[4]，其中贝利尤单抗、泰它西普、阿尼鲁单抗以及伏环孢素已获批临床应用。SLE存在多种细胞/通路异常且交互关联，多靶点联合治疗或可带来新的机遇[5-6]。此外，多种靶向药物的靶点位于细胞内，生物医学研究和制药工业正在努力攻克治疗性抗体的细胞内递送问题，加速开发针对细胞内靶点的药物[7]。
表 1 SLE靶向治疗代表药物及其靶点分类 靶点 代表药物 靶向B淋巴细胞 CD20 Rituximab(利妥昔单抗) CD22 Epratuzumab(依帕珠单抗) BAFF Belimumab(贝利尤单抗) Blys和APRIL Telitacicept(泰它西普) 靶向T淋巴细胞共刺激分子 CD80 Abatacept(阿巴西普) CD40L Dapirolizumab Pegol(达比罗珠单抗聚乙二醇) 靶向浆母细胞/浆细胞 CD38 Daratumumab(达雷妥尤单抗) 靶向浆细胞样树突状细胞 BDCA2 Litifilimab 靶向细胞因子 IL-6 Sirukumab(西鲁库单抗) IL-12/23 Ustekinumab(乌司奴单抗) IL-17A Secukinumab(苏金单抗) IL-23 Guselkumab(古塞库单抗) 靶向细胞内信号通路 TNFR Etanercept(依那西普) TLR7/8 Enpatoran(恩帕托兰) Ⅰ型IFN受体 Anifrolumab(阿尼鲁单抗) JAK1/2 Baricitinib(巴瑞替尼) JAK1/2/3 Tofacitinib(托法替布) 靶向细胞代谢 mTOR Sirolimus(西罗莫司) 靶向蛋白酶体 20S proteasome Bortezomib(硼替佐米) 新型钙调磷酸酶抑制剂 Calcineurin Voclosporin(伏环孢素) SLE: 系统性红斑狼疮；BDCA2:血液树突状细胞抗原2；IL: 白细胞介素；TNFR: 肿瘤坏死因子受体；TLR: Toll样受体；IFN: 干扰素；mTOR: 哺乳动物雷帕霉素靶蛋白 不同种族人群在患病率、严重程度、发病年龄以及对治疗的反应方面存在差异[1, 8]。Wang等[2]对11 283例汉族SLE患者和24 086名健康对照者进行GWAS分析，鉴定了38个新的SLE易感基因位点，其中包含6个东亚人种特有的易感基因位点(HIP1、TNFRSF13B、PRKCB、PRRX1、DSE和PLD4)以及2个欧洲人种特有的易感基因位点(TYK2和NEURL4-ACAP1)。TNFRSF13B编码BAFF受体蛋白TACI，TACI对Blys和APRIL均具有高亲和力，对B细胞的存活和分化至关重要。泰它西普是一种TACI-Fc融合蛋白，其可同时阻断Blys和APRIL信号，已在国内获批用于对常规治疗无效的SLE成人患者。此外，既往研究中发现编码SLE相关BAFF风险等位基因TNFSF13B在中国人群中完全缺失，这可能解释了为何靶向BAFF的贝利尤单抗在汉族人群和欧洲人群中存在疗效差异[9]。未来GWAS或有助于靶向药物的开发和疗效预测。
2. 表观遗传机制与新型靶向治疗
表观遗传修饰能够桥接基因和环境的相互作用，是一种可逆的基因表达调控方式，包括DNA甲基化、组蛋白修饰和非编码RNA介导的基因调控，是SLE的另一重要致病及调控机制[10]。SLE同卵双胎发病具有不一致性，与富集在核酸传感途径和Ⅰ型IFN途径相关基因的甲基化修饰差异有关[11]。SLE患者的DNA甲基化修饰特征亦存在人种差异，非洲裔美国人在过渡B细胞阶段即表现出IFN调节基因低甲基化修饰，而在欧洲裔美国人中这种异常则至B细胞发育晚期才出现，这或许与人种之间的疾病进程差异有关[12]。特定细胞亚群的组蛋白修饰似乎与SLE疾病活动及进展关系更为密切，CD4+T细胞中H3乙酰化与疾病活动度呈负相关[13]，而B细胞中H3和H4低乙酰化水平与疾病活动度无关[14]。与早期狼疮性肾病不同，晚期狼疮性肾炎患者的树突状细胞(dendritic cells, DCs)呈现高水平的H3K4me3和H3K27me3标记[15]。最新研究发现，SLE成人和儿童患者的B细胞中，lncRNA Xist定位错误、H2AK119Ub/H3K27me3和macro H2A异染色质修饰减少可导致X连锁基因表达异常[16]，这可能是性激素以外构成SLE性别差异的重要因素。随着RNA测序的发展，目前已鉴定出多种在SLE中异常表达的lncRNA(如2353lncRNA、GAS5、linc0949、linc0597和lnc DC等)以及miRNA(如miRNA21、miRNA146a、miR-17、miR-155、miR-181b、miR-142-3p和miR-326等)，其靶基因广泛涉及参与SLE致病的免疫细胞多个信号通路及功能途径，导致自身免疫耐受缺陷，但验证这些lncRNA以及miRNA在SLE发病中的重要性仍然任重而道远[17-18]。靶向miRNA在SLE动物模型中表现出治疗效果，但由于miRNA具有同时靶向多个基因的特征，其临床应用受到较大限制，研究者们正试图通过化学修饰及细胞内靶向递送的方法克服这一限制，但未来能否真正走向临床应用仍有待考证[19]。
3. 先天性免疫机制与新型靶向治疗
参与SLE致病的先天性免疫细胞主要为DCs、巨噬细胞、自然杀伤(natural killer，NK)细胞和中性粒细胞。DCs具有强大的抗原递呈和启动T细胞介导免疫反应的功能，主要分为髓系DC1、DC2以及浆细胞样树突状细胞(plasmacytoid DCs，pDCs)。近期研究凸显了pDCs在SLE中的重要作用，pDCs作为Ⅰ型IFN的重要来源，通过其表面模式识别受体TLR7/9识别免疫复合物，产生大量Ⅰ型IFN，尤其是IFN-α，与IFN受体结合后，激活JAK-STAT信号通路，最终正反馈刺激pDCs和T细胞的激活[20]。虽然SLE患者外周血中pDCs数量减少，但在受累的肾脏和皮肤中存在大量pDCs聚集[21]，动物模型中pDCs的耗竭可改善SLE的症状和炎症反应[22]。与Ⅰ型IFN途径相关的靶向治疗以阿尼鲁单抗(Anifrolumab) 疗效最为突出，该药已获批用于正在接受标准疗法的中重度SLE成人患者的治疗，在其Ⅲ期安慰剂对照临床试验TULIP-1/TULIP-2中，阿尼鲁单抗组在给药第52周应答比例比安慰剂组高16.6%。TLR7/TLR8(分别激活Ⅰ型IFN调节因子和NF-κB信号通路)抑制剂恩帕托兰和JAK抑制剂巴瑞替尼均被证实在狼疮动物模型中有效，目前Ⅱ期和Ⅲ临床试验正在进行中[23-24]，其在SLE中的安全性及有效性有待进一步的数据支持。血液树突状细胞抗原2(antibody-binding of blood dendritic cell antigen 2，BDCA2)特异性表达于pDCs表面，BDCA2人源化单抗隆抗体Litifilimab抑制Ⅰ型IFN的产生，其Ⅱ期临床试验观察到随访24周Litifilimab减少了SLE患者肿痛的关节数目[25]。值得注意的是，最新研究表明，在SLE患者受累的脏器局部非造血系统来源细胞例如皮肤中的胶质细胞、肾脏中肾小管细胞、关节中的滑膜细胞和成纤维细胞以及中枢神经系统中的神经元和胶质细胞是Ⅰ型IFN更重要的来源，在SLE的发生发展中起关键作用，不同器官所涉及的IFN亚型不同，这或许与SLE不同临床表型相关联[20]。
巨噬细胞具有极强的可塑性，可分化为具有促炎作用的M1样巨噬细胞和具有抗炎活性的M2样巨噬细胞。SLE存在巨噬细胞亚型之间的平衡破坏，在受累器官中这一表现较为突出。Kishimoto等[26]的研究表明，狼疮性肾炎患者肾小球中增加的M2样巨噬细胞存在HO-1表达缺陷，表现为促炎作用，与尿蛋白水平呈正相关，而MRL/lpr小鼠中敲除HO-1的抑制物Bach-1可减轻尿蛋白症状。此外研究表明M1样巨噬细胞参与动脉粥样硬化的发展，动脉粥样硬化是SLE心血管事件的主要潜在原因，但目前尚无M1样巨噬细胞导致SLE相关动脉粥样硬化的直接证据。也有研究指出借助单细胞测序技术，动脉粥样硬化斑块中巨噬细胞可分为居留样、促炎性和抗炎泡沫样TREM2high三大主要巨噬细胞[27]，更精细的分类可能有助于明确巨噬细胞在SLE以及SLE相关巨噬细胞活化综合征中的作用机制[28]。
NK细胞可分为具有细胞毒活性的CD16+CD56dim亚类和产生多种细胞因子的CD16－CD56bright亚类。SLE患者循环中NK细胞总数减少，且与疾病活动相关，循环NK细胞数量的减少可能与血清IFN-α介导的活化诱导细胞死亡相关。SLE中NK细胞的细胞毒活性受到抑制，但活动性SLE患者中NK细胞响应各种刺激后产生IFN-γ的水平显著高于健康对照，慢性高水平IFN-γ可诱发小鼠狼疮样综合征表现[29]。遗憾的是，目前SLE中关于NK细胞的研究尚不足以证明二者的因果关系。
SLE患者的中性粒细胞表现为吞噬功能下降导致对凋亡细胞的清除能力下降、活性氧生成障碍以及中性粒细胞胞外诱捕网(netrophil extracellular traps, NETs)过度形成。NETs是由大量dsDNA、组蛋白、蛋白质等形成的网络，也是dsNDA抗原的重要来源。NETs沉积于SLE患者的皮肤和肾脏组织中，能够诱导pDCs产生大量Ⅰ型IFN，进而反馈刺激NETs的形成，促进疾病进展。此外，中性粒细胞中存在一类低密度粒细胞，其具有自发形成NETs的倾向，与SLE内皮损伤以及血管病变相关，但目前尚缺乏特异性的分子标志物以验证清除低密度粒细胞是否对SLE具有治疗意义[30]。
4. 适应性免疫细胞机制与新型靶向治疗
T、B淋巴细胞与SLE致病关系极为密切。T细胞的失调影响外周免疫耐受并诱导B细胞的异常激活，参与SLE发病机制的主要亚型包括滤泡辅助T(follicular helper T, Tfh)细胞、促炎性辅助T(T helper cell 17, Th17)细胞、调节性T(regulatory T, Treg)细胞、CD8+T细胞等。这些淋巴细胞亚群通过过量释放促炎细胞因子以及接触依赖性相互作用，促进自身抗体形成以及组织局部炎症反应[31]。Tfh细胞对生发中心内自身反应性B细胞克隆至关重要，其主要机制为分泌IL-21以及淋巴细胞活化分子相关蛋白、CD40L-CD40、诱导型T细胞共刺激分子ICOS-ICOSL和OX40L-OX40共刺激信号促进B细胞分化。靶向促进Tfh-B细胞相互作用的共刺激信号在狼疮动物模型中表现出治疗效果[32]，但单一靶向共刺激分子的生物制剂在SLE中的疗效并不满意。例如靶向CD40L的达比罗珠单抗聚乙二醇Ⅱ期临床试验未能达到主要终点，Ⅲ期临床试验仍在进行中[33]。Th17能够分泌IL-17，进而诱导趋化因子的产生，将单核细胞和中性粒细胞募集至炎症部位，促进局部组织发生炎症反应。Treg细胞具有免疫抑制功能，在诱导和维持自我耐受方面发挥重要作用。SLE患者存在Th17/Treg免疫失衡，外周血及受累肾脏和皮肤局部均存在Th17异常扩增，且与疾病活动度呈正相关，同时SLE存在Treg数量的减少和功能障碍[31-32]。越来越多的证据表明，代谢重编程对T细胞分化具有重要作用，是Th17/Treg失衡的重要机制，一些靶向代谢传感器如哺乳动物雷帕霉素靶蛋白(mammalian target of rapamycin，mTOR)、AMP激活的蛋白激酶、一些核受体的小分子化合物以及低剂量的IL-2可改善Th17/Treg失衡，对SLE具有较好的治疗前景[34-35]。以mTOR抑制剂西罗莫司为例，西罗莫司对Th17细胞和B细胞的过度活化具有抑制作用，且可促进Treg细胞扩增，临床试验已证实西罗莫司可降低SLE患者的疾病活动度[36]。但西罗莫司不溶于水、生物利用度低的特征限制了其疗效的最大化。近期，国内学者研发了雷帕霉素(mTOR抑制剂)包封的ICOS/CD40L共刺激分子双特异性纳米颗粒，在动物模型中取得了满意疗效。纳米递送系统通过有漏洞的脉管系统将药物被动聚集至炎症部位，一方面弥补了单独阻断ICOS/ICOSL途径存在CD40/CD40L途径补偿作用的缺点，提高了阻断Tfh-B细胞活化的效率，另一方面可精准靶向抑制原位Tfh细胞和B细胞的活化，同时持续释放的西罗莫司还能促进旁观者Treg细胞的扩增，这一设计思路也是未来SLE靶向治疗的重要参考[37-38]。CD8+T细胞能够识别MHC Ⅰ类分子递呈的肽类抗原，释放穿孔素和颗粒酶，继而清除抗原。SLE中CD8+T细胞功能缺陷和增强均有被报道过，可能分别与清除自身反应性B细胞缺陷以及产生大量自身抗原刺激自身反应性B细胞相关[39]。2022年4月，Science发表的一项研究采用多重单细胞RNA测序(Mux-seq)方法分析了来自162例SLE患者和99名健康对照的共计超过120万个外周血单核细胞，发现SLE患者的循环淋巴细胞组成表现为幼稚CD4+T细胞减少和表达GZMH颗粒酶基因的细胞毒性CD8+T细胞增加，提示GZMH+CD8+记忆T细胞在SLE致病过程中发挥重要作用[40]，但更精细的机制仍需进一步研究加以阐明。
B细胞无疑是SLE发病机制非常重要的一环，这一点从基础研究到临床用药均得到了证实。自身反应性B细胞在SLE发病早期即从免疫耐受检查点逃逸，并在T细胞的帮助下成熟，分泌的自身抗体靶向自身抗原形成免疫复合物，进一步可募集DCs、吞噬细胞和pDCs，产生大量细胞因子和趋化因子，介导器官/系统的炎症反应，同时这些炎性介质反馈刺激自身反应性T、B细胞的激活，形成恶性循环[41]。近年来的研究确定了几种参与SLE发病的B细胞亚群以及调节性B细胞，如年龄相关B细胞、具有自身反应性B细胞受体表达的初始化B细胞(MZ B细胞和B-1细胞)以及B调节细胞(Bregs)。年龄相关B细胞是一种特征性表达髓系标志物CD11c和转录因子T-bet的自身反应性B细胞亚群，高表达TLR，对IL-21和IFN-γ刺激呈高反应性，在具有高疾病活动的非裔美国狼疮性肾病患者中显著扩增，且在女性SLE患者中的扩增数高于男性患者[42-43]。以利妥昔单抗为代表的广泛B细胞清除策略在随机对照试验中的失败提示靶向B细胞治疗需精准至亚群，而年龄相关B细胞是最有希望的靶向亚群。Bregs具有分泌细胞因子，抑制效应T细胞反应的作用，其中以分泌IL-10和IL-35的Bregs亚型对维持免疫稳态的调节作用最为突出，但此类Bregs亚群在SLE中存在数目和功能缺陷，自体Bregs过继转移和Bregs体外扩增可能有望恢复SLE中的Bregs缺陷，同时选择性耗竭致病性的自身反应性B细胞亚群或可更大限度地治疗SLE[44]。近几年靶向B细胞谱系的标志物CD19和/或B细胞成熟抗原的嵌合抗原受体T细胞(chimeric antigen receptor T，CART)免疫疗法已在多例难治性SLE患者中取得成功，甚至实现了无药缓解及长达17个月无复发[45-47]。然而，CART治疗可能会引起B细胞再生障碍，为进一步提高CART的选择性，嵌合自身抗体受体T细胞(chimeric autoantibody receptor T，CAART) 免疫疗法应运而生。DSG3-CAART(靶向表达抗DSG3 BCR的自身反应性B细胞)和MUSK-CAART(靶向清除抗MUSK BCR+B细胞)治疗正分别在寻常型天疱疮(NCT04422912)和MUSK相关重症肌无力[48]患者中进行Ⅰ期临床试验。理论上，CAART能够保留健康的B细胞，但该方法不能靶向已经存在的长寿浆细胞，此外，SLE患者100%存在抗核抗体阳性，其他多种自身抗体呈不同比例阳性，如何选取合适的自身抗体作为靶点存在较大挑战，因此CAART应用于SLE的治疗仍有漫长的路要走。
5. 小结与展望
GWAS、表观遗传组学、蛋白质组学、单细胞测序、免疫细胞的精细分型、临床大数据分析等的发展对SLE的机制研究具有前所未有的推动作用，先天性免疫和获得性免疫通过Ⅰ型IFN信号通路、细胞因子-JAK-STAT信号通路、TLR信号通路以及T、B淋巴细胞受体信号通路为主的信号通路紧密联系，共同参与SLE致病过程，二者之间更多细胞精细亚型的功能和作用机制正在不断被揭示。以利妥昔单抗、泰它西普、阿尼鲁单抗、伏环孢素为代表的靶向药物和CART/CAART疗法在SLE患者的临床治疗中显示出了不同程度的疗效，且更多的靶向治疗药物正在接受临床试验的验证，在纳米药物递送等新型工程技术的助力下，未来SLE或可真正实现个体化治疗。
作者贡献：李卓远、徐国豪负责论文撰写和修订；王峻晨、王赛硕负责文献检索；翟吉良、王传涛负责论文审校。利益冲突：所有作者均声明不存在利益冲突 -
表 1 X射线与CT之间的跨模态重建模型
重建方向 部位 模型名称 模型改进 重建结果 X线→3D结构[18] 脊柱 X-CTRSNet 将用于重建的SpaDRNet模块、用于分割的MulSISNet模块以及RSC学习模块结合 重建并分割出椎骨3D结构，可应用于手术导航等领域 单平面X线→CT[21] 胸部 X2CT-GAN 仅使用单个前后位X线进行CT重建；使用KNN或PCA预测方法补充缺失影像 涉及肿瘤的影像重建时，重建得到的影像结构不完整 双平面X线→CT[19] 胸部 X2CT-GAN 使用DRR技术合成X线用以训练网络; 使用DenseNet构建生成器；提出一种全新的跳跃连接结构 重建得到的肺部影像表面结构清晰合理，但小解剖结构仍存在伪影 双平面X线→CT[20] 脊柱 2D to 3D GAN 使用基于GPU的层析迭代工具的反投影合成X线；使用ResNet代替DenseNet进行特征提取 重建结果可提供更多植入物的细节信息，更具有时间成本效益 双平面X线→CT[22] 胸部 GA-GAN 生成器中引入空间和通道的注意力模块；使用矢量量化法进行重建 模型内存使用减少的同时可提高重建CT影像质量 X-CTRSNet：用于重建的互耦合SpaDRNet模块、用于分割的MulSISNet模块以及用于任务一致性的RSC学习模块相结合的架构；X2CT-GAN：X线到计算断层扫描生成对抗网络；2D to 3D GAN：二维到三维生成对抗网络；GA-GAN：引导注意力机制生成对抗网络；KNN：K近邻预测方法；PCA：主成分分析预测方法；DRR：数字图像重建技术；DenseNet：密集连接网络；GPU: 图形处理器；ResNet：残差网络 
下载: 导出CSV
表 2 CT与MRI之间的跨模态重建模型
重建方向 部位 模型名称 模型改进 重建结果 CT→MRI[24] 肺部 GAN 引入一种针对肿瘤的特异性感知损失 重建的MRI影像可更好地保留肿瘤细节信息 CT→MRI[25] 脑部 MR-GAN 结合双循环一致损失和体素损失 重建结果明显优于使用未配对数据的结果 MRI→CT[26] 骨盆 CGAN 使用配对好的切片数据训练CGAN 重建的CT影像有助于前列腺癌患者剂量计算 MRI→CT[32] 脑部 Cycle GAN 密集模块构建Cycle GAN生成器 实现较短时间内重建高质量CT影像 MRI→CT[34] 腹部 Cycle GAN 新增密集模块和新型复合损失函数 重建结果相比于其他模型结构一致性提高 MRI→CT[33] 腹部 3D Cycle GAN 定义新的结构一致性损失 重建效果明显优于传统Cycle GAN MRI→CT[27] 咽喉 GAN+U-Net 使用改进的U-Net网络构建生成器 重建结果更接近真实CT影像 CT=MRI[31] 心脏 Cycle GAN 将形状一致性损失融入到Cycle GAN 可解决配对跨模态心脏数据获取困难的问题 CT=MRI[28] 脑部 UagGAN 使用配对数据进行预训练；之后在未配对的数据上重新训练 MRI→CT重建效果良好；CT→MRI重建效果一般 CT=MRI[30] 盆腔 Cycle GAN 使用FCN构建生成器和判别器 重建的盆腔CT影像符合临床剂量精度要求 GAN：同表 1；MR-GAN: 磁共振生成对抗网络；CGAN: 条件生成对抗网络；Cycle GAN：循环生成对抗网络；U-Net：U型卷积神经网络；UagGAN：无监督注意力引导生成对抗网络; FCN：全卷积神经网络
下载: 导出CSV
表 3 MRI与PET之间的跨模态重建模型
重建方向 部位 模型名称 模型改进 重建结果 MRI→PET[38] 脑部 BMGAN 提出3D-Dense U-Net构建生成器 重建的PET影像可辅助MRI影像进行阿尔茨海默症分类 MRI→PET[39] 脑部 Cycle GAN 3D CGAN网络和LM3IL网络分别学习MRI与PET之间的双向映射 重建的PET影像与MRI影像共同进行脑疾病分类效果更好 MRI→PET[42] 脑部 Sketcher-Refiner GAN 先使用Sketcher大体绘制结构信息; 再使用Refiner细致绘制影像纹理信息 重建的PET影像在病变区域可保留更多细节信息 MRI→PET[41] 脑部 3D GAN 提出两个阶段的3D-GAN框架 重建的PET影像可作为医生诊断的客观补充 MRI→PET[40] 脑部 TPA-GAN 将金字塔卷积模块和注意力模块引入到GAN中 重建结果有助于插补缺失影像和脑部疾病诊断 PET→MRI[43] 脑部 CGAN 使用U-Net构建生成器 能够重建出逼真的MRI影像，但存在一定的伪影 Cycle GAN、CGAN、U-Net：同表 2；PET：正电子发射断层显像；BMGAN：双向映射生成对抗网络；Sketcher-Refiner GAN：草图生成-精细生成生成对抗网络；3D GAN：3D生成对抗网络；TPA-GAN：任务导向的金字塔和注意力生成对抗网络; 3D-Dense-U-Net：3D密集连接U型卷积神经网络；3D CGAN: 3D循环生成对抗网络；LM3IL：基于地标的多模态实例学习网络
下载: 导出CSV
表 4 CT与PET之间的跨模态重建模型
重建方向 部位 模型名称 模型改进 重建结果 CT→PET[46] 肝脏 FCN-CGAN 使用全卷积神经网络构建生成器；使用自定义损失函数 无需手动标记病变区域数据 PET→CT[47] 肺部 Cycle GAN 使用自注意力U-Net构建生成器 重建的CT影像与真实CT影像相似且在软组织上显示出良好的对比度 PET→CT[48] 脑部 Med-GAN 将多个全卷积神经网络通过跳跃连接结构连接在一起，构建生成器 重建得到高分辨率的CT影像 PET→CT[49] 脑部 UP-GAN 将几个Med-GAN模型级联 重建得到保真度增加的CT影像 PET: 同表 3；Cycle GAN、U-Net：同表 2；FCN-CGAN：全卷积条件生成对抗网络；Med-GAN：医学影像转换生成对抗网络；UP-GAN：渐进式生成对抗网络
下载: 导出CSV
-
[1] Yu B, Wang Y, Wang L, et al. Medical image synthesis via deep learning[J]. Adv Exp Med Biol, 2020, 1213: 23-44.
[2] Luo Y, Nie D, Zhan B, et al. Edge-preserving MRI image synthesis via adversarial network with iterative multi-scale fusion[J]. Neurocomputing, 2021, 452: 63-77. DOI: 10.1016/j.neucom.2021.04.060
[3] Avants BB, Epstein CL, Grossman M, et al. Symmetric diffeomorphic image registration with cross-correlation: evaluat-ing automated labeling of elderly and neurodegenerative brain[J]. Med Image Anal, 2008, 12: 26-41. DOI: 10.1016/j.media.2007.06.004
[4] Roy S, Carass A, Shiee N, et al. MR contrast synthesis for lesion segmentation[C]. Proc IEEE Int Symp Biomed Imaging, 2010, 2010: 932-935.
[5] Ye DH, Zikic D, Glocker B, et al. Modality propagation: coherent synthesis of subject-specific scans with data-driven regularization[C]. Med Image Comput Comput Assist Interv, 2013, 16: 606-613.
[6] Huynh T, Gao Y, Kang J, et al. Estimating CT image from MRI data using structured random forest and auto-context model[J]. IEEE Trans Med Imaging, 2016, 35: 174-183. DOI: 10.1109/TMI.2015.2461533
[7] Jog A, Carass A, Roy S, et al. Random forest regression for magnetic resonance image synthesis[J]. Med Image Anal, 2017, 35: 475-488. DOI: 10.1016/j.media.2016.08.009
[8] Jiang J, Veeraraghavan H. Unified cross-modality feature disentangler for unsupervised multi-domain MRI abdomen organs segmentation[C]. Med Image Comput Comput Assist Interv, 2020, 12262: 347-358.
[9] Xiong Z, Stiles MK, Yao Y, et al. Automatic 3D surface reconstruction of the left atrium from clinically mapped point clouds using convolutional neural networks[J]. Front Physiol, 2022, 13: 880260. DOI: 10.3389/fphys.2022.880260
[10] Shen L, Zhao W, Xing L. Patient-specific reconstruction of volumetric computed tomography images from a single projection view via deep learning[J]. Nat Biomed Eng, 2019, 3: 880-888. DOI: 10.1038/s41551-019-0466-4
[11] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[J]. Adv Neural Inf Process Syst, 2014, 27: 2672-2680.
[12] Aggarwal A, Mittal M, Battineni G. Generative adversarial network: An overview of theory and applications[J]. Int J Inf Manage, 2021, 1: 100004.
[13] Wang K, Gou C, Duan Y, et al. Generative adversarial networks: introduction and outlook[J]. IEEE/CAA J Autom Sin, 2017, 4: 588-598. DOI: 10.1109/JAS.2017.7510583
[14] Singh NK, Raza K. Medical image generation using generative adversarial networks: A review[J]. Health Informatics J, 2021: 77-96.
[15] Zhou J. Research on Generative Adversarial Networks and Their Applications in Image Generation[C]. IEEE Int Conf Adv Electr Eng Comput Appl, 2022: 1144-1147.
[16] Ravi D, Blumberg SB, Ingala S, et al. Degenerative adversarial neuroimage nets for brain scan simulations: Applica-tion in ageing and dementia[J]. Med Image Anal, 2022, 75: 102257. DOI: 10.1016/j.media.2021.102257
[17] Jecklin S, Jancik C, Farshad M, et al. X23D-Intraopera-tive 3D Lumbar Spine Shape Reconstruction Based on Sparse Multi-View X-ray Data[J]. J Imaging, 2022, 8: 271. DOI: 10.3390/jimaging8100271
[18] Ge R, He Y, Xia C, et al. X-CTRSNet: 3D cervical vertebra CT reconstruction and segmentation directly from 2D X-ray images[J]. Knowl Based Syst, 2022, 236: 107680. DOI: 10.1016/j.knosys.2021.107680
[19] Ying X, Guo H, Ma K, et al. X2CT-GAN: reconstructing CT from biplanar X-rays with generative adversarial networks[C]. Proc IEEE Comput Soc Vision Pattern Recognit, 2019: 10619-10628.
[20] Yang CJ, Lin CL, Wang CK, et al. Generative Adversarial Network (GAN) for Automatic Reconstruction of the 3D Spine Structure by Using Simulated Bi-Planar X-ray Images[J]. Diagnostics, 2022, 12: 1121. DOI: 10.3390/diagnostics12051121
[21] Schock J, Lan YC, Truhn D, et al. Monoplanar CT Reconstruction with GANs[C]. IPTA, 2022: 1-6.
[22] Sinha A, Sugawara Y, Hirano Y. GA-GAN: CT reconstruction from biplanar DRRs using GAN with guided attention[J]. CORR, 2019. doi: 10.48550/arXiv.1909.12525.
[23] Zhan B, Xiao J, Cao C, et al. Multi-constraint generative adversarial network for dose prediction in radiotherapy[J]. Med Image Anal, 2022, 77: 102339. DOI: 10.1016/j.media.2021.102339
[24] Jiang J, Hu YC, Tyagi N, et al. Tumor-aware, adversarial domain adaptation from CT to MRI for lung cancer segmentation[C]. Med Image Comput Comput Assist Interv, 2018: 777-785.
[25] Jin CB, Kim H, Liu M, et al. Deep CT to MR synthesis using paired and unpaired data[J]. Sensors, 2019, 19: 2361. DOI: 10.3390/s19102361
[26] Maspero M, Savenije MHF, Dinkla AM, et al. Dose evaluation of fast synthetic-CT generation using a generative adversarial network for general pelvis MR-only radiotherapy[J]. Phys Med Biol, 2018, 63: 185001. DOI: 10.1088/1361-6560/aada6d
[27] 王蕾, 李媛茜. 基于生成对抗网络的CT图像生成[J]. 成都信息工程大学学报, 2021, 36: 286-292. https://www.cnki.com.cn/Article/CJFDTOTAL-CDQX202103008.htm [28] Abu-Srhan A, Almallahi I, Abushariah MAM, et al. Paired-unpaired Unsupervised Attention Guided GAN with transfer learning for bidirectional brain MR-CT synthesis[J]. Comput Biol Med, 2021, 136: 104763. DOI: 10.1016/j.compbiomed.2021.104763
[29] Zhu JY, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]. Proc IEEE Comput Soc Vision Pattern Recognit, 2017: 2223-2232.
[30] 吴香奕, 曹锋, 曹瑞芬, 等. 基于循环一致性生成对抗网络的盆腔伪CT生成方法[J]. 中国医学物理学杂志, 2021, 38: 21-29. https://www.cnki.com.cn/Article/CJFDTOTAL-YXWZ202101006.htm [31] Zhang Z, Yang L, Zheng Y. Translating and segmenting multimodal medical volumes with cycle-and shape-consistency generative adversarial network[C]. Proc IEEE Comput Soc Vision Pattern Recognit, 2018: 9242-9251.
[32] Lei Y, Harms J, Wang T, et al. MRI-only based synthetic CT generation using dense cycle consistent generative adversarial networks[J]. Med Phys, 2019, 46: 3565-3581. DOI: 10.1002/mp.13617
[33] Yang H, Sun J, Carass A, et al. Unsupervised MR-to-CT synthesis using structure-constrained Cycle GAN[J]. IEEE Trans Med Imaging, 2020, 39: 4249-4261 DOI: 10.1109/TMI.2020.3015379
[34] Liu Y, Lei Y, Wang T, et al. Liver synthetic CT generation based on a dense-Cycle GAN for MRI-only treatment planning[C]. Image Processing, 2020, 11313: 659-664.
[35] Wang C, Yang G, Papanastasiou G, et al. DiCyc: GAN-based deformation invariant cross-domain information fusion for medical image synthesis[J]. Inf Fusion, 2021, 67: 147-160. DOI: 10.1016/j.inffus.2020.10.015
[36] Wang R, Bashyam V, Yang Z, et al. Applications of generative adversarial networks in neuroimaging and clinical neuroscience[J]. Neuroimage, 2023, 269: 119898. DOI: 10.1016/j.neuroimage.2023.119898
[37] Zhang J, He X, Qing L, et al. BPGAN: Brain PET synthesis from MRI using generative adversarial network for multi-modal Alzheimer's disease diagnosis[J]. Comput Meth Prog Bio, 2022, 217: 106676. DOI: 10.1016/j.cmpb.2022.106676
[38] Hu S, Lei B, Wang S, et al. Bidirectional mapping generative adversarial networks for brain MR to PET synthesis[J]. IEEE Trans Med Imaging, 2021, 4: 145-157.
[39] Pan Y, Liu M, Lian C, et al. Synthesizing missing PET from MRI with cycle-consistent generative adversarial networks for Alzheimer's disease diagnosis[C]. Med Image Comput Comput Assist Interv, 2018: 455-463.
[40] Gao X, Shi F, Shen D, et al. Task-induced pyramid and attention GAN for multimodal brain image imputation and classification in alzheimer's disease[J]. IEEE J Biomed Health Inf, 2021, 26: 36-43.
[41] Yaakub SN, McGinnity CJ, Clough JR, et al. Pseudo-normal PET synthesis with generative adversarial networks for localising hypometabolism in epilepsies[C]. SASHIMI, 2019: 42-51.
[42] Wei W, Poirion E, Bodini B, et al. Learning myelin content in multiple sclerosis from multimodal MRI through adver-sarial training[C]. Med Image Comput Comput Assist Interv, 2018: 514-522.
[43] Choi H, Lee DS. Generation of structural MR images from amyloid PET: application to MR-less quantification[J]. J Nucl Med, 2018, 59: 1111-1117. DOI: 10.2967/jnumed.117.199414
[44] Zhan B, Li D, Wang Y, et al. LR-CGAN: Latent representation based conditional generative adversarial network for multi-modality MRI synthesis[J]. Biomed Signal Process Control, 2021, 66: 102457. DOI: 10.1016/j.bspc.2021.102457
[45] Zhan B, Zhou L, Li Z, et al. D2FE-GAN: Decoupled dual feature extraction based GAN for MRI image synthesis[J]. Knowl Based Sys, 2022, 252: 109362. DOI: 10.1016/j.knosys.2022.109362
[46] Ben-Cohen A, Klang E, Raskin SP, et al. Cross-modality synthesis from CT to PET using FCN and GAN networks for improved automated lesion detection[J]. Eng Appl Artif Intell, 2019, 78: 186-194. DOI: 10.1016/j.engappai.2018.11.013
[47] Dong X, Wang T, Lei Y, et al. Synthetic CT generation from non-attenuation corrected PET images for whole-body PET imaging[J]. Phys Med Biol, 2019, 64: 215016. DOI: 10.1088/1361-6560/ab4eb7
[48] Armanious K, Jiang C, Fischer M, et al. MedGAN: Medical image translation using GANs[J]. Comput Med Imag Grap, 2020, 79: 101684. DOI: 10.1016/j.compmedimag.2019.101684
[49] Upadhyay U, Chen Y, Hepp T, et al. Uncertainty-guided progressive GANs for medical image translation[C]. Med Image Comput Comput Assist Interv, 2021: 614-624.
[50] Tomar D, Lortkipanidze M, Vray G, et al. Self-attentive spatial adaptive normalization for cross-modality domain adaptation[J]. IEEE Trans Med Imaging, 2021, 40: 2926-2938. DOI: 10.1109/TMI.2021.3059265
[51] Chen J, Wei J, Li R. TarGAN: target-aware generative adversarial networks for multi-modality medical image translation[C]. Med Image Comput Comput Assist Interv, 2021: 24-33.
[52] Yu B, Zhou L, Wang L, et al. Sample-adaptive GANs: linking global and local mappings for cross-modality MR image synthesis[J]. IEEE Trans Med Imaging, 2020, 39: 2339-2350. DOI: 10.1109/TMI.2020.2969630
-
期刊类型引用(0)
其他类型引用(2)
计量
- 文章访问数: 594
- HTML全文浏览量: 223
- PDF下载量: 108
- 被引次数: 2
