作者投稿
专家审稿
编辑办公
邮件订阅
RSS
The Differences and Connections Among Expert Evidence, Expert Opinion and Expert Consensus in the Development of Guidelines
-
摘要:
专家证据、专家意见及专家共识在指南制订过程中常被提及并使用，但由于缺乏明确的定义和规范，导致三者在实际应用中存在混淆和误用现象。本文对专家证据、专家意见及专家共识在指南制订中的定义、现况，以及区别与联系进行梳理，以期为我国指南制订者提供参考。
Abstract:Expert evidence, expert opinion, and expert consensus are frequently mentioned and used in the process of guideline development. However, due to the lack of clear definitions and standards, there is confusion and misuse among the three in practice. This paper clarifies the meanings, current status, differences, and connections of expert evidence, expert opinion, and expert consensus in the development of guidelines, aiming to provide a reference for guideline developers in China.
-
Keywords:
- clinical practice guideline /
- expert evidence /
- expert opinion /
- expert consensus
-
临床实践指南(下文简称“指南”)应针对临床问题，基于当前最佳研究证据的系统评价，在综合考虑不同干预措施利弊的基础上，形成旨在为患者提供最佳医疗服务的推荐意见[1]。当某一领域缺乏高质量研究证据时，指南的制订则需考虑基于专家证据(expert evidence)或专家意见(expert opinion)达成专家共识(expert consensus)[2-3]。在证据质量普遍较低的情况下，专家们认为制订共识性文件或规范可能比制订指南更为适宜。在指南或共识制订的过程中，专家证据、专家意见及专家共识常被提及并使用，然而，三者的概念与相互关系尚无研究进行深入界定、比较和分析。本文旨在梳理专家证据、专家意见及专家共识的定义、现况及区别与联系，以期为我国指南和共识的制订提供参考。
临床实践指南(下文简称“指南”)应针对临床问题，基于当前最佳研究证据的系统评价，在综合考虑不同干预措施利弊的基础上，形成旨在为患者提供最佳医疗服务的推荐意见[1]。当某一领域缺乏高质量研究证据时，指南的制订则需考虑基于专家证据(expert evidence)或专家意见(expert opinion)达成专家共识(expert consensus)[2-3]。在证据质量普遍较低的情况下，专家们认为制订共识性文件或规范可能比制订指南更为适宜。在指南或共识制订的过程中，专家证据、专家意见及专家共识常被提及并使用，然而，三者的概念与相互关系尚无研究进行深入界定、比较和分析。本文旨在梳理专家证据、专家意见及专家共识的定义、现况及区别与联系，以期为我国指南和共识的制订提供参考。
1. 专家证据、专家意见及专家共识的定义
专家(expert)是指在某一行业或职业中拥有丰富知识或熟练技术的人[4]。不同领域的专家就共同关注的主题联合参与或制订指南，有助于提高指南的代表性、科学性和可实施性[1, 5-9]。专家既包括内容专家(相关专业的医务工作者)、方法学专家(循证医学、卫生经济学、流行病学等)，也包括因长期患病或照护患者而具有一定专业知识和心得体会的患者或患者家属及其他利益相关者[10]。专家在指南或共识制订过程中的主要作用是基于当前可得的最佳研究证据(通常为系统评价)，结合患者偏好与价值观、医疗资源可及性、成本-效益、健康公平性等因素给出当前最佳的推荐意见。
1. 专家证据、专家意见及专家共识的定义
专家(expert)是指在某一行业或职业中拥有丰富知识或熟练技术的人[4]。不同领域的专家就共同关注的主题联合参与或制订指南，有助于提高指南的代表性、科学性和可实施性[1, 5-9]。专家既包括内容专家(相关专业的医务工作者)、方法学专家(循证医学、卫生经济学、流行病学等)，也包括因长期患病或照护患者而具有一定专业知识和心得体会的患者或患者家属及其他利益相关者[10]。专家在指南或共识制订过程中的主要作用是基于当前可得的最佳研究证据(通常为系统评价)，结合患者偏好与价值观、医疗资源可及性、成本-效益、健康公平性等因素给出当前最佳的推荐意见。
1.1 专家证据的定义及应用
广义的证据被定义为“用于支持结论的事实(既可为客观事实，又可为论断主张)”[11-12]。“专家证据”这一术语目前更多应用于法学范畴，其概念较医学领域更为成熟，《牛津法律大辞典》将“专家证据”定义为具有专门技能及在某些职业或技术领域具有经验的人向法院所提供的证据[13]。而在医学领域，专家证据目前尚无统一且规范的定义。根据Schünemann等[2]的观点，专家证据被定义为在特定领域知识渊博或技术熟练的人所提供的观察结果和经验反馈。笔者查阅了国内外主要指南制订机构/组织的指南制订手册，对于涉及专家证据及其相关概念的表述进行了梳理与汇总(表 1)，其中仅2部指南制订手册明确使用了“专家证据”这一术语，但均未对指南制订过程中专家证据的概念与含义、收集及应用方法进行详细阐释。目前，关于专家证据的内涵与应用尚不成熟，有待进一步探索与完善。
表 1 国内外指南制订机构/组织的指南制订手册中专家证据相关内容Table 1. The contents related to expert evidence in guideline development manuals of domestic and international guideline development institutions/organizations机构 年份 专家证据相关内容 WHO[19] 2014 在缺乏严格研究证据的情况下，病例报告和国家或个人经验汇编可能作为形成(有条件)推荐意见的基础，但必须明确记录方法及其局限性 GIN[20] 2014 确定搜集其他证据和未发表数据的方法(如从指南专家组成员处获取建议、咨询利益相关者) NICE[21] 2015 专家证据是通过选定的专家证人，采用与征集证据相同的方式获取的可分析数据；专家证据应采用与研究证据相同的方式进行分析和报告 中华医学会[5] 2022 当证据质量低或缺乏直接证据时，需考虑专家意见和专家证据在其中发挥的作用 WHO(World Health Organization)：世界卫生组织；GIN(Guidelines International Network)：国际指南协作网；NICE(National Institute for Health and Care Excellence)：英国国家健康与临床优化研究所 虽然专家证据通常不如系统评价和Meta分析具有较高的证据等级，但在普遍缺乏临床研究证据的情况下，专家证据仍可提供有价值的信息，尤其在识别潜在治疗效果和安全性问题等方面。有学者建议采用结构化表格系统透明地收集专家证据，采用与病例报告或病例系列研究相同的方式对专家证据进行评价[2]。2018年美国血液学会(American Society of Hematology, ASH)在儿童静脉血栓栓塞指南制订过程中，对于证据不足领域，基于EtD(Evidence to Decision)框架[14]使用了系统收集的专家证据[15-16]。该指南制订者进行专家证据调查的主要步骤包括：(1)对专家组成员进行利益冲突管理；(2)系统收集小组专家尚未发表的不同干预措施和治疗方法管理下的病例数量及观察结果；(3)在共识会议中参考这些专家证据形成推荐意见。重点强调收集有关病例及结果的数据而非专家个人经验。例如，“在我的职业生涯中管理过10例因先天性蛋白C缺乏症导致暴发性紫癜的患儿，均使用蛋白C替代疗法治疗，其中5例发生了复发性深静脉血栓形成/肺栓塞或其他疾病进展，无病例死亡”为专家证据，而未基于上述病例数据直接得出“蛋白C替代品治疗因先天性蛋白C缺乏症导致暴发性紫癜的患儿有效”的论断，则为专家个人经验[17-18]。需注意的是，专家证据是在已发表文献缺乏证据、仅有间接证据或无证据时形成推荐意见的解决方案，而非取代已发表的研究证据和同行评审文献等更高质量的证据。
1.1 专家证据的定义及应用
广义的证据被定义为“用于支持结论的事实(既可为客观事实，又可为论断主张)”[11-12]。“专家证据”这一术语目前更多应用于法学范畴，其概念较医学领域更为成熟，《牛津法律大辞典》将“专家证据”定义为具有专门技能及在某些职业或技术领域具有经验的人向法院所提供的证据[13]。而在医学领域，专家证据目前尚无统一且规范的定义。根据Schünemann等[2]的观点，专家证据被定义为在特定领域知识渊博或技术熟练的人所提供的观察结果和经验反馈。笔者查阅了国内外主要指南制订机构/组织的指南制订手册，对于涉及专家证据及其相关概念的表述进行了梳理与汇总(表 1)，其中仅2部指南制订手册明确使用了“专家证据”这一术语，但均未对指南制订过程中专家证据的概念与含义、收集及应用方法进行详细阐释。目前，关于专家证据的内涵与应用尚不成熟，有待进一步探索与完善。
表 1 国内外指南制订机构/组织的指南制订手册中专家证据相关内容Table 1. The contents related to expert evidence in guideline development manuals of domestic and international guideline development institutions/organizations机构 年份 专家证据相关内容 WHO[19] 2014 在缺乏严格研究证据的情况下，病例报告和国家或个人经验汇编可能作为形成(有条件)推荐意见的基础，但必须明确记录方法及其局限性 GIN[20] 2014 确定搜集其他证据和未发表数据的方法(如从指南专家组成员处获取建议、咨询利益相关者) NICE[21] 2015 专家证据是通过选定的专家证人，采用与征集证据相同的方式获取的可分析数据；专家证据应采用与研究证据相同的方式进行分析和报告 中华医学会[5] 2022 当证据质量低或缺乏直接证据时，需考虑专家意见和专家证据在其中发挥的作用 WHO(World Health Organization)：世界卫生组织；GIN(Guidelines International Network)：国际指南协作网；NICE(National Institute for Health and Care Excellence)：英国国家健康与临床优化研究所 虽然专家证据通常不如系统评价和Meta分析具有较高的证据等级，但在普遍缺乏临床研究证据的情况下，专家证据仍可提供有价值的信息，尤其在识别潜在治疗效果和安全性问题等方面。有学者建议采用结构化表格系统透明地收集专家证据，采用与病例报告或病例系列研究相同的方式对专家证据进行评价[2]。2018年美国血液学会(American Society of Hematology, ASH)在儿童静脉血栓栓塞指南制订过程中，对于证据不足领域，基于EtD(Evidence to Decision)框架[14]使用了系统收集的专家证据[15-16]。该指南制订者进行专家证据调查的主要步骤包括：(1)对专家组成员进行利益冲突管理；(2)系统收集小组专家尚未发表的不同干预措施和治疗方法管理下的病例数量及观察结果；(3)在共识会议中参考这些专家证据形成推荐意见。重点强调收集有关病例及结果的数据而非专家个人经验。例如，“在我的职业生涯中管理过10例因先天性蛋白C缺乏症导致暴发性紫癜的患儿，均使用蛋白C替代疗法治疗，其中5例发生了复发性深静脉血栓形成/肺栓塞或其他疾病进展，无病例死亡”为专家证据，而未基于上述病例数据直接得出“蛋白C替代品治疗因先天性蛋白C缺乏症导致暴发性紫癜的患儿有效”的论断，则为专家个人经验[17-18]。需注意的是，专家证据是在已发表文献缺乏证据、仅有间接证据或无证据时形成推荐意见的解决方案，而非取代已发表的研究证据和同行评审文献等更高质量的证据。
1.2 专家意见的定义及应用
意见是指在思维逻辑中形成的对固定事件的看法、观点、态度及相关判断和评价[22]。目前尚无关于专家意见的统一定义，指南中的专家意见可理解为在某一领域具有专业知识和丰富经验的专家，通过对其领域的专业知识与经验技能进行信息加工后所形成的带有判断性、评价性的认识型观点[23]。专家意见既非单纯的专家经验或观点，也非证据或证据等级，而是对证据的解释说明[24]。
推荐分级的评估、制订与评价(Grading of Recommendations Assessment, Development and Evaluation, GRADE)分级系统明确指出[25]，指南推荐意见的形成始终需要专家意见，专家意见一般包含对于患者的诊疗经验、病理生理相关机制的理解、临床前及早期研究结果的认识，以及对随机对照试验和观察性研究结果的了解。指南制订者应邀请临床专家对证据进行解读，同时需明确指出专家意见所依据的证据，并评估该证据本身的质量，而非评估根据证据及其解释得出意见的质量；应将专家意见视为对证据的解读，而非证据本身。
专家意见作为推荐意见，在指南或共识中的应用非常普遍。2017年，Ponce等[3]针对69部指南中的907条专家意见型推荐意见进行研究发现，大多数(91%)专家意见型推荐意见并未说明采用专家意见的理由，专家意见型推荐意见最常引用的研究证据大多不足以回答指南的问题；2.5% 的专家意见型推荐意见所引用的证据中纳入人群与指南的目标人群不一致；5.6% 的专家意见型推荐意见可用良好实践声明(Good Practice Statements, GPS)[26]这一术语表达；无专家意见型推荐意见被明确描述为基于指南专家组的临床经验。该研究还发现，目前指南普遍将专家意见作为一种证据级别[24]，但其中大部分并未给出明确理由[3]。
1.2 专家意见的定义及应用
意见是指在思维逻辑中形成的对固定事件的看法、观点、态度及相关判断和评价[22]。目前尚无关于专家意见的统一定义，指南中的专家意见可理解为在某一领域具有专业知识和丰富经验的专家，通过对其领域的专业知识与经验技能进行信息加工后所形成的带有判断性、评价性的认识型观点[23]。专家意见既非单纯的专家经验或观点，也非证据或证据等级，而是对证据的解释说明[24]。
推荐分级的评估、制订与评价(Grading of Recommendations Assessment, Development and Evaluation, GRADE)分级系统明确指出[25]，指南推荐意见的形成始终需要专家意见，专家意见一般包含对于患者的诊疗经验、病理生理相关机制的理解、临床前及早期研究结果的认识，以及对随机对照试验和观察性研究结果的了解。指南制订者应邀请临床专家对证据进行解读，同时需明确指出专家意见所依据的证据，并评估该证据本身的质量，而非评估根据证据及其解释得出意见的质量；应将专家意见视为对证据的解读，而非证据本身。
专家意见作为推荐意见，在指南或共识中的应用非常普遍。2017年，Ponce等[3]针对69部指南中的907条专家意见型推荐意见进行研究发现，大多数(91%)专家意见型推荐意见并未说明采用专家意见的理由，专家意见型推荐意见最常引用的研究证据大多不足以回答指南的问题；2.5% 的专家意见型推荐意见所引用的证据中纳入人群与指南的目标人群不一致；5.6% 的专家意见型推荐意见可用良好实践声明(Good Practice Statements, GPS)[26]这一术语表达；无专家意见型推荐意见被明确描述为基于指南专家组的临床经验。该研究还发现，目前指南普遍将专家意见作为一种证据级别[24]，但其中大部分并未给出明确理由[3]。
1.3 专家共识的定义及应用
国际标准化组织(International Organization for Standardization, ISO)对共识给出了权威且精准的定义——在标准制订/修订过程中，主要利益相关方对重要问题未持反对意见，同时按照程序考虑了所有相关方的观点且协调了所有争议，而达成的普遍同意[27]。对于专家共识，目前医学领域尚无统一的定义。一般来说，国内对于专家共识的认识和理解具有以下两种含义：第一种是指在缺乏全面或充足证据时，专家小组就所关注的临床问题进行讨论后形成，代表了集体分析与评估结果的临床实践指导性文件，即通常意义上的专家共识[28]；第二种则为标准文件形成过程中，专家组为达成统一决策、形成推荐意见而采取的方法或途径，也称共识方法[29-30]。经典的共识方法包括：共识会议法、名义群体法、德尔菲专家函询法及改良德尔菲法等[31-36]。笔者团队此前发表的文章《如何区分临床实践指南与专家共识》[37]对其进行了详细论述。
当医学发展过程中出现新的领域或某一领域缺乏充分全面的证据时，通过召集具有丰富经验和影响力的临床专家，基于当前可获得的最佳证据和专家意见形成专家共识，是支持临床医生作出临床决策的重要途径[3, 5]。然而，目前专家共识普遍存在制订方法不科学、过程不透明和报告不规范等问题。2022年医学期刊发表中国指南和共识的科学性(Scientific)、透明性(Transparent)和适用性(Applicable)的评级(Rankings)(简称“STAR”)结果显示，纳入评级的指南平均得分为43.4分，中位分值为39.0分，而纳入评级的专家共识平均得分为28.3分，中位分值为25.1分；专家共识的总体得分显著低于指南，各专科差异较大，专家共识质量参差不齐，总体质量较差[38]。
1.3 专家共识的定义及应用
国际标准化组织(International Organization for Standardization, ISO)对共识给出了权威且精准的定义——在标准制订/修订过程中，主要利益相关方对重要问题未持反对意见，同时按照程序考虑了所有相关方的观点且协调了所有争议，而达成的普遍同意[27]。对于专家共识，目前医学领域尚无统一的定义。一般来说，国内对于专家共识的认识和理解具有以下两种含义：第一种是指在缺乏全面或充足证据时，专家小组就所关注的临床问题进行讨论后形成，代表了集体分析与评估结果的临床实践指导性文件，即通常意义上的专家共识[28]；第二种则为标准文件形成过程中，专家组为达成统一决策、形成推荐意见而采取的方法或途径，也称共识方法[29-30]。经典的共识方法包括：共识会议法、名义群体法、德尔菲专家函询法及改良德尔菲法等[31-36]。笔者团队此前发表的文章《如何区分临床实践指南与专家共识》[37]对其进行了详细论述。
当医学发展过程中出现新的领域或某一领域缺乏充分全面的证据时，通过召集具有丰富经验和影响力的临床专家，基于当前可获得的最佳证据和专家意见形成专家共识，是支持临床医生作出临床决策的重要途径[3, 5]。然而，目前专家共识普遍存在制订方法不科学、过程不透明和报告不规范等问题。2022年医学期刊发表中国指南和共识的科学性(Scientific)、透明性(Transparent)和适用性(Applicable)的评级(Rankings)(简称“STAR”)结果显示，纳入评级的指南平均得分为43.4分，中位分值为39.0分，而纳入评级的专家共识平均得分为28.3分，中位分值为25.1分；专家共识的总体得分显著低于指南，各专科差异较大，专家共识质量参差不齐，总体质量较差[38]。
2. 专家证据、专家意见及专家共识的区别与联系
临床实践指南中专家证据、专家意见与专家共识的应用与关联如图 1所示。相较于专家共识，专家证据与专家意见之间更易混淆。Schünemann等[2]认为，专家证据与专家意见之间的区别类似于研究结果与研究结论(包括对结果的解读)之间的区别。研究结果是研究结论的基础，没有结果的支持，结论就失去了依据，同时研究结论又包含研究者对研究结果的逻辑推理和综合分析。通过类比不难理解，专家证据用于支持专家意见，专家意见并非证据，而是专家组基于包括专家证据在内的低质量、间接证据以及高质量证据，结合专家组的诊疗经验、对于疾病病理生理机制的理解以及临床研究结果的认识等综合形成的对于证据的解读[39]。需注意的是，专家证据是临床研究证据缺乏前提下的替代方案，其收集应尽可能系统和透明；在应用专家证据之前，必须对主题相关的所有文献进行系统全面的检索与评价。
![]()
图 1 临床实践指南中专家证据、专家意见及专家共识的应用与关联Figure 1. The application and interrelation of expert evidence, expert opinion, and expert consensus in clinical practice guidelines作为医疗实践的指导性文件，专家共识和指南在提供医疗决策支持方面各有其作用和价值。除前述证据有限的情况外，相较于指南，在应对新发问题(如突发紧急公共卫生事件，新药品、新器械或新治疗方法出现但尚无新的研究证据而又亟需指导临床实践时)，以及面临有关伦理、公平性等健康相关问题但不适合制订指南的领域，专家共识发挥着特有的作用和优势[37]。指南和专家共识质量的高低，与证据的多少及质量并无直接关系，而与其制订过程的透明性和规范性，以及推荐意见的独立性和清晰性相关，因此选择制订恰当的医疗指导性文件类型，可更好地指导临床实践，更有效地改善医疗服务质量。需注意的是，证据质量普遍较低更宜制订专家共识并非意味着临床研究证据在专家共识制订过程中不重要，无论制订专家共识还是指南，制订过程中均应尽可能全面检索并评价相关研究证据，以确保结论的客观性和科学性[40]。
2. 专家证据、专家意见及专家共识的区别与联系
临床实践指南中专家证据、专家意见与专家共识的应用与关联如图 1所示。相较于专家共识，专家证据与专家意见之间更易混淆。Schünemann等[2]认为，专家证据与专家意见之间的区别类似于研究结果与研究结论(包括对结果的解读)之间的区别。研究结果是研究结论的基础，没有结果的支持，结论就失去了依据，同时研究结论又包含研究者对研究结果的逻辑推理和综合分析。通过类比不难理解，专家证据用于支持专家意见，专家意见并非证据，而是专家组基于包括专家证据在内的低质量、间接证据以及高质量证据，结合专家组的诊疗经验、对于疾病病理生理机制的理解以及临床研究结果的认识等综合形成的对于证据的解读[39]。需注意的是，专家证据是临床研究证据缺乏前提下的替代方案，其收集应尽可能系统和透明；在应用专家证据之前，必须对主题相关的所有文献进行系统全面的检索与评价。
![]()
图 1 临床实践指南中专家证据、专家意见及专家共识的应用与关联Figure 1. The application and interrelation of expert evidence, expert opinion, and expert consensus in clinical practice guidelines作为医疗实践的指导性文件，专家共识和指南在提供医疗决策支持方面各有其作用和价值。除前述证据有限的情况外，相较于指南，在应对新发问题(如突发紧急公共卫生事件，新药品、新器械或新治疗方法出现但尚无新的研究证据而又亟需指导临床实践时)，以及面临有关伦理、公平性等健康相关问题但不适合制订指南的领域，专家共识发挥着特有的作用和优势[37]。指南和专家共识质量的高低，与证据的多少及质量并无直接关系，而与其制订过程的透明性和规范性，以及推荐意见的独立性和清晰性相关，因此选择制订恰当的医疗指导性文件类型，可更好地指导临床实践，更有效地改善医疗服务质量。需注意的是，证据质量普遍较低更宜制订专家共识并非意味着临床研究证据在专家共识制订过程中不重要，无论制订专家共识还是指南，制订过程中均应尽可能全面检索并评价相关研究证据，以确保结论的客观性和科学性[40]。
3. 小结
在指南和专家共识制订过程中，不同类型的专家(内容专家、方法学专家及患者等)均发挥各自的角色功能和重要作用。当临床研究证据缺乏、质量极低、仅存在间接证据或当前权威可信的科学数据稀少时，系统收集、透明呈现和严格评估的专家证据可为推荐意见的形成提供重要支撑。专家意见既非单纯的专家经验或观点，也非证据或证据级别，而是专家对相应证据的解读或判断。在证据有限、应对新发问题，以及面临伦理、公平性等健康相关问题但尚不适合制订指南的领域，专家共识则发挥其特有的作用和优势。专家共识可基于专家证据和专家意见，如确保其制订方法科学、过程严谨透明、报告规范，专家组成员具有广泛代表性且进行利益冲突管理，并对该领域当前可得的文献进行了全面系统的检索和评价，则专家共识中的推荐意见对临床实践同样具有非常重要的指导价值和意义。
3. 小结
在指南和专家共识制订过程中，不同类型的专家(内容专家、方法学专家及患者等)均发挥各自的角色功能和重要作用。当临床研究证据缺乏、质量极低、仅存在间接证据或当前权威可信的科学数据稀少时，系统收集、透明呈现和严格评估的专家证据可为推荐意见的形成提供重要支撑。专家意见既非单纯的专家经验或观点，也非证据或证据级别，而是专家对相应证据的解读或判断。在证据有限、应对新发问题，以及面临伦理、公平性等健康相关问题但尚不适合制订指南的领域，专家共识则发挥其特有的作用和优势。专家共识可基于专家证据和专家意见，如确保其制订方法科学、过程严谨透明、报告规范，专家组成员具有广泛代表性且进行利益冲突管理，并对该领域当前可得的文献进行了全面系统的检索和评价，则专家共识中的推荐意见对临床实践同样具有非常重要的指导价值和意义。
作者贡献：朱迪负责论文设计、初稿撰写；罗旭飞、王子君、史乾灵、李昊东、王晔参与论文修订；陈耀龙负责研究设计指导和论文审校。利益冲突：所有作者均声明不存在利益冲突志谢：感谢香港浸会大学中国EQUATOR中心马艳芳对于本文撰写提供的帮助。 -
![]()
图 1 临床实践指南中专家证据、专家意见及专家共识的应用与关联
Figure 1. The application and interrelation of expert evidence, expert opinion, and expert consensus in clinical practice guidelines
![]()
图 1 临床实践指南中专家证据、专家意见及专家共识的应用与关联
Figure 1. The application and interrelation of expert evidence, expert opinion, and expert consensus in clinical practice guidelines
表 1 国内外指南制订机构/组织的指南制订手册中专家证据相关内容
Table 1 The contents related to expert evidence in guideline development manuals of domestic and international guideline development institutions/organizations
机构 年份 专家证据相关内容 WHO[19] 2014 在缺乏严格研究证据的情况下，病例报告和国家或个人经验汇编可能作为形成(有条件)推荐意见的基础，但必须明确记录方法及其局限性 GIN[20] 2014 确定搜集其他证据和未发表数据的方法(如从指南专家组成员处获取建议、咨询利益相关者) NICE[21] 2015 专家证据是通过选定的专家证人，采用与征集证据相同的方式获取的可分析数据；专家证据应采用与研究证据相同的方式进行分析和报告 中华医学会[5] 2022 当证据质量低或缺乏直接证据时，需考虑专家意见和专家证据在其中发挥的作用 WHO(World Health Organization)：世界卫生组织；GIN(Guidelines International Network)：国际指南协作网；NICE(National Institute for Health and Care Excellence)：英国国家健康与临床优化研究所 
下载: 导出CSV
表 1 国内外指南制订机构/组织的指南制订手册中专家证据相关内容
Table 1 The contents related to expert evidence in guideline development manuals of domestic and international guideline development institutions/organizations
机构 年份 专家证据相关内容 WHO[19] 2014 在缺乏严格研究证据的情况下，病例报告和国家或个人经验汇编可能作为形成(有条件)推荐意见的基础，但必须明确记录方法及其局限性 GIN[20] 2014 确定搜集其他证据和未发表数据的方法(如从指南专家组成员处获取建议、咨询利益相关者) NICE[21] 2015 专家证据是通过选定的专家证人，采用与征集证据相同的方式获取的可分析数据；专家证据应采用与研究证据相同的方式进行分析和报告 中华医学会[5] 2022 当证据质量低或缺乏直接证据时，需考虑专家意见和专家证据在其中发挥的作用 WHO(World Health Organization)：世界卫生组织；GIN(Guidelines International Network)：国际指南协作网；NICE(National Institute for Health and Care Excellence)：英国国家健康与临床优化研究所
下载: 导出CSV
-
[1] Institute of Medicine. Clinical practice guidelines we can trust[M]. Washington, D.C. : National Academies Press, 2011.
[1] Institute of Medicine. Clinical practice guidelines we can trust[M]. Washington, D.C. : National Academies Press, 2011.
[2] Schünemann H J, Zhang Y Q, Oxman A D, et al. Distinguishing opinion from evidence in guidelines[J]. BMJ, 2019, 366: l4606.
[2] Schünemann H J, Zhang Y Q, Oxman A D, et al. Distinguishing opinion from evidence in guidelines[J]. BMJ, 2019, 366: l4606.
[3] Ponce O J, Alvarez-Villalobos N, Shah R, et al. What does expert opinion in guidelines mean? A meta-epidemiological study[J]. Evid Based Med, 2017, 22(5): 164-169. DOI: 10.1136/ebmed-2017-110798
[3] Ponce O J, Alvarez-Villalobos N, Shah R, et al. What does expert opinion in guidelines mean? A meta-epidemiological study[J]. Evid Based Med, 2017, 22(5): 164-169. DOI: 10.1136/ebmed-2017-110798
[4] Merriam-Webster. Definition of expert[DB/OL]. [2024-07-12]. https://www.merriam-webster.com/dictionary/expert.
[4] Merriam-Webster. Definition of expert[DB/OL]. [2024-07-12]. https://www.merriam-webster.com/dictionary/expert.
[5] 陈耀龙, 杨克虎, 王小钦, 等. 中国制订/修订临床诊疗指南的指导原则(2022版)[J]. 中华医学杂志, 2022, 102(10): 697-703. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGUD202210051.htm Chen Y L, Yang K H, Wang X Q, et al. Guiding principles for the development/revision of clinical diagnosis and treatment guidelines in China (2022 edition)[J]. Natl Med J China, 2022, 102(10): 697-703. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGUD202210051.htm
[5] 陈耀龙, 杨克虎, 王小钦, 等. 中国制订/修订临床诊疗指南的指导原则(2022版)[J]. 中华医学杂志, 2022, 102(10): 697-703. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGUD202210051.htm Chen Y L, Yang K H, Wang X Q, et al. Guiding principles for the development/revision of clinical diagnosis and treatment guidelines in China (2022 edition)[J]. Natl Med J China, 2022, 102(10): 697-703. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGUD202210051.htm
[6] Brouwers M C, Kho M E, Browman G P, et al. AGREE Ⅱ: advancing guideline development, reporting and evaluation in health care[J]. CMAJ, 2010, 182(18): E839-E842. DOI: 10.1503/cmaj.090449
[6] Brouwers M C, Kho M E, Browman G P, et al. AGREE Ⅱ: advancing guideline development, reporting and evaluation in health care[J]. CMAJ, 2010, 182(18): E839-E842. DOI: 10.1503/cmaj.090449
[7] Chen Y L, Yang K H, Maruši c ' A, et al. A reporting tool for practice guidelines in health care: the RIGHT statement[J]. Ann Intern Med, 2017, 166(2): 128-132. DOI: 10.7326/M16-1565
[7] Chen Y L, Yang K H, Maruši c ' A, et al. A reporting tool for practice guidelines in health care: the RIGHT statement[J]. Ann Intern Med, 2017, 166(2): 128-132. DOI: 10.7326/M16-1565
[8] Armstrong M J, Mullins C D, Gronseth G S, et al. Impact of patient involvement on clinical practice guideline development: a parallel group study[J]. Implement Sci, 2018, 13(1): 55. DOI: 10.1186/s13012-018-0745-6
[8] Armstrong M J, Mullins C D, Gronseth G S, et al. Impact of patient involvement on clinical practice guideline development: a parallel group study[J]. Implement Sci, 2018, 13(1): 55. DOI: 10.1186/s13012-018-0745-6
[9] Hirsh J, Guyatt G. Clinical experts or methodologists to write clinical guidelines? [J]. Lancet, 2009, 374(9686): 273-275. DOI: 10.1016/S0140-6736(09)60787-X
[9] Hirsh J, Guyatt G. Clinical experts or methodologists to write clinical guidelines? [J]. Lancet, 2009, 374(9686): 273-275. DOI: 10.1016/S0140-6736(09)60787-X
[10] 陈耀龙, 马艳芳, 周奇, 等. 谁应该参与临床实践指南的制订?[J]. 协和医学杂志, 2019, 10(5): 524-530. DOI: 10.3969/j.issn.1674-9081.2019.05.017 Chen Y L, Ma Y F, Zhou Q, et al. Who should participate in the development of clinical practice guidelines?[J]. Med J PUMCH, 2019, 10(5): 524-530. DOI: 10.3969/j.issn.1674-9081.2019.05.017
[10] 陈耀龙, 马艳芳, 周奇, 等. 谁应该参与临床实践指南的制订?[J]. 协和医学杂志, 2019, 10(5): 524-530. DOI: 10.3969/j.issn.1674-9081.2019.05.017 Chen Y L, Ma Y F, Zhou Q, et al. Who should participate in the development of clinical practice guidelines?[J]. Med J PUMCH, 2019, 10(5): 524-530. DOI: 10.3969/j.issn.1674-9081.2019.05.017
[11] Get-IT Glossary. Evidence[DB/OL]. [2024-07-12]. https://getitglossary.org/term/evidence.
[11] Get-IT Glossary. Evidence[DB/OL]. [2024-07-12]. https://getitglossary.org/term/evidence.
[12] 戴维·M·沃克. 牛津法律大辞典[M]. 北京: 光明日报出版社, 1988. David M W. The Oxford Companion to law [M]. Beijing: Guangming Daily Press, 1988.
[12] 戴维·M·沃克. 牛津法律大辞典[M]. 北京: 光明日报出版社, 1988. David M W. The Oxford Companion to law [M]. Beijing: Guangming Daily Press, 1988.
[13] Lomas J, Culyer T, McCutcheon C, et al. Conceptualizing and combining evidence for health system guidance[R]. Ottawa: Canadian Health Services Research Foundation, 2005.
[13] Lomas J, Culyer T, McCutcheon C, et al. Conceptualizing and combining evidence for health system guidance[R]. Ottawa: Canadian Health Services Research Foundation, 2005.
[14] Alonso-Coello P, Schünemann H J, Moberg J, et al. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction[J]. BMJ, 2016, 353: i2016.
[14] Alonso-Coello P, Schünemann H J, Moberg J, et al. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction[J]. BMJ, 2016, 353: i2016.
[15] Mustafa R A, Garcia C A C, Bhatt M, et al. GRADE notes: How to use GRADE when there is "no" evidence? A case study of the expert evidence approach[J]. J Clin Epidemiol, 2021, 137: 231-235. DOI: 10.1016/j.jclinepi.2021.02.026
[15] Mustafa R A, Garcia C A C, Bhatt M, et al. GRADE notes: How to use GRADE when there is "no" evidence? A case study of the expert evidence approach[J]. J Clin Epidemiol, 2021, 137: 231-235. DOI: 10.1016/j.jclinepi.2021.02.026
[16] Wiercioch W, Nieuwlaat R, Akl E A, et al. Methodology for the American society of hematology VTE guidelines: current best practice, innovations, and experiences[J]. Blood Adv, 2020, 4(10): 2351-2365. DOI: 10.1182/bloodadvances.2020001768
[16] Wiercioch W, Nieuwlaat R, Akl E A, et al. Methodology for the American society of hematology VTE guidelines: current best practice, innovations, and experiences[J]. Blood Adv, 2020, 4(10): 2351-2365. DOI: 10.1182/bloodadvances.2020001768
[17] Monagle P, Cuello CA, Augustine C, et al. American Society of Hematology 2018 Guidelines for management of venous thromboembolism: treatment of pediatric venous thromboembolism. Blood Adv, 2018, 2(22): 3292-3316. DOI: 10.1182/bloodadvances.2018024786
[17] Monagle P, Cuello CA, Augustine C, et al. American Society of Hematology 2018 Guidelines for management of venous thromboembolism: treatment of pediatric venous thromboembolism. Blood Adv, 2018, 2(22): 3292-3316. DOI: 10.1182/bloodadvances.2018024786
[18] 戴婷婷, 黄建华, 尹桃, 等. 儿童静脉血栓栓塞症的治疗: 2018美国血液病学会静脉血栓栓塞管理指南解读[J]. 中国普通外科杂志, 2019, 28(6): 649-653. https://www.cnki.com.cn/Article/CJFDTOTAL-ZPWZ201906001.htm Dai T T, Huang J H, Yin T, et al. Treatment of pediatric venous thromboembolism-interpretation of the American Society of Hematology 2018 Management Guidelines for Venous Thromboembolism[J]. Chin J Gen Surg, 2019, 28(6): 649-653. https://www.cnki.com.cn/Article/CJFDTOTAL-ZPWZ201906001.htm
[18] 戴婷婷, 黄建华, 尹桃, 等. 儿童静脉血栓栓塞症的治疗: 2018美国血液病学会静脉血栓栓塞管理指南解读[J]. 中国普通外科杂志, 2019, 28(6): 649-653. https://www.cnki.com.cn/Article/CJFDTOTAL-ZPWZ201906001.htm Dai T T, Huang J H, Yin T, et al. Treatment of pediatric venous thromboembolism-interpretation of the American Society of Hematology 2018 Management Guidelines for Venous Thromboembolism[J]. Chin J Gen Surg, 2019, 28(6): 649-653. https://www.cnki.com.cn/Article/CJFDTOTAL-ZPWZ201906001.htm
[19] World Health Organization. WHO handbook for guideline development[M]. 2nd ed. Geneva: WHO Press, 2014.
[19] World Health Organization. WHO handbook for guideline development[M]. 2nd ed. Geneva: WHO Press, 2014.
[20] Guidelines International Network, McMaster University. GIN-McMaster guideline development checklist[EB/OL]. [2024-07-12]. https://macgrade.mcmaster.ca/resources/gin-mcmaster-guideline-development-checklist/.
[20] Guidelines International Network, McMaster University. GIN-McMaster guideline development checklist[EB/OL]. [2024-07-12]. https://macgrade.mcmaster.ca/resources/gin-mcmaster-guideline-development-checklist/.
[21] National Institute for Health and Care Excellence. Developing nice guidelines: the manual[M/OL]. (2024-05-29)[2024-07-12]. https://www.nice.org.uk/process/pmg20/resources/developing-nice-guidelines-the-manual-appendices-2549710189/chapter/appendix-j-call-for-evidence.
[21] National Institute for Health and Care Excellence. Developing nice guidelines: the manual[M/OL]. (2024-05-29)[2024-07-12]. https://www.nice.org.uk/process/pmg20/resources/developing-nice-guidelines-the-manual-appendices-2549710189/chapter/appendix-j-call-for-evidence.
[22] Merriam-Webster. Definition of opinion[DB/OL]. [2024-07-12]. https://www.merriam-webster.com/dictionary/opinion.
[22] Merriam-Webster. Definition of opinion[DB/OL]. [2024-07-12]. https://www.merriam-webster.com/dictionary/opinion.
[23] 高一城, 王建新, 孙媛媛, 等. 专家证据在中医药临床实践指南中的应用思考及建议[J]. 中国循证医学杂志, 2023, 23(11): 1360-1364. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202311018.htm Gao Y C, Wang J X, Sun Y Y, et al. Thoughts and suggestions on the application of expert evidence in traditional Chinese medicine in clinical practice guidelines[J]. Chin J Evid-Based Med, 2023, 23(11): 1360-1364. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202311018.htm
[23] 高一城, 王建新, 孙媛媛, 等. 专家证据在中医药临床实践指南中的应用思考及建议[J]. 中国循证医学杂志, 2023, 23(11): 1360-1364. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202311018.htm Gao Y C, Wang J X, Sun Y Y, et al. Thoughts and suggestions on the application of expert evidence in traditional Chinese medicine in clinical practice guidelines[J]. Chin J Evid-Based Med, 2023, 23(11): 1360-1364. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202311018.htm
[24] McMaster GRADE Centre. Glossary of terms[EB/OL]. (2013-12-16)[2024-07-12]. https://macgrade.mcmaster.ca/wp-content/uploads/2024/02/checklistglossarychineseprintable.pdf.
[24] McMaster GRADE Centre. Glossary of terms[EB/OL]. (2013-12-16)[2024-07-12]. https://macgrade.mcmaster.ca/wp-content/uploads/2024/02/checklistglossarychineseprintable.pdf.
[25] Balshem H, Helfand M, Schünemann H J, et al. GRADE guidelines: 3. Rating the quality of evidence[J]. J Clin Epidemiol, 2011, 64(4): 401-406. DOI: 10.1016/j.jclinepi.2010.07.015
[25] Balshem H, Helfand M, Schünemann H J, et al. GRADE guidelines: 3. Rating the quality of evidence[J]. J Clin Epidemiol, 2011, 64(4): 401-406. DOI: 10.1016/j.jclinepi.2010.07.015
[26] Guyatt G H, Schünemann H J, Djulbegovic B, et al. Guideline panels should not GRADE good practice statements[J]. J Clin Epidemiol, 2015, 68(5): 597-600. DOI: 10.1016/j.jclinepi.2014.12.011
[26] Guyatt G H, Schünemann H J, Djulbegovic B, et al. Guideline panels should not GRADE good practice statements[J]. J Clin Epidemiol, 2015, 68(5): 597-600. DOI: 10.1016/j.jclinepi.2014.12.011
[27] International Organization for Standardization. Glossary[EB/OL]. [2024-07-12]. https://www.iso.org/glossary.html.
[27] International Organization for Standardization. Glossary[EB/OL]. [2024-07-12]. https://www.iso.org/glossary.html.
[28] Brown B B. Delphi process: a methodology used for the elicitation of opinions of experts[R]. Santa Monica, CA: RAND Corporation, 1968.
[28] Brown B B. Delphi process: a methodology used for the elicitation of opinions of experts[R]. Santa Monica, CA: RAND Corporation, 1968.
[29] Fink A, Kosecoff J, Chassin M, et al. Consensus methods: characteristics and guidelines for use[J]. Am J Public Health, 1984, 74(9): 979-983. DOI: 10.2105/AJPH.74.9.979
[29] Fink A, Kosecoff J, Chassin M, et al. Consensus methods: characteristics and guidelines for use[J]. Am J Public Health, 1984, 74(9): 979-983. DOI: 10.2105/AJPH.74.9.979
[30] 周奇, 王琪, 俞阳, 等. 临床实践指南制定中的共识方法[J]. 药品评价, 2016, 13(16): 13-17. DOI: 10.3969/j.issn.1672-2809.2016.16.002 Zhou Q, Wang Q, Yu Y, et al. Consensus methods in the development of clinical practice guidelines[J]. Drug Eval, 2016, 13(16): 13-17. DOI: 10.3969/j.issn.1672-2809.2016.16.002
[30] 周奇, 王琪, 俞阳, 等. 临床实践指南制定中的共识方法[J]. 药品评价, 2016, 13(16): 13-17. DOI: 10.3969/j.issn.1672-2809.2016.16.002 Zhou Q, Wang Q, Yu Y, et al. Consensus methods in the development of clinical practice guidelines[J]. Drug Eval, 2016, 13(16): 13-17. DOI: 10.3969/j.issn.1672-2809.2016.16.002
[31] 廖星, 谢雁鸣. 共识法在传统医学临床实践指南制定过程中的应用探讨[J]. 中西医结合学报, 2008, 6(6): 555-560. https://www.cnki.com.cn/Article/CJFDTOTAL-XBZX200806004.htm Liao X, Xie Y M. Application of consensus methods in making clinical practice guidelines of traditional medicine[J]. J Integr Med, 2008, 6(6): 555-560. https://www.cnki.com.cn/Article/CJFDTOTAL-XBZX200806004.htm
[31] 廖星, 谢雁鸣. 共识法在传统医学临床实践指南制定过程中的应用探讨[J]. 中西医结合学报, 2008, 6(6): 555-560. https://www.cnki.com.cn/Article/CJFDTOTAL-XBZX200806004.htm Liao X, Xie Y M. Application of consensus methods in making clinical practice guidelines of traditional medicine[J]. J Integr Med, 2008, 6(6): 555-560. https://www.cnki.com.cn/Article/CJFDTOTAL-XBZX200806004.htm
[32] Chapple M, Murphy R. The nominal group technique: extending the evaluation of students' teaching and learning experiences[J]. Assess Eval High Educ, 1996, 21(2): 147-160. DOI: 10.1080/0260293960210204
[32] Chapple M, Murphy R. The nominal group technique: extending the evaluation of students' teaching and learning experiences[J]. Assess Eval High Educ, 1996, 21(2): 147-160. DOI: 10.1080/0260293960210204
[33] Allen J, Dyas J, Jones M. Building consensus in health care: a guide to using the nominal group technique[J]. Br J Community Nurs, 2004, 9(3): 110-114. DOI: 10.12968/bjcn.2004.9.3.12432
[33] Allen J, Dyas J, Jones M. Building consensus in health care: a guide to using the nominal group technique[J]. Br J Community Nurs, 2004, 9(3): 110-114. DOI: 10.12968/bjcn.2004.9.3.12432
[34] Hsu C C, Sandford B A. The delphi technique: making sense of consensus[J]. Pract Assess Res Eval, 2007, 12(1): 10.
[34] Hsu C C, Sandford B A. The delphi technique: making sense of consensus[J]. Pract Assess Res Eval, 2007, 12(1): 10.
[35] Bernstein S J, Laouri M, Hilborne L H, et al. Coronary angiography: a literature review and ratings of appropriateness and necessity[R]. Santa Monica, CA: RAND Corporation, 1992.
[35] Bernstein S J, Laouri M, Hilborne L H, et al. Coronary angiography: a literature review and ratings of appropriateness and necessity[R]. Santa Monica, CA: RAND Corporation, 1992.
[36] Jones J, Hunter D. Consensus methods for medical and health services research[J]. BMJ, 1995, 311(7001): 376-380. DOI: 10.1136/bmj.311.7001.376
[36] Jones J, Hunter D. Consensus methods for medical and health services research[J]. BMJ, 1995, 311(7001): 376-380. DOI: 10.1136/bmj.311.7001.376
[37] 陈耀龙, 罗旭飞, 王吉耀, 等. 如何区分临床实践指南与专家共识[J]. 协和医学杂志, 2019, 10(4): 403-408. DOI: 10.3969/j.issn.1674-9081.2019.04.018 Chen Y L, Luo X F, Wang J Y, et al. How to distinguish between clinical practice guidelines and expert consensus[J]. Med J PUMCH, 2019, 10(4): 403-408. DOI: 10.3969/j.issn.1674-9081.2019.04.018
[37] 陈耀龙, 罗旭飞, 王吉耀, 等. 如何区分临床实践指南与专家共识[J]. 协和医学杂志, 2019, 10(4): 403-408. DOI: 10.3969/j.issn.1674-9081.2019.04.018 Chen Y L, Luo X F, Wang J Y, et al. How to distinguish between clinical practice guidelines and expert consensus[J]. Med J PUMCH, 2019, 10(4): 403-408. DOI: 10.3969/j.issn.1674-9081.2019.04.018
[38] 中华医学会杂志社指南与标准研究中心, 中国医学科学院循证评价与指南研究创新单元(2021RU017), 世界卫生组织指南实施与知识转化合作中心, 等. 2022年医学期刊发表中国指南和共识的科学性、透明性和适用性的评级[J]. 中华医学杂志, 2023, 103(37): 2912-2920. DOI: 10.3760/cma.j.cn112137-20230724-00076 Guidelines and Standards Research Center, Chinese Medical Association Publishing House, Research Unit of Evidence-Based Evaluation and Guidelines (2021RU017), Chinese Academy of Medical Sciences, WHO Collaborating Centre for Guideline Implementation and Knowledge Translation, et al. Evaluation and ranking for scientific, transparent and applicable of Chinese guidelines and consensus published in the medical journals in 2022[J]. Natl Med J China, 2023, 103(37): 2912-2920. DOI: 10.3760/cma.j.cn112137-20230724-00076
[38] 中华医学会杂志社指南与标准研究中心, 中国医学科学院循证评价与指南研究创新单元(2021RU017), 世界卫生组织指南实施与知识转化合作中心, 等. 2022年医学期刊发表中国指南和共识的科学性、透明性和适用性的评级[J]. 中华医学杂志, 2023, 103(37): 2912-2920. DOI: 10.3760/cma.j.cn112137-20230724-00076 Guidelines and Standards Research Center, Chinese Medical Association Publishing House, Research Unit of Evidence-Based Evaluation and Guidelines (2021RU017), Chinese Academy of Medical Sciences, WHO Collaborating Centre for Guideline Implementation and Knowledge Translation, et al. Evaluation and ranking for scientific, transparent and applicable of Chinese guidelines and consensus published in the medical journals in 2022[J]. Natl Med J China, 2023, 103(37): 2912-2920. DOI: 10.3760/cma.j.cn112137-20230724-00076
[39] Oxman A D, Schünemann H J, Fretheim A. Improving the use of research evidence in guideline development: 7. Deciding what evidence to include[J]. Health Res Policy Syst, 2006, 4: 19. DOI: 10.1186/1478-4505-4-19
[39] Oxman A D, Schünemann H J, Fretheim A. Improving the use of research evidence in guideline development: 7. Deciding what evidence to include[J]. Health Res Policy Syst, 2006, 4: 19. DOI: 10.1186/1478-4505-4-19
[40] 王吉耀. 从循证医学观点评估和应用临床指南[J]. 中华消化杂志, 2004, 24(7): 385-386. DOI: 10.3760/j.issn:0254-1432.2004.07.001 Wang J Y. Evaluate and apply the clinical guidelines based on the viewpoints of evidence-based medicine[J]. Chin J Dig, 2004, 24(7): 385-386. DOI: 10.3760/j.issn:0254-1432.2004.07.001
[40] 王吉耀. 从循证医学观点评估和应用临床指南[J]. 中华消化杂志, 2004, 24(7): 385-386. DOI: 10.3760/j.issn:0254-1432.2004.07.001 Wang J Y. Evaluate and apply the clinical guidelines based on the viewpoints of evidence-based medicine[J]. Chin J Dig, 2004, 24(7): 385-386. DOI: 10.3760/j.issn:0254-1432.2004.07.001
-
期刊类型引用(1)
1. 刘敏，杨金苹，赵金颜，乔建红. 老年共病患者自我感知老化、抑郁情绪与生活质量的相关性研究. 心理月刊. 2024(21): 58-60 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 234
- HTML全文浏览量: 103
- PDF下载量: 82
- 被引次数: 1
