主页 > 临床医学 >

迷你临床演练评估信度的Meta分析

时间:2020-05-22 08:47

来源:未知作者:admin点击:

  【摘要】目的 对迷你临床演练评估的信度进行 Meta 分析,评价迷你临床演练评估用于评估医学生临床能力的可靠性。 方法 计 算机检索 PubMed、Cochrane library、Embase、Web of science、Scopus、CNKI、WanFang Data、VIP 和 CBM 等数据库,收集采用 Mini-CEX 评价医学生临床能力并使用 Cronbach's α 系数进行迷你临床演练评估信度测量的研究,检索时限为数据库建库至 2018 年 11 月。 由 2 名研究员按照纳入和排除标准筛选文献、提取资料、评价质量,然后采用 SPSS 21.0 软件进行 Meta 分析。 结果 最终纳入 17 项 研究,其中国外研究 12 项,国内研究 5 项。 迷你临床演练评估的总 Cronbach's α 系数为 0.892[95%CI(0.823,0.899)],国外迷你临 床演练评估的 Cronbach's α 系数为 0.904[95%CI(0.821, 0.910)],国内迷你临床演练评估的 Cronbach's α 系数为 0.848[95%CI(0.703, 0.936)]。 结论 当前国内外迷你临床演练评估的信度均较高,迷你临床演练评估用于评估国内外医学生临床能力具有较好的可靠性。
  【关键词】迷你临床演练评估;信度;Cronbach's α 系数;Meta 分析


  迷你临床演练评估( Mini-Clinical Evaluation Ex⁃ ercise,Mini-CEX) 是 1995 年美国内科医学会( Ameri⁃ can Board of Internal Medicine,ABIM) 发展并推荐的用于评估住院医师临床能力的一套兼具教学与评估的工具[1] 。  Mini-CEX 实施方法是由 1 名有经验的临床教师直接观察 1 名考生例行的医疗行为, 观察结束后,临床教师在表单上对 7 个项目进行打分,并就考生表现给予实时回馈[2] 。  Mini-CEX 形式新颖,丰富了临床考评方式,重视人文关怀,具有以评促学、实现教学相长的功能[3] ,目前已被广泛应用于瑞士、澳大利亚等国家[4-5] 。 2007 年陈伟德[6] 修订将其引进我国台湾,且创办了“ Mini- CEX 工作坊”。  2010 年,任爱兰[7] 率先将 Mini-CEX 引入大陆地区。  随后,我国多所医院采用Mini-CEX 培训和评估住院医师和医学生、护生等,并取得了良好效果[8-9] 。 然而,目前文献中报道的 Mini- CEX 信度不一, 已报道的 Mini- CEX的 Cronbach's α 系数在 0. 58 ~ 0. 95 [ 4,9] 之间,差异较大,导致对Mini-CEX 可靠性的质疑,但目前尚缺乏对 Mini-CEX 信度进行综合评价的研究。  因此,有必要对采用 Mini-CEX 评价医学生临床能力并使用 Cron⁃ bach's α 系数进行信度测量的研究进行信度概化[10] ,为 Mini-CEX 使用者提供一个有代表性的 Cronbach's α 系数参考值和范围。

  1 资料与方法

  1.1 检索策略
  计算机检索 PubMed、 Cochrane library、 Embase、Web of science、Scopus、CNKI、WanFang Data、VIP 和CBM 等数据库。 检索时限均为数据库建库至 2018 年11 月。  英文检索词包括Mini-CEX、Mini-clinical eval⁃ uation excise、reliability、Cronbach's α;中文检索词包括 Mini-CEX、迷你临床演练评估、信度。  检索策略采用主题词与自由词相结合的方式,为提高查全率,同时追溯纳入文献的参考文献。
  1.2 文献纳入和排除标准
  1.2.1 纳入标准 ①公开发表的采用 Mini-CEX 评估 医学生临床能力的横断面研究;②研究对象为医学生 (包括临床医学、护理等专业)、住院医师、护士等需评 估临床能力的人群;③结局指标为 Cronbach's α 系数。 1.2.2 排除标准 ①仅分开计算 Mini-CEX 各条目 的 Cronbach's α 系数;②信度测量采用重测信度法、 分半信度法等;③研究中每名考生仅被评估 1 次,数 据无法代入公式进行计算;④重复或资料雷同的研 究;⑤无法获取全文的研究。
  1.3 文献筛选与资料提取
  由 2 名研究员按纳入、排除标准独立筛选文献并交叉核对,如遇分歧经由第三方评价员商议解决。 按预先设计的资料提取表,由一名研究员提取和录入资料,另一名研究员进行核对。 资料提取内容包括作者信息、发表年份、研究地点、研究对象特征、人数、每名考生被评估次数、Cronbach's α 系数等信息。
  1.4 文献质量评价
  纳入研究的方法学质量采用美国卫生保健质量和研究机构( The Agency for Healthcare Research and Quality,AHRQ) 评价横断面研究的标准进行评价,包括 11 个条目, 分别用“ 是” “ 否” 及“ 不清楚” 表示。0~3 分为低质量研究,4 ~ 7 分为中等质量研究,8 ~ 11 分为高质量研究。 其中,评价条目“ 是否给出了鉴别患者的时间阶段?” 和“ 如果有随访,查明预期的患者不完整数据所占的百分比或随访结果” 不适用于本研究。

  

  2 结果

  2.1 文献筛选结果
  初检出文献 355 篇, 经逐层筛选后, 最终纳入
  17 项研究( 19 个 Cronbach's α 系数)[ 4-5,9,12-25] , 其中国外研究 12 项(14 个 Cronbach's α 系数),国内研究5 项(5 个Cronbach's α 系数)。  文献筛选流程见图 1。
  2.2 纳入文献一般资料与质量评价( 见表 1)
  表 1 纳入文献的一般资料及质量评价

  
  

  3 讨论

  3.1 纳入文献的方法学质量
  此次 Meta 分析共纳入研究 17 篇,除 1 篇为低质量研究外,其余均为中等质量。 研究结果显示各研究之间存在一定异质性。 究其原因:首先,异质性的存在可能与各研究中考生被评估次数不同有关,国外研究中每名考生被评估次数一般较国内多;其次,由于评分者对Mini-CEX 各条目操作定义及考核标准的理解存在差异, 可能会造成评分的一致性和准确性不佳;再者,Mini-CEX 由临床患者参与,考生完成操作的质量可因患者的病情复杂程度和配合程度而异,因此也影响了不同考生成绩的可比性。
  3.2  对 Mini-CEX 信度进行 Meta 分析的意义
  Mini-CEX 作为一种评价临床能力并兼具教学功能的测评工具,保证其信度是评估准确与否的关键。信度描述的是检测结果的一致性、稳定性及可靠性, 结果的一致程度越高表明测评工具的信度越好[26] 。测量信度的方法有重测信度法、复本信度法、分半信度法和 Cronbach's α 系数法[27] ,目前最常用的指标是 Cronbach's α 系数,Cronbach's α 系数> 0. 8 表明信度良好[28] 。 本研究采用 Rodriguez 和 Maeda 提出的Cronbach's α 系数的 Meta 分析方法对国内外 Mini- CEX 的 Cronbach's α 系数进行定量合成,判断国内外实行的 Mini- CEX 是否可靠, 为今后评价 Mini- CEX的信度提供参考。 结果发现, 国内外应用的 Mini - CEX 的可靠性较强,说明从信度方面评价 Mini-CEX的质量较高。
  3.3 国内外 Mini-CEX 信度比较
  本研究通过分层 Meta 分析显示, 国内和国外Mini-CEX 的信度均较高,差异无统计学意义。  这可能是因为国内进行的 Mini-CEX 信度测量研究较少,也可能是因为国内采用 Mini-CEX 评估考生时,评估次数虽较国外少,但国内对于评分者的选拔和培训较国外更为严格。  建议未来研究重视对Mini-CEX 信度的测量,进一步提升评估的可靠性。
  3.4 研究的不足与展望
  本研究在搜索文献时有超过篇文献与CEX 信度相关, 但仅有 17 篇文献报告确切的 Cron⁃ bach's α 值,说明许多研究犯了“ 信度引入” 的错误,即在自己的研究中报告的是前人研究中测验的信度。警示在应用测评工具时要规范操作,检验信效度,以提高研究的质量。   信度是测评工具可靠性的重要指标,诸多研究表明影响 Mini-CEX 可靠性的主要因素是每名考生被评估的次数和评分者培训质量。Pel⁃ grim 等[28]对 Mini-CEX 的信效度及可行性进行综述, 结果发现大部分研究可以通过增加考生被评估的次 数(>10 次)来达到可接受的信度( >0.8)。 但随着每 名考生被评估的次数和评估者培训强度的增加,人 力、物力和时间的投入也将随之增加。 因此,如何利 用有限的资源使 Mini-CEX 的信度达到可接受的范围 尚需深入研究。

  4 小结

  国内 Mini-CEX 发展较晚,多数研究构建 Mini- CEX 体系后未进行信效度检验,直接用于评估医学生 临床能力,效果堪忧。 建议未来研究忌犯“信度引入” 错误,实施前应进行信效度检验,积极探究评分者培 训、科学修订条目及考生被评估的最佳次数等方面的 内容以提高 Mini-CEX 的质量,更好地以评促学,加快 医学生临床能力的养成。

  参考文献:
  [1]    NORCINI J J,BLANK L L,ARNOLD G K,et al.The Mini- CEX( Clinical Evaluation Exercise),a preliminary investiga⁃ tion [ J ]. Annals  of  Internal  Medicine, 1995, 123 ( 10 ): 795-799.DOI:10.7326 / 0003- 4819- 123- 10- 199511150-
  00008.
  [ 2]    BERENDONK C,ROGAUSCH A,GEMPERLI A,et al.Vari⁃ ability and dimensionality of students' and supervisors’ mini
  -CEX scores in undergraduate medical clerkships-a multi⁃
  level  factor  analysis [ J ]. BMC  Medical  Education, 2018, 18(1):100.DOI:10.1186 / s12909-018-1207-1.
  [3]     GUPTA  S, SHARMA  M, SINGH  T. The  acceptability  and feasibility of mini-clinical evaluation exercise as a learning tool  for  pediatric  postgraduate  students [ J ]. International Journal of Applied & Basic Medical Research,2017,7(1): 19-22.DOI:10.4103 / ijabmr.IJABMR_152_17.
  [4]     PARAVICINI  I, PETERSON  C  K. Introduction, develop⁃ ment,and evaluation of the miniclinical evaluation exercise in postgraduate education of chiropractors[ J].International Journal of Thermophysics,2014,29( 1):2600 - 2609. DOI: 10.7899 / JCE-14-14.
  [5]    VAUGHAN B,MOORE K.The mini Clinical Evaluation Ex⁃ ercise ( mini - CEX) in a pre - registration osteopathy pro⁃ gram:exploring aspects of its validity[ J].International Jour⁃ nal of Osteopathic Medicine, 2016, 19: 61 - 72. DOI: 10. 1016 / j.ijosm.2015.07.002.
  [6]    陈伟德.迷你临床演练评量( mini-CEX) [ J].医疗品质杂志,2007,1(14):77.
  [7]    任爱兰.Mini- CEX 临床护理教学评量在实习护生中的应用[ J].当代医学,2011,17(2):160- 161.DOI:10.3969 / j.issn.1009-4393.2011.2.126.
  [8]   郭中献,沙丽艳,刘洋,等.迷你临床演练评估在临床护理领域中的应用研究进展[ J]. 护理研究, 2016, 30 ( 29):3588-3591.DOI:10.3969 / j.issn.1009-6493.2016.29.002.
  [9]    WELLER J M,JOLLY B,MISUR M P,et al. Mini- clinical evaluation exercise in anaesthesia training[ J]. British Jour⁃ nal of Anaesthesia,2009,102( 5):633- 641. DOI:10.1093 / bja / aep055.
  [10]    PICKETT  A  C, VALDEZ  D, BARRY  A  E. Psychometrics Matter in Health Behavior:a long-term reliability generali⁃ zation  study [ J]. American  Journal  of  Health  Behavior, 2017,41(5):544-552.DOI:10.5993 / AJHB.41.5.3.
  [11]    RODRIGUEZ MC,MAEDA Y. Meta- analysis of coefcient alpha[ J].Psychological Methods,2006,11( 3):306 - 322. DOI:10.1002 / jrsm.1075.
  [12] TORRE D M, TREAT R, DURNING S, et al. Comparing PDA- and paper-based evaluation of the clinical skills of third- year  students [ J]. WMJ  Official  Publication  of  the State Medical Society of Wisconsin,2011,110(1):9-13.
  [13]    COOK D A,BECKMAN T J,MANDREKAR J N,et al. In⁃ternal structure of mini- CEX scores for internal medicine residents:factor analysis and generalizability[ J]. Advances in Health Sciences Education, 2010, 15 ( 5 ): 633 - 645. DOI:10.1007 / s10459-010-9224-9.
  [ 14]    DURNING S J,CATION L J,MARKERT R J,et al.Assess⁃ ing the reliability and validity of the mini-clinical evalua⁃ tion exercise for  internal  medicine  residency  training[ J]. Academic Medicine, 2002, 77 ( 9 ): 900 - 904. DOI: 10. 1097 / 00001888-200209000-00020.
  [15]    KOGAN J R,BELLINI L M,SHEA J A. Feasibility,relia⁃ bility,and validity of the mini-clinical evaluation exercise( mcex)  in a medicine core clerkship[ J].Academic Medi⁃ cine,2003, 78 ( 10 ): 33 - 35. DOI: 10. 1097 / 00001888 - 200310001-00011.
  [16] ARORA V M, BERHIE S, HORWITZ L I, et al. Using standardized videos to validate a measure of handoff quali⁃ ty:the handoff Mini- CEX[ J]. Journal  of  Hospital  Medi⁃ cine,2014,9(7):441-446.DOI:10.1002 / jhm.2185.
  [17]    TORRE D M,et al.Feasibility,reliability and user satisfac⁃ tion with a PDA-based Mini-CEX to evaluate the clinical skills  of  third - year  medical  students [ J]. Teaching  and Learning in Medicine, 2007, 19 ( 3 ): 271 - 277. DOI: 10. 1080 / 10401330701366622.
  [18] HATALA R, AINSLIE M, KASSEN B O, et al. Assessing the mini- Clinical Evaluation Exercise in comparison to a national  specialty  examination [ J ]. Medical  Education, 2006,40 ( 10 ): 950 - 956. DOI: 10. 1111 / j. 1365 - 29292006.02566.x
  [19]    SAEED N S,TARIQ N,JAFFERY T. Mini
  -CEX ( ClinicalEvaluation Exercise) as an assessment tool at Shifa College of Medicine,Islamabad,Pakistan[ J]. Rawal Medical Jour⁃ nal,2015,40(2):220-224.
  [20]    BUTTERWORTH K. Developing self- assessment skills a⁃ mongst  doctors  in  Nepal [ J ]. Medical  Teacher, 2010, 32(2):85-95.DOI:10.3109 / 01421590903206372.
  [21] CHEN W, LAI M M, LI T C, et al. Professional develop⁃ ment is enhanced by serving as a Mini-CEX preceptor[ J]. Journal of Continuing Education in the Health Professions, 2011,31(4):225-230.DOI:10.1002 / chp.20134.
  [22] YANG Y Y, LEE F Y, HSU H C, et al. Validation of the behavior and concept based assessment of professionalism competence in postgraduate first-year residents[ J].Journal of the Chinese Medical Association, 2013, 76 ( 4 ): 186-194.DOI:10.1016 / j.jcma.2012.12.002.
  [23] 顾杰,杨华,寿涓,等. 小型临床演练评量在全科医师培训轮转考核中的信度与效度分析[ J]. 中华全科医师杂志,2010,9(11):786- 787. DOI:10.3760 / cma. j. issn.1671-7368.2010.11.022.
  [24] 伊静,沙丽艳,廖婧,等. 护理迷你临床演练评估量表的编制及信效度研究[ J]. 中国高等医学教育,2017( 7): 88-90.DOI:10.3969 / j.issn.1002-1701.2017.07.044.
  [25] 郭中献.护理迷你临床演练评估量表在本科护生临床实习教学中的应用研究[ D].大连:大连医科大学,2017.
  [26]    FARNSWORTH J L,DARGO L,RAGAN B G,et al.Relia⁃ bility of computerized neurocognitive tests for concussion assessment:a Meta-analysis[ J]. Journal of Athletic Train⁃ ing,2017, 52 ( 9):826 - 833. DOI:10. 4085 / 1062 - 6050 - 52.6.03.
  [27]    HEO M,KIM N,FAITH M S.Statistical power as a function of Cronbach  alpha  of  instrument  questionnaire  items [ J]. BMC Medical Research Methodology,2015,15( 1):86 - 94. DOI:10.1186 / s12874-015-0070-6.
  [28] PELGRIM E A M,KRAMER A W M,MOKKINK H G A,et al.In-training assessment using direct observation of sin⁃ gle-patient encounters:a literature review[ J].Advances in Health Sciences Education Theory & Practice, 2011, 16(1):131-142.DOI:10.1007 / s10459-010-9235-6.

【责任编辑:admin】
医学论文 更多>>
热门论文 更多>>