请选择 进入手机版 | 继续访问电脑版

预测模型校准曲线 - Calibration curve (上篇)

2021-11-19| 发布者: admin2020| 查看: 2159 |原作者: 佚名|来自: 互联网

1论文实例2016年发表在JClinOncol(SCI影响因子26分)的研究对大肠癌患者术前运用放射组学方法,对淋巴结转移情况建立预测模型与模型验证。DevelopmentandValidationofaRadiomicsNomogr ...

1
论文实例


2016年发表在J Clin Oncol (SCI影响因子26分)的研究对大肠癌患者术前运用放射组学方法,对淋巴结转移情况建立预测模型与模型验证。Development and Validation of a Radiomics Nomogram for Preoperative Prediction of Lymph Node Metastasis in Colorectal Cancer.



做了预测模型校准曲线 (Calibration curve),两个图分别是建模队列和验证队列。图的横坐标是预测概率:用预测模型对事件发生的可能性(Probability)进行预测,0到1表示发生事件可能性是0到100%。纵坐标是实际概率:患者实际的事件发生率。红色的线是拟合线,表示预测值对应的实际值。


结果解读:

如果预测值=实际值,则红线与参考线(蓝线)完全重合;

如果预测值>实际值,即高估了风险,则红线在蓝线上面;

如果预测值<实际值,即低估了风险,则红线在蓝线上面;


如果能把点估计的波动范围展示出来证据级别高一些。

2
论文实例


2008年发表在 J Clin Oncol 的预测结肠癌复发的研究。Individualized prediction of colon cancer recurrence using a nomogram.



图3是校准曲线,AB两图分别预测60个月和120个月结局事件。同样横纵坐标分别是预测概率和实际概率。与论文实例1不同的是:


1、坐标范围不是0-1,而是根据实际情况的取值范围绘制的。这样做是符合做图规范的。

2、展示了点估计的波动范围。证据级别高一些。

3、本研究把不同时间发生的结局画在两个图上,下面这篇论文则呈现在一张图上。


3
论文实例


2011年发表在 Lancet Oncol(SCI影响因子36分)的研究,对慢性乙型肝炎进展为肝细胞癌建立预测模型进行风险评估和验证。



Calibration chart展示了三条线:Y发生时间分别是3、5和10年(红、蓝和绿线)。结果解读:

1、当风险较低时(小于10%),三条线均在参考线的上面,即高估了风险;

2、当风险较高时(大于10%),蓝线和绿线与参考线很接近(基本重合),即未高估或低估风险;

3、横纵坐标轴的刻度间距不是等距分布的,而是等比例(10倍)分布的。这是根据本研究数据分析情况选择的,符合做图规范。

4、本例没有显示每个点的波动范围。目的是显示三条线的分布,如果要显示波动范围,最好分开做三个图(如论文实例2)


4
论文实例


有的研究点会密一些,这里有10条线。波动范围大,与样本量小有关。



Nomogram for Preoperative Estimation of Microvascular Invasion Risk in Hepatitis B Virus–Related Hepatocellular Carcinoma Within the Milan Criteria. JAMA Surgery, 2015. SCI IF=8.4


五花八门的Calibration curve

该如何选择呢?

JAMA发表指南出大招


2017年在JAMA上发表的临床预测模型的区分和校准指南。Discrimination and Calibration of Clinical Prediction Models: Users' Guides to the Medical Literature. JAMA, 2017.


指南中给的Calibration curve就更漂亮一些,用曲线形式展示。



图中横坐标是预测模型得出的风险评分,纵坐标是实际值死亡率。黑色的点和线是实际观察到的1年死亡率和95%CI,黄色的曲线是模型预测的1年的死亡率。




指南中写到用肉眼看(visual)是最佳的评价校准曲线的方式(is the best way to evaluate calibration),也提到有统计学方法可以计算预测值和观测值的统计学差异(eg, the Hosmer-Lemeshow test),然而指南中并不推荐依靠p值评价校准曲线,并且用了三段来阐述不建议根据统计学检验计算p值的原因,在此就不详细讲述了。


5
论文实例


这是指南中推荐的参考文献的做法,用曲线拟合的方式呈现校准曲线,并用肉眼结合指标的临床意义判断临床实用价值。



可见当实际死亡率大于30%时,预测模型会低估死亡风险。临床价值在于:某些患者预测模型得出死亡风险是30%,很可能选择药物治疗并推迟心脏移植治疗时间,然而其实际死亡风险可能接近50%。因此,使用该模型会导致一些患者不适当地推迟移植。原文如下:


Predicting survival in heart failure: validation of the MAGGIC heart failure risk score in 51 043 patients from the Swedish Heart Failure Registry. European Journal of Heart Failure, 2014. SCI IF=10.6


6
论文实例


2017年 Eur Urol杂志(SCI影响因子17.5分)发表临床研究基于国家癌症数据库,分析局部治疗对转移性前列腺癌患者总生存率的影响。也采用了曲线拟合的形式做校准曲线,并且做了分层分析。The Impact of Local Treatment on Overall Survival in Patients with Metastatic Prostate Cancer on Diagnosis: A National Cancer Data Base Analysis.



核心结果解读:横坐标是预测的死亡概率,纵坐标是实际存活概率。

当预测的死亡概率=30%时,红线在蓝线上面,表明局部治疗(LT)比非局部治疗NLT实际存活率高;

当预测的死亡概率≥72%时,红线在蓝线下面,表明LT比NLT实际存活率低;


因此,得出基线情况好的患者,LT疗效好的结论。临床用途:用基线指标给患者做预测,如果预测死亡概率<72%,则推荐用局部治疗方案。


操作实例


例如:用多个临床(如年龄、性别和BMI)指标建立结局指标Y的预测模型绘制校准曲线。


首先看数据结构:

需要有结果变量(是否发生事件),这个事件可以是死亡(是/否),也可以是发病(是/否)。通常没有发生事件编码为0,发生事件编码为1。

把原始数据整理到一张表中,每个研究对象一行,全数字编码,缺失的数据可以空着。


易侕软件操作


第一步:数据操作的计算残差与预测值模块,给出结果变量、自变量(单个或多个指标,可以是连续或分类变量),点击保存。得出后缀是PRED的新变量,范围是0-1,表明预测的事件风险。



第二步:数据操作菜单下的“平滑曲线拟合”模块,给出应变量(结局指标)、暴露变量(上一步得出的预测值)、曲线拟合分层因子(group),点击查看结果。



结果出来了,横坐标预测的事件发生率,纵坐标是实际事件发生率。红线是曲线拟合线,蓝线是95%CI。点的疏密程度代表样本量。图中绿色的线是参考线,即预测值=实际值的情况。可见红线在绿线的上面,表明预测值风险高于实际风险。



对!操作就这么简单!




注意:易侕软件输出的是曲线拟合 95%CI的图(png图片和pdf格式),以及用于绘制曲线的原始数据(Excel格式)。参考线(如上图绿线)是后期做图添加的,其实很简单,两点连起来就是一条线,本例中把0.2和0.6对应的横纵线一画,找到两个交点后连线就ok啦。




  以上就是由个人图书馆分享的预测模型校准曲线 | Calibration curve (上篇)。

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,请读者仅作参考,并自行核实相关内容。如发现有害或侵权内容,请联系我们将在第一时间进行核实处理。

0人已打赏

0条评论 2159人参与 网友评论 文明发言,请先登录注册

文明上网理性发言,请遵守国家法律法规。

最新评论

相关推荐
Copyright ©2014-2022 花都知识网中国互联网举报中心豫ICP备19020844号-1 非经营性网站Powered by pzzhd.com公安网备
免责声明 :本站资源来源自网络,尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。