肺结节CT图像辅助检测产品临床试验设计考虑要素举例

一、肺结节CT图像辅助检测产品临床试验试验设计基本类型

肺结节CT影像辅助检测产品采用MRMC设计、交叉自身对照设计或平行对照设计。平行对照设计的具体过程及方法参考《医疗器械临床试验设计指导原则》相关内容。

若采用MRMC的设计，试验过程具体为，将参与试验的临床医师随机划分为A、B两组。A组：医师第一阶段在使用AI辅助的条件下完成所有数据样本CT影像的肺结节检测；经一定的洗脱期后，第二阶段在不使用AI辅助的条件下完成所有数据样本CT影像的肺结节检测。B组：医师第一阶段在不使用AI辅助的条件下完成所有数据样本CT影像的肺结节检测；经一定的洗脱期后，第二阶段在使用AI辅助的条件下完成所有数据样本CT影像的肺结节检测。该试验中医师使用AI辅助的作为试验组，不使用AI辅助的作为对照组，对比试验组与对照组肺结节检测的诊断准确度指标，阅片过程中每名医师需分别在使用AI和不使用AI的条件下都完成所有入组影像数据样本的阅片。

二、评价指标

此类产品临床试验通常选择检出的灵敏度（以病灶为单位）和特异度(以患者为单位)等组成的复合指标，亦可在此基础上添加受试者工作特征（receiver operating Characteristic, ROC）曲线或其衍生曲线组成复合指标，如因变量自由的受试者工作特征（free-response receiver operating Characteristic, FROC）曲线、定位受试者工作特征（location-specific receiver operating characteristic, LROC）曲线等。使用ROC曲线或其衍生曲线时，可考虑在试验组医师阅片阶段，由阅片医师标记对目标疾病判定的检验效能（可考虑百分数评分），从而构建ROC曲线，并需考虑在培训阶段明确医师百分数评分的标准和方法。

次要指标可包括AI辅助医师检出目标疾病的阳性预测值/阴性预测值，似然比，Kappa系数，软件独立检出目标疾病的灵敏度（以病灶为单位），软件独立检出目标疾病的灵敏度和特异度（以患者为单位），阅片时间，医生诊断信心评价，软件功能易用性和稳定性（可采用主观感受评价，如李克特量表等）。若同时观察量化分析等非辅助决策临床功能的性能表现，亦可设立相应次要评价指标。

三、样本量估算及统计学分析

以MRMC设计为例，说明样本量估算考虑要素，若主要评价指标为AUC、结节水平灵敏度、患者水平特异度。试验中，检验的检验效能取80%。对于主要评价指标，优效性与非劣效统计分析将在单侧0.025的检验水准下进行。下述内容仅为示意举例，可根据产品具体情况合理调整相关参数：

1.基于AUC的样本量计算，预试验或文献资料确认效应值取0.05，研究医师设定为12名，AUC优效界值取0，则总样本量不得低于87例，阴性、阳性患者比为1:1。

2.基于结节水平灵敏度，效应值取0.069，研究医师设定为12名，优效界值取0，需阳性样本至少116个结节，假定平均每个阳性患者存在2个结节，则至少需要58例阳性数据样本。

3.基于患者水平的特异度，效应值取-0.055，非劣效值取0.1（参考Riverain ClearRead CT 的特异度95%区间下限），在当受试医师为12名时，非劣效验证（非劣效界值取0.1）需要阴性样本达到至少157例。

综合以上各指标样本量估算值，本试验样本量最低为215例，阳性数据样本58例，阴性数据样本157例。考虑到样本存在剔除和脱落的可能，当预期脱落率为5%，剔除率为5%时，阳性样本需要达到至少62例，阴性样本需要达到至少166例，共计228例。