人工智能辅助诊断医疗器械产品是一个非常非常热门的赛道，从技术层面来看，人工智能在辅助诊断领域的应用是日趋成熟、且必将成为趋势，但是从医疗器械注册审评角度，多数人工智能辅助诊断医疗器械临床评价方式是医疗器械临床试验，本文以CT图像肺结节辅助诊断产品临床评价考虑要素举例，给大家说说人工智能辅助诊断医疗器械临床试验设计，一起看正文。

CT图像肺结节辅助诊断产品临床试验设计考虑要素举例

一、试验设计基本类型

CT图像肺结节疑似良恶性辅助诊断产品采用MRMC设计、交叉自身对照设计或平行对照设计。平行对照设计的具体过程及方法参考《医疗器械临床试验设计指导原则》相关内容。

若采用MRMC的设计，试验过程具体为，将参与试验的临床医师随机划分为A、B两组。A组：医师第一阶段在使用AI辅助的条件下，完成所有数据样本CT影像的肺结节疑似良恶性的诊断结论；经一定的洗脱期后，第二阶段在不使用AI辅助的条件下，完成所有数据样本CT影像的肺结节疑似良恶性的诊断结论。B组：医师第一阶段在不使用AI辅助的条件下，完成所有数据样本CT影像的肺结节疑似良恶性诊断结论；经一定的洗脱期后，第二阶段在使用AI辅助的条件下，完成所有数据样本CT影像的肺结节疑似良恶性诊断结论。该试验中医师使用AI辅助的作为试验组，不使用AI辅助的作为对照组，对比试验组与对照组肺结节疑似良恶性诊断的诊断准确度指标，阅片过程中每名医师需分别在使用AI和不使用AI的条件下都完成所有入组影像数据样本的阅片。医师均在盲态下进行阅片评估，不得预先知晓受试者基本信息、结节病理情况等。对照组打开影像的软件宜与试验组软件界面一致。

二、评价指标

此类产品临床试验通常可选择受试者工作特征（receiver operating Characteristic, ROC）曲线或其衍生曲线组成复合指标，如因变量自由的受试者工作特征（free-response receiver operating Characteristic, FROC）曲线、定位受试者工作特征（location-specific receiver operating characteristic, LROC）曲线等；亦可在此基础上添加以病灶为单位的疑似良恶性诊断灵敏度和特异度等组成的复合指标。使用ROC曲线或其衍生曲线时，可考虑在试验组医师阅片阶段，由阅片医师标记对目标疾病判定的检验效能（可考虑百分数评分），从而构建ROC曲线，并需考虑在培训阶段明确医师百分数评分的标准和方法。

次要指标可包括AI辅助医师诊断肺结节疑似良恶性的阳性预测值/阴性预测值，似然比，Kappa系数，准确率；软件独立给出肺结节疑似良恶性辅助诊断意见的灵敏度（需包括以病灶为单位和以患者为单位），准确率；阅片时间，医生诊断信心评价，软件功能易用性和稳定性（可采用主观感受评价，如李克特量表等）。若同时观察量化分析等非辅助决策临床功能的性能表现，亦可设立相应次要评价指标。

三、样本量估算及统计学分析

以MRMC设计为例，说明样本量估算考虑要素，若主要评价指标为AUC、灵敏度、特异度。试验中，假设检验的检验效能取80%。对于主要评价指标，优效性与非劣效统计分析将在单侧0.025的检验水准下进行。下述内容仅为示意举例，可根据产品具体情况合理调整相关参数：

1.基于AUC的样本量计算，预试验或文献资料确认效应值取0.06，研究医师设定为11名，AUC优效界值取0，则总样本量不得低于98例，阴性、阳性患者比为1:1。

2.基于结节水平灵敏度，效应值取0.08，研究医师设定为11名，优效界值取0，需阳性样本至少128个结节，假定平均每个阳性患者存在2个结节，则至少需要64例阳性数据样本。

3.基于患者水平的特异度，效应值取-0.06，非劣效值取0.1（参考Riverain ClearRead CT 的特异度95%区间下限），在当受试医师为11名时，非劣效验证（非劣效界值取0.1）需要阴性样本达到至少176例。

综合以上各指标样本量估算值，本试验样本量最低为240例，阳性数据样本64例，阴性数据样本176例。考虑到样本存在剔除和脱落的可能，当预期脱落率为10%，剔除率为10%时，阳性样本需要达到至少71例，阴性样本需要达到至少194例，共计265例。