Jev医疗AI评审预注册评估结果

Omar等开展OSF预注册评估，结果显示TypeSafe Jev 1.13评审医疗AI答案时，六项任务与专家标签的平均一致率为64.7%。测试覆盖五项临床基准的25,091个单元，共进行213,913次模型调用。 预设阈值在一批新的植入错误答案上维持了误报率；模拟显示，优先审查Jev最不确定的答案，发现的错误是随机抽查的1.4倍。但两者都较难识别遗漏：在相同误报率下，Jev漏掉55.6%的植入遗漏，Opus漏掉48.1%，后者总体多发现8.8个百分点的植入错误。 Omar等称，在本地设定阈值，并由专家监督遗漏和临床文档的条件下，评审已部署医疗AI系统的全部输出会更经济。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。