这些潜在风险，一些人质疑他们是否可以信任在医疗保健领域使用这些技术。
我们很高兴地看到，一些利益相关者正在证明预测模型是公平、恰当、有效、有效和安全的（FAVES），而不是放大偏见或危害。一些利益相关者通过描述用于开发模型和最小化风险的过程、评估模型的性能（通常在同行评审文献中和根据新兴的报告指南进行描述）以及清晰描述应如何以及何时使用该模型来表明这一点。然而，购买者、实施者和用户往往无法获得这些信息。因此，评估预测模型质量所需的信息是不可用的，包括当这些模型嵌入或与经过认证的健康 IT 集成时。
我们认为缺乏一致的信息可用性（或信息不对称）是阻碍医疗保健领域预测决策支持干预 (DSI) 优化的决定性挑战。对于经济学专业的学生来说，这种信息不足或“质量不确定性”是市场失灵的最常见形式之一，通常俗称为“柠檬市场” ——就像在古老的俚语中指故障二手车一样。“柠檬市场”可能导致我们将简要讨论的几种负面动态。
我们是否看到了在某些医疗保健领域的预测模型中存在柠檬市场？
我们预计在“柠檬市场”中会看到三种经典动态，并且我们正在关注医疗保健预测模型市场中每种动态的迹象：
购买者或用户买到了真正的劣质品：潜在购买者或模型用户不确定模型是否质量良好，因此，他们最终会使用劣质模型或以不适当的方式使用模型（例如，使用超出其设计环境或不适合特定任务或环境的模型）。众所周知，模型的误用和对模型风险的低估导致过度依赖模型来估计抵押贷款支持证券的违约风险，并直接导致了 2008 年美国金融危机。在过去几年中，我们看到医疗保健领域出现了一些引人注目的案例，用户很晚才发现他们使用或获得的模型不准确或有偏差。
由于不确定以及无法判断“好”与“坏”，因此未购买预测模型：潜在用户不会购买任何东西，因为他们不确定所提供的产品是有效、是骗人的鬼话，还是像汽车市场中那样，是破烂货。临床医生团体表示，临床医生根本没有他们需要的信息来判断该工具是否适用于他们的实践。我们还看到，在有更先进的替代方案（如预测模型）时，人们仍在继续使用几十年前开发的极其简单的模型。更先进的模型未能取代这些简单模型的一个原因可能是对更先进的替代方案的质量存在根本的不确定性 — — 其中一些（但不是全部）可能比旧的简单模型更有效（高质量） 。
高质量模型的生产商或供应商可能会退出医疗保健市场：高质量模型生产商退出市场，尤其是当高质量意味着高成本时。如果购买者无法区分好模型和坏模型，他们就不会愿意为昂贵的“好”模型支付比劣质模型更多的钱。高质量 餐厅电子邮件列表 生产商最终会失去经济可行性并退出市场，择。您可能熟悉医疗保健行业另一个领域的“逆向选择死亡螺旋”概念。目前，我们看到医疗保健市场中大量进入和退出模型，我们意识到缺乏质量信息可能会阻碍健康模型市场的出现。
我们可以做些什么来应对预测模型柠檬市场呢？
好消息是，推动次品市场的质量信息有限问题可以得到解决，希望能够形成一个更加强劲的市场，以便发现和奖励高质量的开发商。
针对“柠檬市场”，可以采取两种经典措施：
一种选择是建立质量认证，以便购买者对他们所购买产品的基本质量有一定的信任，特别是在购买者难以确定质量且低质量可能造成灾难性后果的情况下。例如，成立了医疗许可委员会，让患者相信他们的医生训练有素，而不是江湖骗子。另一个例子来自美国食品药品监督管理局（FDA），该局当然已经批准了许多药物和其他疗法，认为它们安全、有效，适合商业分销。FDA 还批准了大约 300 种支持 AI/ML 的医疗设备，根据这些设备的预期用途是安全有效的证据“批准”使用这些设备，并且这些设备的开发商可以按照联邦质量标准制造它们。
第二种选择是要求透明度，以便潜在用户更容易确定产品的质量或适用性。这也许是对同名“柠檬市场”最著名的回应——CARFAX的车辆历史报告，建立在公共数据库之上，包括《真实里程法》和事故损害报告的数据，这使得对锈迹斑斑的车辆多收钱变得困难得多。这种方法的其他例子包括食品营养成分标签和非处方药成分标签，它们提供有关产品成分、用途、谁应该（在某些情况下不应该）使用以及如何使用的信息。
对于医疗保健领域的预测性 DSI，可以通过在模型中应用各种测试来生成诸如模型“事实标签”之类的信息，这一过程称为模型验证。然而，金融服务行业的经验表明，验证信息本身可能不足以确保模型的高质量和适当使用。2000 年，美国财政部货币监理署 (OCC) 首次发布了《模型验证指南》，概述了验证模型的原则。在接下来的十年里，受模型在 2008 年美国金融危机中发挥的作用的推动，OCC 的指导重点扩大到涵盖风险管理和治理，不仅反映了模型验证，还反映了组织能力和实践。特别是，OCC 和美国联邦储备系统理事会的联合指导（称为 SR 11-7）指出，有效的模型风险管理框架的关键方面包括“强大的模型开发、实施和使用；有效的验证；以及健全的治理、政策和控制。”