什么是 AI 偏差？

AI 偏差是指 AI 模型在解决问题过程中产生的错误假设，这种假设会影响或限制输出结果，导致结果出现偏差，无法准确反映现实情况。所有 AI 系统都基于训练数据做出决策。训练数据集中存在的细微缺口或缺失信息往往不那么明显，容易被开发人员忽略，从而导致 AI 偏差。例如，某项用于医疗诊断的 AI 服务可能会错误地识别特定人群中的某种疾病，原因在于其训练数据中缺少该人群患者的相关疾病信息。

AI 偏差反映了现实世界的偏见以及数据通常缺乏完整代表性的问题。它反映了人类的偏见，并降低了人工智能系统的准确性和效率。

数据质量差

偏差可能源于数据本身存在偏差这一事实。如果研究人员收集的数据不具有完全代表性或存在信息缺失，则可能会出现这种情况。

数据选择不当

有时，人类必须处理数据并对其进行标注，才能构建有用的训练数据集。在此过程中，人类可能会无意识地将自身的偏见引入数据集。例如，如果有人不喜欢某个产品或品牌，他们可能会下意识地将一条普通的产品评论标记为负面。

数据过时

随着社会的发展，人们的观念、观点和理解也在不断变化。如果 AI 系统使用几年前的历史数据进行训练，现在可能会给出不准确的结果。

机器学习中存在多种形式的偏差，每种偏差都可能降低 AI 系统的效能。以下是会影响人工智能模型的最常见的人为偏差。

算法偏差

算法偏差是指 AI 系统模型架构配置不当。配置错误的模型可能会以不成比例的方式错误计算响应。这可能会增加特定类型响应出现的频率，使算法倾向于给出某种特定答案。

例如，某个视频推荐 AI 引擎如果采用优先考虑互动率的算法，就会提升特定内容的曝光度，同时低估其他内容。相比于根据客户兴趣推荐其可能喜欢的视频，该引擎会优先推荐热门内容。

测量偏差

机器学习中的测量偏差源于数据收集过程中的错误。如果研究人员在收集数据时未遵循最佳实践，训练数据可能既不准确也不具代表性，从而导致偏差。

例如，在测试一款适用于不同移动平台的应用程序时，如果仅针对使用单一平台的一小部分移动用户进行实验，结果将无法真实反映情况，并会引入测量偏差。

排除偏差

当开发 AI 系统的研究人员在训练数据集中遗漏重要信息时，就会出现排除偏差。AI 系统无法针对缺失的数据生成相应的响应。例如，如果语音识别软件仅使用该国特定地区的口音进行训练，就会产生排除偏差。该软件将无法识别和理解其他地区的口音。

召回偏差

当模型正确识别特定类别的能力受到训练过程中对该类别不均衡的表征或关注的影响时，就会出现召回偏差。这种偏差在分类任务中尤为明显。例如，在医疗诊断应用中，如果数据集主要包含某种疾病的样本，机器学习模型在识别该疾病时可能表现良好，但在检测其他疾病时表现不佳。它对主要疾病具有较高的召回率，但在涵盖所有潜在病症时的整体表现却较差。

选择偏差

当科学家收集的整体数据集无法直接代表总体人群时，就会出现 AI 选择偏差。这种偏差通常源于研究人员未使用随机抽样方法，或者因自身偏见而忽略了纳入多样化的数据点。

一个示例是人脸识别数据未涵盖所有人口统计学群体。数据缺乏代表性会削弱 AI 模型识别代表性不足群体的能力。

标签偏差

标签 AI 偏差是指数据标注员在数据标注过程中无意间引入了偏差。特别是当标注员处理的数据具有主观性时，其固有的偏见会影响他们的判断视角。

社交媒体监测和自然语言处理（NLP）中的情感分析就是很好的例子。人类的偏见可能导致他们对互动行为产生不同的解读，从而将偏差引入数据集和 AI 算法中。

您可以采取多种策略来降低 AI 产生偏差的可能性，并提高人工智能模型的准确性。

选择合适的模型

不同的机器学习模型在不同程度上容易受到特定形式 AI 偏差的影响。随着模型复杂度的增加，其处理的数据量也随之增大，因此更容易产生偏差。针对您的应用场景选择规模合适的 AI 模型有助于构建一个公平且不受偏差数据影响的系统。

测试您的数据

统计分析有助于在训练前识别数据中的不一致性或代表性不足问题。多元化的注释团队可以提高数据具备充分代表性的可能性。这样可以避免盲点或数据点缺失。

尽管我们无法完全避免 AI 技术中出现偏差，但可以采取相应策略来解决现有的 AI 偏差问题。

持续监控

持续监控是一种通过定期评估 AI 工具输出结果来解决 AI 偏差的方法。随着时间的推移，即使是最优质的训练数据也会变得过时且不再适用。用户与系统的交互方式也可能引发新的或此前未曾发现的问题。利用检索增强生成（RAG）等技术向模型输入更新后的数据，也有助于解决偏差问题。

人机闭环输出

人机闭环输出是指人工对 AI 的输出结果进行审查的系统。研究与反馈团队会对 AI 系统生成的若干响应结果进行检查，以评估其有效性和公平性。尽管这一过程可能较为耗时，但它能确保您的 AI 模型符合人类设定的标准。

反事实公平性

反事实公平性是一种在 AI 中识别出偏差后用于解决该问题的方法。假设某款用于筛选简历的人力资源（HR）AI 技术根据几个相似特征来标示“最佳候选人”。一旦研究团队明确了这些特征，便可以用同义词将其替换。如果模型不再继续偏向同样的简历，则说明您的 AI 模型可能存在配置错误。此时，您可以审查 AI 模型的架构以找出错误根源，进而缓解 AI 偏差。

可解释人工智能

可解释人工智能是一种将人类自然的推理过程融入 AI 模型编码的方法。采用可解释人工智能意味着模型能够展示其得出特定答案所依据的推理过程。您可以审查其思维链，从而找出偏差是在哪个环节进入系统的。

Amazon SageMaker Clarify 提供专门构建的工具，可根据准确性、稳定性、毒性和偏差等指标更深入地了解您的机器学习模型和数据，从而提高模型质量并支持负责任的人工智能计划。它可以帮助您理解 AI 模型为何做出特定预测，以及偏差是否在训练或推理过程中影响了该预测。使用 SageMaker Clarify，您可以执行以下操作：

• 检测模型预测中的偏差并协助解释预测结果。
• 识别预训练数据中的偏差类型。
• 识别训练后数据中的偏差类型（这些偏差可能在训练期间或模型投入生产时出现）。

利用 Amazon SageMaker Clarify，您还可以通过创建自动或手动模型评测作业来评估大语言模型（LLM）。手动模型评测作业利用人工参与，将人类的输入引入评测流程。他们可以是您公司的员工，也可以是您所在行业的一组领域专家。

立即创建免费账户，在 AWS 上开启安全、准确的 AI 开发之旅。