1.3.4 难以监督

对AI进行有效监督是困难的。受限于人类有限的注意力和能力，反馈往往不可避免地带有某种偏见，这使得建模过程复杂化。这种困难源于人类的不完美性，导致在监督高级的AI系统时无法面面俱到。

人类错误可能由多种因素引起，包括缺乏对任务的兴趣、注意力分散、时间限制或固有的人类偏见等，这些因素都可能导致认知偏见和常见误解，从而影响反馈的质量。随着大模型的能力日益增强，人类评估者愈发倾向于将任务外包给聊天机器人，这种做法破坏了人类监督的初衷。

即使在拥有充足的信息和时间的情况下，人类在评估复杂任务时也可能提供低质量的反馈。将RLHF应用于超出人类控制能力范围的模型时，这个问题会变得更加明显。

依靠单一奖励模型来代表多元化的人类社会是存在缺陷的。RLHF通常被设计为让AI系统与个人偏好对齐的解决方案，然而人们在偏好、专业知识和能力方面的差异很大，评估者之间也常常存在分歧。如果忽视了这些差异，试图将来自不同人的反馈简化为单一奖励模型，可能会导致出现根本性的错误。目前的技术将评估者之间的差异视为噪声而非重要的分歧，这可能在偏好不一致时导致多数意见占优势，从而可能会对少数代表性群体造成不利影响。

综上所述，大模型技术是把双刃剑，我们需要正视以ChatGPT为代表的大模型技术带来的机遇与挑战，并谨慎应对。当前面临的挑战并不预示着大模型的终结，相反，人们对这些困境和局限性的深入了解，会为大模型未来的发展奠定基础。大模型仍然有巨大的潜力，等待我们去探索。