当前位置: 天下车行网 > 财经

套娃不可取:研究人员证实用AI生成的结果训练AI将导致模型退化乃至崩溃

IT之家    2023-06-15 13:02   阅读量:9366   

,IT之家的小伙伴们可能都有设想过,如果用 AI 生成的结果来训练 AI,进行“套娃式训练”,能得到什么样的结果?目前还真有研究团队对此进行了观察记录,详细论文及得出的结果发表在了 arXiv 上。

一句话总结 —— “在训练中使用模型生成的内容,将导致后续生成的模型出现不可逆转的缺陷”,说人话就是研究人员发现“用 AI 生成的结果训练 AI,只会让模型变得越来越差”。

图源 arXiv

据悉,研究人员专门研究了 AI 生成模型的概率分布,主要围绕“文本到文本”和“图像到图像”展开,最终得出结论:“由于每个模型生成的结果都具有一定的特点,因此用 AI 生成的模型训练 AI,随着时间的推移,后者会忘记真正的底层数据分布。”

图源 arXiv

论文的主要作者之一 Ilia Shumailov 同时表示“随着时间的推移,生成数据中的错误会迫使 AI 进一步错误地感知现实,我们惊讶地观察到模型崩溃发生的速度相当快,模型可以迅速忘记他们最初从中学习的大部分原始数据。”

但小伙伴们可能会有所疑问,如果将 AI 生成的结果经过人工润色后再投入模型训练,是否可以避免模型“退化”?

答案是否定的,研究人员发现“模型退化过程是不可避免的”,因此即使对于“经过润色后理想化的 AI 输出内容”,模型在长期学习后,也会出现一定的退化现象。

对于任何大模型而言,由于其学习数据过多,它们都将不可避免地接触到其他 AI 生成的数据,因此研究人员表示“应当引入 AI 鉴定来挑出可能存在错误的学习数据”以提升模型的学习能力与准确性。


0 条评论

no_user

发表

  • 网络安全平台
  • 信息监察安全
  • 在线客服
  • 文明传播平台