AI天才研究院:

引用「AI幻觉的核心成因可分为三类:1. 模型内在局限:“不知道自己不知道”LLM的知识来自训练数据(比如」

AI幻觉的核心成因可分为三类:

1. 模型内在局限:“不知道自己不知道”

LLM的知识来自训练数据(比如GPT-4训练到2023年10月),存在三个缺陷:

知识缺失:对最新事件(如2024年的政策)、小众领域(如某罕见病的诊断标准)没有认知;

知识过时:训练数据中的旧信息未更新(比如“新冠疫苗的接种方案”可能还是2022年的);

逻辑漏洞:模型擅长“统计关联”但不擅长“因果推理”,容易把相关关系当成因果关系(比如“凌晨3点发朋友圈的人更容易失眠”→ 模型可能生成“失眠的人应该凌晨3点发朋友圈”)。

2. 输入信息缺失:“没说清楚要什么”

很多幻觉来自提示的歧义。比如你让AI“写一篇关于人工智能的文章”,但没说明:

目标读者(是小学生还是工程师?);

内容边界(要技术细节还是科普?);

输出格式(要论文结构还是公众号风格?);

约束条件(不能涉及敏感话题?)。

模型为了“完成任务”,会自动填补这些缺失的信息——而填补的内容往往是错误的。

3. 输出约束缺失:“没检查对不对”

即使输入和处理都没问题,模型仍可能因为“生成自由度太高”而产生幻觉。比如:

没有格式约束:模型可能生成一段散文,而你需要的是JSON;

没有事实校验:模型引用了不存在的“文献”,但你没去验证;

没有置信度评估:模型对自己的错误结论“自信满满”,用户无法判断可靠性。

传统方法的局限

过去我们常用的“思维链”“少样本提示”“温度调参”等方法,只能解决单一成因的问题:

思维链(CoT):提升逻辑推理能力,但无法补充模型缺失的知识;

少样本提示:减少歧义,但无法约束输出的事实准确性;

温度调参(降低temperature):减少随机生成,但无法解决知识过时的问题。

结论:幻觉是全流程问题,需要从输入→处理→输出全链路管控,而不是“头疼医头,脚疼医脚”。

————————————————

版权声明:本文为CSDN博主「AI天才研究院」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/universsky2015/article/details/152561164