文章的出发点是：如果通过监督微调向LLM引入新知识，是否会增加模型产生与已有知识相悖的不准确事实回复倾向。
https://arxiv.org/pdf/2405.05904
一.知识分类
SliCK分类法：基于模型生成的答案与真实标签之间的一致性程度来量化，将知识分为四个类别：已知、未知、高度已知、可能已知和弱已知。
具体的就是基于q，使用few-shot做in- ，会通过温度来控制贪婪和随机性采样。因为不同的例子也可能影响结果。对于每个q，一共随机10次，产生10个候选的输入，每个输入采样一次贪婪的，16次随机的。
根据输出的结果来度量这几个类别，比如高度已知就是，每次贪婪都是对的；可能已知，就是有的适合能贪婪采样出结果；弱已知就是，只有随机采样，才能得到争取的结果。
二、实验结论
引入新知识的微调样本比与模型知识一致的样本学习得慢。随着持续的微调非已知知识的样本，模型最终能学习到新知识，但是其产生幻觉的倾向线性增加大模型主要通过预训练获得事实知识，而微调则教会它们更有效地使用这些知识。在微调数据中包含可能已知-样本对于模型在测试时正确处理这类样本至关重要。样本的引入增加了过拟合的风险，尤其是当模型对这些样本进行拟合时。使用aerly stop或过滤掉样本作为减少过拟合风险的潜在方法，将样本的标签替换为不确定性表达（如“I don’t know”）作为另一种可能的缓解策略。
欢迎关注我的公众号“NLP前沿”，日更最新论文/博客速读，周更AI领域近一周发生的那些事儿。欢迎投稿！ 行文仓促，有理解错误，欢迎指正 ！
（恰恰饭，但是真实有效，适合懒得折腾的，又喜欢玩新模型的小伙伴** ）**
葫芦（Hulu）AI，一个AI聚合平台，目前接入了GPT4.0、文心一言4.0、、MJ、、Suno等模型。可以畅玩大模型、文生图、文生音乐。首页还包含大量的提示词模板。
323AI导航网发布
相关文章
