在线配资交易网址分别构建垃圾数据集与正常数据集

“脑腐”（Brain Rot）指的是接触了过多社交媒体的低质量、碎片化信息后，人类的精神和智力状态恶化，如同腐烂一般。它曾入选 2024 年牛津大学出版社年度热词。

与人类“脑腐”现象的兴起相对应，人工智能（尤其是大型语言模型 LLM）正通过学习海量的互联网数据，逐渐获得类似人类的认知能力。

由于这种学习机制，LLM 不可避免地、持续地接触到大量“垃圾数据”，因此，问题出现：LLM 是否也会出现类似人类的“脑腐”现象？

近日，来自德克萨斯农工大学、德克萨斯大学奥斯汀分校和普渡大学研究人员合作发文表明，随着 LLM 持续暴露于低质量网络文本，其也会出现持久性的认知衰退，且无法恢复。

垃圾越多，退化越深

他们首先提出“LLM 脑腐假说”（LLM Brain Rot Hypothesis）：即基于垃圾网络文本的持续预训练会引发 LLMs 的持久性认知衰退。

为验证该假说，研究人员设计了一个对照实验，比较了不同模型在喂入垃圾数据集和正常数据集后的行为差异。垃圾数据指能够以肤浅方式最大化用户参与度的内容。

本研究从两个可度量的角度定义垃圾数据：M1（互动度），即简短且热门的帖子被视为垃圾数据。热度指点赞、转发、回复、引用数的总和，长度则是推文的 token 数量。反之则为正常数据；M2（语义质量），含有肤浅主题与吸睛风格的内容，使用吸睛词如 WOW、LOOK、TODAY ONLY 等，这些词通常大写，用以抓取注意力，但不会促进深度思考，此外，还有一些内容主题（如阴谋论、夸大言论、无根据主张、肤浅生活方式内容等）同样具备博眼球但无思考的特征。反之则为正常数据。

基于上述两个指标，研究人员从社交媒体 X 上 100 万条公开的帖子中抽样，分别构建垃圾数据集与正常数据集。

图 | 本研究的整体框架（来源：arXiv）

实验使用 4 个已预训练并经过指令微调的模型：Llama3 8B Instruct、Qwen2.5 7B Instruct、Qwen2.5 0.5B Instruct、Qwen3 4B Instruct。从推理、长文本理解与检索、伦理规范/安全性、人格特质等不同的维度进行评测。

结果显示：在推理能力与长上下文理解能力上，M1 与 M2 两类干预均引发显著的认知下降；其中，M1 对模型的推理、长程理解及安全性造成的损害更为严重。

在其余测试中，两种干预结果出现分化：M1 干预带来更明显的负面效应，包括安全风险上升，以及自恋与精神病态人格特征的增强，同时宜人性下降；M2 干预相对温和，甚至在某些情况下提升了宜人性、外向性与开放性。

图 | 垃圾数据对认知能力的影响（来源：arXiv）

此外，研究人员针对 Llama3 8B Instruct 模型进行了剂量反应实验。随着垃圾数据比例从 0% 升至 100%，推理和长上下文理解能力呈现渐进的剂量效应，例如在 M1 干预下，ARC-Challenge 的思维链推理得分从 74.9 降至 57.2，RULER-CWE 从 84.4 跌至 52.3。

上述结果表明，垃圾数据，尤其是 M1 会显著损害 LLM 的核心认知功能（推理、记忆、安全性），并诱发类人“人格偏移”。这一效应不仅广泛且持续，表明数据质量退化是导致 LLM 认知衰退的关键因果机制。

脑腐难以逆转

聚焦 Llama3 8B Instruct 模型，研究人员分析了导致 LLM“脑腐”的关键因素，以及其如何引发推理失败。

研究人员分析了文本的热度和长度的影响机制是否不同？结果发现，单独使用“热度”或“长度”指标，都无法完全捕捉 M1 干预的整体效应；这两个因素在不同任务中权重不同：热度对推理任务（ARC）影响更大；长度对长文本理解影响更显著。

这一差异再次印证：热度与长度在影响 LLM 的方式上截然不同，热度代表了一种全新的、非语义层面的“脑腐”风险来源。

通过分析模型在 ARC Challenge 任务中的思维链，研究识别出 5 类典型失败模式：无思考、无计划、计划跳步、逻辑错误、事实错误。这些模式可解释超过 98% 的推理失败，其中“无思考”占比最高（在 M1 干预下达 84%），且几乎所有失败案例都与“思维跳跃”（thought skipping）有关，即模型越来越频繁地截断或跳过推理链。

研究人员还通过两类方法，验证其是否能够恢复模型认知能力。

首先采取了两种反思式推理方法，包括自我反思：模型先生成回答，再根据自身推理识别错误类型（如逻辑或事实错误），随后生成修正版本；以及外部反思：与上述过程相同，但由更强的外部模型 GPT-4o-mini 提供反馈与纠错。

结果显示，两类方式在一定程度上减少了“思维跳跃”现象，模型的“自省”无法真正修复已损伤的推理能力；外部反思能暂时改善思维格式与逻辑性，但无法完全恢复认知功能。

在反思无效后，研究测试了两种再训练方式：指令微调，扩大训练样本至 5 万条；持续控制训练，使用 120 万 token 的控制数据继续预训练。

结果显示，指令微调的恢复效果优于持续训练，但效果有限，即使使用的指令数据量是垃圾数据的 4.8 倍，模型性能仍无法完全恢复。与基线模型相比，最优缓解模型仍存在显著差距：ARC-C 下降 17.3%，RULER 下降 9%，AdvBench 下降 17.4%。这表明脑腐效应已经深度内化，现有指令微调无法根除，需要更强的缓解手段。

综上，这项研究表明，LLM 持续暴露于垃圾数据，会出现脑腐且无法恢复。因此，研究人员呼吁，需重新审视互联网数据采集与持续预训练实践；随着 LLM 规模扩大、网络数据摄入量剧增，必须实施更严格的数据筛选与质量控制，以防止累积性损害。

参考链接：

运营/排版：何晨龙

普通人如何加杠杆炒股提示：文章来自网络，不代表本站观点。