我是Andrej Karpathy追踪器,,基本这位大神一直处于AI最前沿,毕竟Andrej Karpathy发的长文或者演讲都是干货满满
Andrej Karpathy 分享了一个有意思的想法:把人类的知识、传感器和执行器,从人类优先、人类可读转变为LLM优先、LLM可读。换句话说,就是不再只考虑人类怎么学习知识,而是要为LLM设计一个最适合它们理解和训练的知识表达方式。他称之为 “LLMification”
AK举了一个最近令他着迷的例子 —— 对于每一本教材的 PDF/EPUB,都存在一种完美的“LLM 化”方式。这种方式不是为了人类,而是专门为 LLM 设计的(当然,这不是一个简单的转换过程,需要人类参与其中):
所有的讲解部分会被提取出来,整理成 Markdown 文档,包括所有的 LaTeX、样式(加粗/斜体)、表格、列表等。所有的图形都会被提取为图片
所有的例题会被提取出来,转化为 监督微调(SFT) 的样本。同时,教材里对前面图表等的引用也会被解析并保留
所有的练习题会被提取出来,转化为 强化学习(RL) 的环境样本。正确答案会从答案手册中找到并附上。任何额外信息会以答案手册的形式添加,以便未来可能的 LLM 充当评判者
合成数据扩展:对于每个具体问题,你都可以构造一个“无限问题生成器”,能生成这一类问题的无限变体。例如,教材里有一道题是“在上午 9 点整时,时针和分针之间的夹角是多少?”——我们可以把它推广到任意时间点,用 Python 代码计算出答案,并生成各种提示文本的合成变体
以上所有数据都可以被很好地索引,并嵌入到 RAG 数据库中,或者作为 MCP 服务器提供出来以便使用
Karpathy 展示了 GPT-5 帮他写的一个“钟表角度生成器”。它可以随机生成不同时间点的题目,比如:
11:07 时,时针与分针的夹角是多少?(答案:68°) 4:14 时的角度是多少?(答案:43°) 7:02 时呢?(答案:161°)
这种方法意味着,LLM 不仅能像学生一样学习现成知识,还能不断获得海量的练习题,几乎无限制地强化自己的解题能力
相关文章
2025-08-290阅读
2025-08-290阅读
2025-08-290阅读
2025-08-290阅读
2025-08-290阅读
2025-08-290阅读
2025-08-290阅读
2025-08-290阅读
2025-08-290阅读
2025-08-290阅读