CMU清华教LLM练成数学高手，LeanSTaR训练模型边思考边证明，登顶新SOTA

时尚 2024-09-20 00:06:15 7715

0 分享至

用微信扫码二维码

分享至好友和朋友圈

新智元报道

编辑：乔杨耳朵

【新智元导读】LLM数学水平不及小学生怎么办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的练练模每一步中都植入CoT，提升了模型的成数定理证明能力，成为miniF2F上的学高R训型边新SOTA。

如果想训练LLM证明定理的手L思考能力，你会怎么做？

既然模型可以通过海量语料学会生成文本，边证那如果我们能喂给它足够数量的明登形式证明数据，定理证明能力自然水到渠成？

然而，顶新我们看到的华教事实是，无论用符号形式还是练练模自然语言，GPT等大模型的成数推理能力都不如人意。

就像一样，学高R训型边AI再聪明却依旧会在简单的手L思考算术上犯蠢。

然而，边证LLM的明登数学能力弱，不代表自动化的定理证明器对数学没用。

前段时间

陶哲轩也曾在采访中强调，使用。这是一股不可小觑的力量。

最近，CMU和清华的一项研究就致力于让LLM的「自然语言思维链」和Lean的形式化证明结合在一起。

论文地址：https://arxiv.org/abs/2407.10040

论文提出，Lean、Coq、Isabelle等基于形式语言（代码）的自动化证明方法，忽略了大量可能对推理过程有用的「非形式化信息」。

比如，每个证明步骤之前的潜在思维过程是必不可少的，但却不会形式化地体现在最终的公式和代码中。

比如，图1中右侧的推理思路，在左侧的证明步骤中完全「无处安放」。

因此，作者提出了Lean-STaR训练框架，让语言模型既学会逐步推理的思维，也学会形式化的证明方式。

这意味着，需要将自然语言和形式语言交织在一起，也将「思考」和「证明」的过程交织在一起。

方法：Lean-STaR

顾名思义，Lean-STaR这个方法同时结合了之前的两项成果——Lean和STaR。

Lean是一种函数式编程语言，可以用作交互式定理证明器（Interactive Theorem Prover）。

项目主页：https://lean-lang.org/

这是由Leonardo de Moura在微软研究院期间发起的开源项目，目前已经更新到Lean 4。

比如，要想形式化证明，能从n≤m推断出n+k≤m+k，就可以用Lean写为如下形式（图6）：

首先给出一种高级的「策略」（tactic，图中所示为归纳策略k），将当前要证明的目标状态简化为多个子目标（下图中的case 0和case ih）。

这些子目标又会形成新的「状态」（state）。当所有子目标都得到证明时，我们就给出了定理的完整证明。

STaR则是来源于斯坦福和谷歌研究院在2022年发表的一篇论文，全称是「自学推理器」（Self-Taught Reasoner）。

论文地址：https://arxiv.org/abs/2203.14465

其基本思想就是用到了「自举法」（bootstrapping）。

首先根据训练数据中的问题和答案，提示语言模型，生成能解释答案的「原理」（rationale）。

之后，再用这个包含了问题、答案和原理的混合数据集对LM进行微调，提升模型的推理能力（图1）。

Lean-STaR模型的微调也是采用了「渐进优化」的思路，逐步将以上两个相关工作的成果融合在一起，完善底层的策略预测模型。模型构建的流水线如图4所示。

直接策略预测（Direct Tactic Prediction）

首先，将定理证明问题简单地定义为马尔科夫决策过程（MDP）。

从这个角度来看，证明过程是状态si、策略ai和奖励ri∈R等3个变量组成的轨迹(s1，a1，r1) (s2，a2，r2)⋯其中，ITP（比如Lean）用于提供每个新状态si+1。

在这种经典设置中，证明定理的过程包括向LM提供状态s，让模型M生成策略⁢(|) 。

因此，可以使用仅包含成功证明轨迹的基本数据集

对基本模型进行监督微调，得到SFT模型。

思维增强策略预测（Thought-augmented Tactic Prediction）

结合之前所述的研究动机，我们假设「潜在想法」可以提高模型的策略预测能力，因此引入一个表示「思维」的隐变量ti，然后将模型扩展为：

此时，根据状态预测下一个策略的分布可以表示为：

如果用这种方式预测，我们就需要一个全新的数据集

用于训练模型M，然而Lean给出的证明步骤只包含si和ai。

论文的解决方法是：借助一个强大的语言模型G（如GPT-4）作为「预言家」，让它在给定当前状态si和真实策略ai的情况下生成ti，从而创建出新的数据集DT（即图4中的CoT Dataset）。

作者将这种方法称为「回顾性原理生成」（retrospective rationale generation）。

将SFT模型在DT数据集上再进行一次微调后，就得到了第一个思维增强的策略预测模型Lean-CoT。

自举思维增强定理证明（Bootstrapping Thought-augmented Theorem Proving）

在Lean-CoT模型的基础上，作者提出，可以应用「专家迭代」（expert iteration）方法进一步提升性能。

具体来说，从初始的Lean-CoT模型M0以及初始数据集D开始，让M0对每个问题进行K次采样，每次采样都会产生一个证明轨迹 [(s0,t0,a0),(s1,t1,a1),⋯,(sn,tn,an)]，之后过滤出成功的证明轨迹并去重，得到新数据集D1。

接下来，在数据集DT∪D1上进一步微调M0模型以得到Lean-STaR模型M1。

将上述过程进行多次迭代，即可不断更新Lean-STaR模型。

评估实验

为了测试Lean-STaR的具体性能，研究使用了可用的最佳开放语言模型Lean语料库 (InternLM2-Math-base-7b) 上进行预训练，并遵循Lean的Mathlib作为底层训练集的标准实践。

首先以LeanDojo Benchmark 4 v9作为监督微调(SFT)数据集，包含超过23.1万个示例，进行1轮微调以获得SFT模型。

之后从数据集中随机选择17256个不同的成功证明轨迹，并使用GPT-4-0125模型注释出52438个想法，并且执行两次专家迭代。

实验在MiniF2F基准上评估Lean-STaR，使用了与之前的实验工作类似的评估设置，但主要使用的是采样方法（sampling）而不是最佳优先搜索（best-first search）来进行评估。

实验结果表明，回顾性原理生成和专家迭代都显著提高了模型的定理证明能力。

实验结果

实验的主要结果如下表所示，Lean-STaR比之前基于Lean的SOTA模型有了显著的改进。

例如，在类似的推理预算下，同样使用best-first search，Lean-STaR从InternLM2的30.3%提升至34.8%，也同样高于使用GPT-4的COPRA（30.7%）。

随着计算预算的增加，Lean-STAR的性能进一步提升至36.1%。

思维增强改进定理证明

Lean-STaR的第一阶段在思维增强的合成数据集上进行微调，训练模型来交替生成思维和策略。

此阶段的微调模型（在表1中表示为Lean-CoT）达到了32.8%的通过率，高于此阶段之前的模型（表示为 SFT，29.5%）。

可以证明，第一阶段的思维增强能提高语言模型的定理证明能力，即使对于已经专门用于生成Lean策略的语言模型（例如SFT）也依旧成立。

自举法（Bootstrapping）进一步改进

Lean-STaR的第二阶段包括使用当前语言模型生成新的思维和策略，保存正确结果，并结合初始数据集进行训练。

从表1结果来看，每次迭代都会提高模型的定理证明性能，从32.8%（初始模型）到34%（迭代1次后的L-STR）再到34.8%（迭代2次后的L-STR）。

此外，我们发现该模型可以通过额外采样进一步改进，将采样的K值加倍后，分数能进一步提升至36.1%。

无CoT的专家迭代实验

表5显示了没有CoT的专家迭代结果（即仅使用状态和策略，没有思维增强），对比Lean-CoT和Lean-STaR的表现。

仅用专家迭代时，准确率就达到了43.0%，低于Lean-STaR (45.5%)。

这表明Lean-STaR的性能提升不仅仅来自于专家迭代的使用，思维增强也有不可忽略的效果。

问题类型与难度

MiniF2F-test中的问题有多个来源，包括AIME、AMC、IMO等数学竞赛以及MATH数据集，并进行了手动形式化处理。

这些问题可能有不同的难度和类型。表2展示了成功证明的问题数量，按类型和难度划分。

Lean-CoT提高了解决所有类别难题的表现，尤其是数学竞赛中的难题。

除了这些改进之外，Lean-STAR的改进主要集中在数论方面。

搜索和抽样预算

表4说明了问题通过率与搜索规模或抽样预算S×K的关系。

实验发现，Lean-STAR性能与K值的大小成正比，特别是当K值相对较大时。

对比前两列和Lean-STaR可以发现，附带思维的额外采样能提高定理证明性能，而没有思维的额外采样可能会饱和。

作者猜测，可能是因为「思维」增加了输出的多样性，并有助于对定理证明空间进行探索。

因此，Lean-STaR更具可扩展性（就推理阶段算力而言），并且可以通过额外的专家迭代进一步改进。

更强基础模型和更多数据实验

实验还使用了更强的语言模型InternLM2-Math-plus-7b训练LeanSTaR，来测试不同语言模型性能的影响。

不仅基座模型更强，为数据集注释「思维」的模型也从GPT-4升级到GPT-4o，生成了1.4万条想法。

实验只执行一次专家迭代，收集了大约6万条（证明状态、思维、下一步策略）正确的数据，命名为「STaR 数据集」。

在STaR数据集上进一步微调得到Lean-STAR模型，其测评结果如表3所示，可以看到Lean-STaR仍然比基线有了显著的改进。

结论和局限性

研究团队提出了Lean-STaR，这是一种新颖的方法，通过将思维链 (CoT) 原理集成到每个证明步骤中，显著增强了语言模型用形式化数学语言进行定理证明的能力。

方法首先根据ground truth回顾性地为证明步骤生成「原理」，然后微调语言模型，训练模型学会生成「原理」并预测后续策略，从而得到Lean-CoT模型。

然后使用专家迭代进一步改进该模型，根据被证明为正确的采样结果进行微调，并使用Lean solver进行验证。

研究的贡献包括引入第一个思维增强的定理证明数据集，并证明专家迭代可以进一步提高性能。得到的模型在miniF2F测试上取得最新SOTA，将通过率从30.3%提高到36.1%。

这些进步不仅提高了自动化定理证明的准确性，而且还提供了一个可扩展且高效的框架来促进对数学的理解，这可能会对教育、科学发现和程序验证产生重大影响。

方法的主要限制在于，其性能可能受限于计算可扩展性，实验中用于微调Lean-CoT和Lean-STaR模型的数据集都不是很大。

需要注意的是，专家迭代的速度也存在严重瓶颈，会受限于Lean ITP的缓慢进程。

此外，使用GPT-4生成合成数据成本较大，并可能引入偏差。

参考资料：

https://arxiv.org/pdf/2407.10040

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/返回网易首页下载网易新闻客户端相关推荐热点推荐

曝广东某大学两名研究生，在午休期间玩手机被通报批评，导师连带罚款2000
可达鸭面面观 2024-08-08 10:14:14
18348 跟贴18348
正式公布！武汉将建一所新大学
鲁中晨报 2024-08-07 18:40:08
45 跟贴45
银川市一所民办大学校区因公司破产被拍卖，大学花5亿买了下来
天天话事 2024-08-07 09:48:47
84 跟贴84
正在公示！江苏拟设立三所公办本科高校
无线淮安 2024-08-09 14:51:40
72 跟贴72
东南大学“挺会玩”，把建筑放在文科招生，家长：我们可不好忽悠
熙熙说教 2024-08-08 11:47:58
117 跟贴117
从数据看实力：哈尔滨理工大学毕业生为何备受企业青睐？
抽烟不喝酒饮茶不读书 2024-08-08 08:19:59
0 跟贴0
淮北一中、濉溪中学！喜报！
淮北视窗网络科技 2024-08-06 21:05:45
0 跟贴0
铜仁学院党委书记、院长同时调整
汲古知新 2024-08-07 14:35:08
0 跟贴0
数学不是逻辑，而是
白驹谈人机 2024-08-07 06:35:55
21 跟贴21
伯努利不等式的意义
想去北极洲 2024-08-09 15:40:08
0 跟贴0
622成都七中2022年夏令营数学题，用参数方程求最大值！
我服子佩 2024-08-07 18:23:51
1 跟贴1
几何朗兰兹猜想被解决！论文达800余页，中国学者陈麟系主要作者
量子位 2024-07-23 18:10:04
347 跟贴347
597-2022年北大强基计划测试数学第4题，另外一种解法，初中生妙
我服子佩 2024-08-05 12:38:48
16 跟贴16
六年级竞赛题：求面积？巧用数学方法
大力小学数学 2024-08-08 18:13:00
0 跟贴0
602中考数学常规最大值题，分享高手2种快速解法！
我服子佩 2024-08-05 19:27:45
1 跟贴1
两种方法讲解小学数学分数比较大小
天天数理学习分享 2024-08-07 17:53:27
1 跟贴1
马翔宇报平安，清华大学校庆演讲，有人说他法学不适合去商务局
佳梦竹百科讲堂 2024-08-04 22:30:50
3 跟贴3
善于观察是学好数学的重要前提！
大鹏老师讲数学 2024-08-05 06:53:12
5 跟贴5
初中数学解方程：全班全军覆没？思维太狭隘
大力小学数学 2024-08-07 15:00:00
1 跟贴1
625初中数学竞赛解方程题，有难度！高手的解法就是不一般！
我服子佩 2024-08-07 18:25:06
1 跟贴1
难倒不对吗？错也要有个理由啊？数学是严谨的
公考客栈店小二 2024-08-06 18:00:00
0 跟贴0
这道小学数学题，全班都不会 #关注我每天坚持分享知识
松帽小红 2024-08-08 01:00:50
29 跟贴29
中考数学几何，填空压轴题，难住不少人
大力小学数学 2024-08-07 10:01:00
0 跟贴0
1952年考研：11一111=111？百人大学生仅一人成功
大林去流浪房车旅行 2024-08-09 12:03:08
0 跟贴0
陶哲轩牛津对谈罗博深：解密DeepMind如何让AI拿到IMO银牌
新智元 2024-08-08 12:36:28
11 跟贴11
真想数学不费妈，孩子开窍就读它
小路同学 2024-08-05 19:01:52
0 跟贴0
653-A,B,C为正实数，A+B+C=1,求证：A/(B+1)+B/(C+1) C/(A+1)≥3
我服子佩 2024-08-09 15:03:13
1 跟贴1
数学能力的培养别指望补习班
数学玩家胡老师 2024-08-07 21:30:00
0 跟贴0
以前解方程VS现在解方程，把简单的问题复杂化，显得自己有学问！
田七生活 2024-08-08 08:14:38
19 跟贴19
咋看著名作家“唐国明数学定理”出现了
唐国明 2024-08-08 18:39:50
4 跟贴4
小学数学画图法暑假带着你的孩子一起来学习一下数学吧#数学
青蛙刀圣1993 2024-08-08 00:11:43
0 跟贴0
数论是一个重要而又混乱的数学领域
古城孤魂 2024-08-08 09:05:58
2 跟贴2
数学描述生命形式
人工场一飞碟技术制造指90度 2024-08-08 16:08:22
4 跟贴4
638中考数学题，求阴影部分直角三角形的面积.咋求？试一下
我服子佩 2024-08-08 21:16:13
4 跟贴4
650初中数学竞赛压轴题，解法很难想到，熟能生巧，试试看！
我服子佩 2024-08-08 21:26:43
1 跟贴1
5922022年北京大学强基计划测试数学试题第4题，大家试试看！
我服子佩 2024-08-05 12:37:17
1 跟贴1
哥德巴赫猜想的意义
想去北极洲 2024-08-07 10:20:17
1 跟贴1
上海15岁高一女孩，解开世界难题，婉拒央视采访：可别让我妈看到
星光历史 2024-08-05 18:15:31
22 跟贴22
猜一猜，猜城市名字，看看你能猜到几个，有你在的城市吗？
柒猫谈娱 2024-08-09 10:12:38
0 跟贴0
大学女寝现状，争吵愈演愈烈，生活在里面提心吊胆！
三石搞笑 2024-08-08 17:28:23
51 跟贴51