万字独家曝光o1 pro架构！惊东说念主回转，Claude 3.5 Opus没失败？
剪辑：剪辑部 HYZ
【新智元导读】全网唯一份o1 pro架构爆料来了！创举自洽性机制毁坏推理极限，「草莓检修」系统初度揭秘。更令东说念主颤抖的是，OpenAI和Anthropic自留Orion、Claude 3.5超大杯，并不是里面失败了，而是它们成为数据生成的奥秘火器。
大模子Scaling Law排除，前段时刻曾被吵得沸沸扬扬。
濒临诸多的质疑，硅谷巨头们用举止给出了截然相背的谜底。
谷歌祭出最强下一代新模子Gemini 2.0 Flash，并带着多个智能体一同亮相；OpenAI「满血版」o1和o1 pro mode向系数东说念主诠释注解了模子的才略还远莫得波及到天花板。
最近，外媒SemiAnalysis一篇深度报说念再次指明了办法——Scale的维度远不啻预检修，Scaling Law仍将持续下去。
据爆料，Claude 3.5 Opus并非如传言所说，里面一经失败了。
相背，它是Anthropic全心打造的一件「策略火器」。一直以来并未公开发布的原因是，3.5 Opus被奥秘应用在两个关节畛域：「里面数据合成」和「强化学习奖励建模」。
令东说念主颤动的是，通过这种革命检修法子，Anthropic不仅莫得加多推理老本，反而显赫晋升了模子性能。
SemiAnalysis分析称，比拟平直对外灵通这款超大杯模子，Anthropic更欢乐将其用于检修优化，发布Claude 3.5 Sonnet就已足够！
不仅如斯，这份最新论述中，三位行业分析师独家揭秘了o1和o1 pro的架构，潜入探究了Orion异日缱绻。
o1穿越「草莓田」，惟有单一CoT
家喻户晓，o1在推理阶段接管了一种念念维链（Chain of Thought）的法子，将推理经过理会为多个闹翻的法子。
o1能够缱绻其推理法子，评估中间扫尾，并在法子出错或堕入僵局时进行回溯。
坊间，研究员们曾提倡许多对于o1推理形态的不雅点，比如它在推理阶段会探索一种潜在推理旅途或念念维链树。
可是，事实并非如斯。
o1在推理经过中，实质上在推理经过中只会沿着单一CoT前进，直至给出谜底。
而且， o1在测试阶段并不依赖搜索，因此在推理经过中毁灭了对潜在推理旅途树的探索。
这也意味着，它在推理时仅能使用pass@1法子。
而o1 Pro则接管了自洽性（self-consistency），或多数投票（majority vote）的法子。（注：如下token经济学的部分中，会有更许多先容）
对于o1怎样生成其单一的念念维链，有几种表面。
其中一种广为接受的表面是，在强化学习经过中，o1使用了一种「经过奖励模子」（Process Reward Model）来驱动推理法子。
PRM类似于一种奖励机制，不错在考据和生成之间进行切换。
通过使用褪色个模子同期动作生成器和考据器，模子能够在两者之间高效切换，并不休迭代其念念维经过。
回溯：是表露得志照旧检修扫尾？
如前所述，o1的另一个中枢才略是其在单一念念维链上进行自我雠校和回溯的才略。
值得提神的是，这种才略并非是刻意遐想，而是推理阶段计较量scale的当然扫尾。
也就意味着，o1就像一个不休学习的学生，能够意志到并雠校我方的过错。
不外，这种才略并非对系数问题，都雷同有用。
具体还要取决于问题的类型。
比如，对于像「x的都门是那边」这么通俗的问题，延伸念念考时刻并无太大的匡助。
而对于复杂的数学或编程问题，延伸念念考时刻则可能显赫晋升扫尾。
此外，与考据英语作文比拟，考据数学和编程问题相对更容易。
面前，分析师称也尚不明晰OpenAI是怎样具体垄断迥殊的测试时计较资源。
他们只知说念，「OpenAI的后台有某种缔造不错阻挡这少许」。
从以下按主题分辩的胜率图表不错看出，o1和推理模子在那些相对容易考据，但生成谜底较难的学科中发扬优于非推理模子，而在考据和生成谜底都贫困的畛域中发扬较差。
这主如若因为o1的检修经过在很猛进度上，依赖功能考据器（functional verifiers）在检修期间为模子提供反馈。
OpenAI打造「草莓检修」，生成合成数据
为了检修o1，OpenAI为此生成了海量数据。
他们打造了一个名为草莓检修（Berry Training）的复杂系统，专为检修推理模子。
这些合成数据，通过蒙特卡洛树（Monte Carlo tree）生成，伴跟着许多并发的回合（rollouts）。
然后，模子会基于经过奖励模子（PRM），针对约1000万个问题生成许多不同的变体，并在多个不同点进行分支。
这些问题会生成数千条不同的谜底「轨迹」（trajectories）。
由于部分谜底在分支时分享前缀，因此某些轨迹可能有着交流的开始。
之是以称其为「轨迹」，是因为单独来看，它是一条通向谜底念念维链。
这些轨迹中的每一条都包含数千个token。检修像o1这么的草莓模子需要生成数百万亿个token。
随后，这些轨迹领略过功能考据器（functional verifiers）和优化奖励模子（ORM）进行修剪。
由于PRM的效能较低，大多数数据选定是通过ORM结束的，因此每个问题会有许多并发的回合完成，而且直到最终才会被修剪。
如果PRM的发扬更好，那么生成的轨迹与保留的优质轨迹的比例会更高。但缺憾的是，ORM的生成占主导地位，并会筛除大部分数据。
这些功能考据器在许多方面有所不同，但不错将它们视为零丁的「沙盒」，用来检查数学计较或运行代码以考据生成的数据是否正确。
同期运行系数这些模子并正确地并行化，是一个极其复杂的系统和基础设施问题。
比如，不同模子必须在各式 GPU 上运行，计较扫尾需要精准路由到下一个处理阶段，同期更新多个模子权重，并确保责任负载平衡。
此外，功能考据器「沙盒」正常在GPU上运行成果欠安，因此常常被搬动到CPU上。
一个旨趣的得志是，现时尺度的英伟达系统正常配备8个GPU和2个x86 CPU，也便是4:1的比例，而英伟达下一代GPU系统GB200 NVL72配备了72个GPU和36个CPU，是2:1的比例。
另一方面，Anthropic背后金主爸爸亚马逊下一代系统（代号Project Rainier）配备了16个Trainium2，但惟有2个CPU，是8:1的比例。
可见，下一代检修系统的CPU与GPU资源之间存在巨大各异，英伟达系统能够让OpenAI运行更复杂的功能考据器，而Anthropic在每FLOP老本和内存带宽/容量老本方面具有上风。
可是，Anthropic更少的CPU资源可能会使运行复杂功能考据系统变得愈加贫困。
检修期间的大量前向传播
当今，大略就不难贯通，推理检修是极其计较密集型的原因了。
仅针对1000万个推理问题，就可能生成数百亿条轨迹，包含了数百万亿token。
瞎想一下，跟着问题集的持续膨胀并涵盖更多畛域，会发生什么？
数据量只会呈指数级增长。
而且这些数据并不皆备与客户申请类似，因此推理部分生成的token数目将超越预检修数据集。
此外，由于PPO（近端策略优化算法）和 PRN（经过奖励集会）的责任形态，必须在每次反向传播（更新模子）之前运行屡次前向传播（运行模子）。
这是因为，除了极其密集的生成器模子以外，还有策略模子、多种奖励模子以偏激他基于模子的考据器，它们在后检修阶段的每次反向传播中都会运行以考据数据。
在许厚情况下，这些模子每次反向传播会运行屡次，具体取决于需要修剪或拒却的数据量。
这导致后检修阶段的前向传播与反向传播的比例极高，而在预检修阶段，这一比例正常为1:1。
这种变化，对检修的基础设施需求产生了巨大影响。比如，往日可能需要单一的大型全调和膨胀架构，而当今这种需求可能不再必要。
不外，它带来的一个显赫的上风是，跨地舆漫衍的数据中心进行检修变得愈加容易。
后检修FLOPS超越预检修
以往，推理模子的后检修阶段，运行险些需要与预检修交流的计较量。
现时，在许厚情况下，面前的后检修FLOPS（每秒浮点运算次数）一经超越了预检修。
这是因为后检修正常需要在生成器、奖励模子、策略模子以及各式考据器的前向传播阶段使用多个副本的最大或最优模子。
以OpenAI的下一代模子为例。
他们面前正在检修一个在预检修范围上介于GPT-4o和Orion之间的模子。
他们会先预检修一个「基础模子」，然后从中派生出两个模子：一个是传统的聊天模子，另一个是信得过的推理模子。
从基础模子调遣为推理模子的经过，所需的后检修FLOPs将超越预检修所需的计较量。
这是因为Orion将被用于生成大量的「草莓检修」数据，而且还会被等闲应用于各式考据器和奖励模子中。
预检修的范围将持续扩大，这成绩于新架构的研发、对日益增长的合成数据以及视频数据的处理需求。
更遑急的是，推理检修的兴起意味着，后检修不再局限于通俗的微调，而且需要更多的计较量。
检修的计较scaing law依然有用，并充满活力。
快速迭代：另一种形势的Scaling
业内高度发展，让模子迭代速率不休晋升，大幅裁减了检修时刻。
现时，算法的逾越使得模子每年所需的物理计较量减少约三分之一。同期，其他架构的改进也允许开发出更优质的模子。
因此，检修运行时刻很少超越3个月，大多数主要的预检修运行正常在发布时仅需1-2个月。
可是，OpenAI的Orion却毁坏了这一通例，其检修时刻超越了3个月。
由于推理模子的「反馈轮回」机制，使得这种情况发生了变化。
OpenAI当今专注于更快的检修运行反馈轮回，并尝试通过更大的集群不休迭代模子。
像Orion这么超大范围的检修，在构建小模子时仍然很关节。不外在英伟达Blackwell出现之前，这么的模子由于自己的巨大老本和资源需求，难以结束经济化部署。
o1推理架构：token经济学
即使是较小的推理模子，使用Blackwell后也能显赫晋升处事效能。
尽管GPT-4o和o1的架构、范围交流，但每个token的订价各异高达6倍。雷同地，GPT-4o mini和o1 mini的每个token订价各异更大，高达20倍。
部分原因不排斥OpenAI是为了盈利，因其具有独到的功能，收取更高的用度。
但主要原因在于，老本自己更高。
接下来，不错通过一个通俗的实验，从基应承趣登程快速诠释推理模子在token订价上的巨大各异。
使用最近Qwen QwQ最近博客中，展示的第一个逻辑推理请示词示例，并将其输入到几个模子中：
请在以下过错的等式中添加一双括号使其成立：1 + 2 * 3 + 4 * 5 + 6 * 7 + 8 * 9 = 479
从Qwen发布博客中不错看到，这个问题需要生成约2166个词才智得出谜底
正如预期的那样，推理模子（如o1-preview和o1-mini）比同等范围的非推理模子，生成更多的输出token。
需要提神的是，即使推理token并未自满或提供给用户，它们也包含在可计费的输出token中。
由于推理模子的每个token老本显赫更高，查询老本在o1-mini的情况下高出24倍，而在o1-preview的情况下高出57倍。
这种查询老本的各异，足以令东说念主颤抖，但需要暖和的遑急部分是序列长度和KV缓存（KVCache）。
假定对o1-preview的7661个输出token运行一个查询，并使其在Llama 3.1 405B模子上，产生交流的7661个token序列长度。
在上述条款下，如果想要达到每秒每用户30个token的交互性，最多半大小将划定为72。
也便是说，序列越长，为了看护一定的交互速率，就必须减少一次性并行处理的批大小。
这是把柄「Roofline模子」进行计较得出的纯表面值。
在此简化分析中，还未讨论不同批大小对内存带宽垄断率或模子FLOPs垄断率的影响
交流的问题在GPT-4o上运行时仅生成了775个token的序列长度。
如果在Llama 3.1 405B上运行交流数目的token，并以每秒每用户30个token的交互性为办法，最多半大小可达368。
由于较长的序列长度查询，划定了最多半大小，推理模子的老本无法在更多用户之间分管，这意味着每个token的老本因KV缓存划定而高出5倍以上。
这仅是一个基于基应承趣的框架，但它不错匡助咱们了解险阻文长度怎样影响老本的办法性。
除此此外，还有其他身分导致了这种巨大的订价各异。
那么，是什么导致推理模子计较密度加多和内存需求更高，从而导致批大小减少和每GPU糊涂量贬抑？
谜底有两个方面。
最初，内存需求加多的主要驱启程分是，处理更长序列长度所需的更大KV缓存。使用全局查询提神力（GQA）时，总KV缓存大小不错按以下公式计较：
总GQA KV缓存大小（字节）=批大小×序列长度×2×层数×（掩饰层大小/头数×KV头数）×精度（字节）
KV缓存大小随序列长度线性增长，但也跟着批大小线性增长，因此同期领有大量用户生成长序列长度会导致巨大的KV缓存需求。
下图中展示了对于Llama 3.1 405B，一个39,000 token的序列长度，将皆备占满8xH100节点的640GB总HBM容量，而分析师尚未讨论加载模子参数所需的405GB。
如果将参数讨论在内，用于KV缓存的可用内存将减少到 235GB（下图中的红线），实质上在序列长度约为16k token时就已达到内存划定。
由于KV缓存大小的加多平直导致更大的内存容量和带宽需求。当批大小保持恒定时，这也贬抑了交互性，或者划定了最多半大小至16，从而提供最低的交互性。
另一个关节身分是FLOP需求怎样跟着序列长度的加多而膨胀：
每个token所需的缩放点积提神力（SDPA）FLOP=4×头数×层数×头维度×序列长度token
每个token所需的FLOP随序列长度线性增长，但由于这是每个token的FLOP，总FLOP随给定序列的序列长度平方增长。这意味着FLOP需求相对于序列长度呈二次方增长。
鄙人图中不错看到，跟着险阻文长度的加多，推理系统很快达到FLOPS的划定——鄙人例中，约为4096 的序列长度。
序列长度的加多极地面线性加多了内存和FLOP需求，并分别呈现线性和二次方增长，这导致批大小显赫松开，从而难以分管集群总领有老本。
这反过来使每个token的处事老本显赫提高。
需要提神的是，OpenAI等闲使用了诸如局部全局提神力（local-global attention）等提神力机制改进，这些改进有助于缓解这些问题，但只是更正了Transformer提神力中的常数，减缓了二次方增长，而未能责罚它。
需要能够在保持质料的同期责罚这些问题的长险阻文架构，不然推理模子的每token老本将经久显赫更高，同期生成的token数目也会更多。
推理模子挑战：可靠性问题
推理时带来了内存的显赫加多，和FLOPS需求外，序列长度的加多还带来了另一个挑战：可靠性问题。
前边一经磋磨过容错性，以及它怎样结束跨数据中心的检修，这亦然超大范围基础设施用具靠拢系数应用的关节部分。
在检修运行经过中进行检查点保存（Checkpointing）已被AI实验室等闲接管，以便在发生故障后快速重启检修，从而显赫减少这些故障带来的中断。
可是，在推理经过中，静默数据损坏过错和其他故障仍然可能发生。
尽管这些故障的发生率较低，但由于超大范围处事商需要处事庞杂的用户群体，以及用于推理的大量加快器开辟，这些问题必须得到责罚。
在Transformer架构中，每生成一个新的token，该token 都会被附加到之前生成的系数token上，并再次通过模子。如果在生成某个token时发生过错，这个已损坏的token就会成为对话险阻文的一部分，可能导致语法、语境或样貌上的过错。
这一问题对系数长险阻文模子都适用，但对推理模子尤其表露，因为长序列长度会导致过错的积贮。
此外，许多过错可能是模子自己固有的，或者由于推理经过中念念维链（Chain of Thought）从一初始就走上了过错的轨迹所致。
o1 pro破解推理难题，首采自洽性机制
基于上述原因，o1 pro在推理阶段接管了自洽性（Self-Consistency）/多数投票（Majority Vote）机制。
它与普通的o1模子使用皆备交流的模子和权重。
从名义上看，自洽性/多数投票的老本似乎格外高，因为如果有5个投票流，那么需要生成5倍的token。
这也为OpenAI将ChatGPT Pro订阅价钱从20好意思元提高到200好意思元提供了合理的依据。
但实质上，OpenAI的老本加多远低于价钱高潮的幅度。
这是因为在运行更长的平均序列长度，并加多解码token与预填充token的比例时，推理系统正常更多受到带宽和容量的划定，而不是FLOPs的划定。系统固然有充足的 FLOPs，但无法有用垄断。
另一方面，由于自洽性/多数投票在大部分序列长度上使用了分享的前缀，因此无需在KV缓存上销耗迥殊的带宽或内存。
摩尔定律：计较畛域最遑急的Scaling Law
OpenAI o1已向宇宙诠释注解了推理模子的巨大后劲，为AI开辟了全新的探索空间——计较时推理。
跟着计较才略的晋升，合成数据生成、PPO、功能考据器（Functional Verifiers），以偏激他推理检修基础设施，都将为Scaling Law续命。
当今民众热议的AI「Scaling Law」之争，其实和往日几十年对计较才略膨胀和摩尔定律的争论如出一辙。
在2000年代末Dennard Scaling失效之前，有些东说念主老是固守着CPU主频这一个办法。按这种算法，这些年如实莫得多猛进展。
但事实是，计较才略一直在稳步晋升。
当CPU主频遭逢瓶颈后，业界马上转向多核架构等新办法。固然功耗和散热经久是个挑战，但革命从未罢手。
摩尔定律走向排除的磋磨也曾十分扯后腿，但最近声息也小了许多。主如若因为像英伟达这么的AI领军企业找到了全新的膨胀维度，带来了显赫的算力晋升。
比如，先进封装技艺不仅晋升了I/O才略，还突破了传统光罩尺寸的划定，用上了更大的硅单方面积。
芯片表里的并行计较，再加上更大范围的高带宽集会，让这些芯片在大范围部署时能够更好地协同责任——尤其是在AI推理方面。
这种情况和2004年很相似：某些传统增长弧线如着实放缓，但成绩于新技艺范式的出现和膨胀，通盘行业依然在快速发展。
因此，就像往日50多年的摩尔定律一样，AI畛域的「Scaling Law」也会持续膨胀下去。
Scaling不单预检修
在对于Scaling Law的磋磨中，预检修通常是暖和的焦点，因为它易于贯通，但这只是AI生命周期的一部分。模子完成预检修后，仍需进行大量责任，准备好实质使用。
预检修的办法格外单一，即「正确斟酌下一个 token」。可是，结束这一办法仍然远未达到LLM开发的最终办法，即「恢复用户的请示词」或「完成任务」。
推理模子与念念维链
由于检修模子零落足够复杂、高难度的请示词，数学成为微调模子的重心畛域之一。
法子之一，是遴聘高技巧的东说念主类各人来遐想请示词，或者在里面生成这些请示词。通过推理有用责罚数知识题，需要清醒抒发且正确的念念维链，模子不错从中学习。
尽管某些数学才略不错通过代码解释器等用具得到晋升，后者允许模子生成并推论Python之类讲话的代码，从而匡助责罚部分数知识题，但代码并不及以责罚系数问题，尤其是最复杂的数知识题。
因此，检修推理模子责罚复杂数知识题，是面前研究者付诸大量勤恳的办法。
模子不错通过请示词平直生成念念维链，但扫尾可能不成靠，因为CoT中某一步出错，就会导致过错积贮到最终的过错谜底。不外，为了预防这种情况，o1 Pro引入了多重保险机制。
另一个挑战在于，即使是最新的模子，在濒临不细目性时也可能生成空幻信息，这容易导致推理法子中的过错进一步积贮。
通过CoT推理的对皆检修，不错责罚这些挑战。其中，强化学惯用于将模子步履对皆到CoT推理，并通过多个零丁模子提高其准确性。
第一个零丁的LLM是生成器（Generator），检修后，它不错跨多个法子生成经过推理的责罚决策。生成器正常与基础LLM分开，因为它故意针对生成这些推理法子的任务进行微调，而基础LLM正常针对通用任务进行微调。
第二个是考据器模子（Verifier Model），职责是评估生成器生成的责罚决策是否正确，提供相应奖励。
考据器模子不错通过东说念主工注目、自动经过注目或自动考据器进行检修。
在OpenAI论文「Let’s Verify Step by Step」中，研究东说念主员先容了PRM800K经过监督数据集，其中东说念主工数据标注员对来自MATH数据集12,000个问题的75,000个责罚决策中的800,000个经过法子进行了注目，这些决策便是由生成器生成的。
集会这些注目的老本不成冷漠。在原始数学论文中，一些大学生被要求在一小时内完成20个问题，其得分在40%到90%之间，90%的得分者，是一位三次赢得IMO金牌的选手。
OpenAI论文指出，由于老本原因，确立一个足够大的东说念主工注目PRM数据集，以匹配数目级更大的ORM数据集进行公说念比较，是不执行的。
替代法子，便是使用自动经过注目，或寻找自动考据器。
自动考据器是一个不错快速、轻松考据给定问题决策是否正确的系统或模子。
对于代码，可能是通过推论或测试代码；对于数学，则可能是评估给定函数，或使用像LEAN这么的诠释注解用具来检查正确性。可是，使用自动考据器可能并不会那么「自动化」——依赖外部系统会加多支出，影响检修性能，还可能需要永劫刻运行。
另一个则是完成器（Completer）。与让东说念主类评估中间法子不同，它用于创建多条不同的推理法子旅途。
「Math-Shepherd」论文使用了自动经过注目——生成多条旅途，然后通过以下两种形态评估这些旅途：如果旅途导致正确的最终谜底，则将其符号为一个好的推理法子（即硬推断）；或者把柄该法子导致正确责罚决策的频率分拨一个分数（即软推断）。
第四个模子是奖励模子（Reward Model），从经过注目标签中检修而来。
RM有两种类型：一种是基于扫尾提供奖励的扫尾奖励模子（ORM），另一种是基于经过提供奖励的经过奖励模子（PRM）。
ORM正常对模子提供的多种谜底进行排序，选定名次最高的谜底。而PRM为推理念念维链的每一步分拨一个分数，并基于该分数提供奖励。因此，在检修念念维链模子时，PRM正常更受兴趣。
「Let’s Verify Step by Step」论文展示了PRM相较于ORM的更强发扬。尽管如斯，OpenAI仍然更多依赖于ORM。
在「Math-Shepherd」中，便是通过一步一步近端策略优化（PPO）进行强化学习，从而检修最终的LLM，使其掌抓期许的CoT推理步履。
推理时Scaling
o1-preview的发布引起了业界对全新Scaling Law的暖和——即测试时计较（推理时计较）越多，谜底越好，而垄断这一scaling维度的勤恳正处于一个遑急的搬动点。
测试时scaling并不是一个新主张。在棋类游戏和扑克中，scaling测试时计较的理念一经存在了一段时刻。比如，AlphaGo在测试时使用蒙特卡洛树搜索来决定下一步棋。
通过更强劲的计较力，推理模子不错念念考更多法子，从而加多得出正确谜底的可能性。
可是，面前推理才略受限于推理系统的性能，因为推理模子所需的长险阻文长度显赫加多了内存和计较需求。
这意味着，为了保持险阻文长度和价钱的合感性，同期为一定数目的用户提供性价比处事，推理模子开发者划定了CoT的长度和复杂度。
因此，现时的推理模子相等于「发扬受限」，它们的性能不错跟着更强劲的推理系统（如GB200 NVL72）的上市而显赫scaling。
一朝具备经济可行性，允许o1治愈CoT的长度和计较资源的使用，将成为垄断测试时计较scaling的关节技艺。
从评估扫尾和下方图表中不错看出，即使只尝试一次，GPT-4o也能打败其他模子。
scaling测试时计较最通俗的形态是同期加多运行的样本数目，这实质上类似于「无穷山公定理」。
论文「Large Language Monkeys」标明，通俗的重复采样不错scaling推理时计较，并产生更好的扫尾。
这不错说是最基本的搜索法子之一。
生成更各类本不错结束更大的覆盖率，覆盖率界说为任何一个样本得出正确谜底的概率（即pass@k）。
有东说念主可能会以为，只是让这些较小的模子屡次念念考一个问题可能会更准确且更低廉，但咱们需要一个有用的考据器来判断是否得手生成了「莎士比亚全集」式的谜底。
「这是最佳的期间，亦然最糟的期间」
通过搜索，Scaling推理计较
搜索是Scaling推理计较的另一个维度，这在o1中未被垄断，但在o1 Pro中得到了应用。
o1在测试时（即推理阶段）并未评估多条推理旅途，也莫得进行任何搜索。
Sasha Rush在其对于测试时scaling的推测（o1）的演讲视频中，对搜索以及与推理模子有关的其他主题进行了潜入磋磨和诠释。
自洽性/多数投票是一种搜索法子。
在这种法子中，屡次将请示词输入模子，以生成多个反映，然后通过选定在一定数目的样本中出现次数最多的反映来细目正确谜底。
Best-of-N采样是另一种法子。
在这种法子中，为特定请示词生成N个责罚决策，然后使用考据器模子识别出导致正确谜底的念念维链。
蒙特卡洛伸开是一种基于Best-of-N的技艺。在这种法子中，通过从某个中间法子登程生成多个旅途来完成念念维链，从而对该中间法子进行评估。
这种评估不错决定是否持续现时法子，或者转向异日可能更优的法子，从而改进合座的念念维链。
Scaling检修比Scaling推理计较更低廉
推理模子腾贵的老本特色，加上其使用了大量token，使得推理老本显赫上升。
如果科技企业但愿以更高性价比的部署这些推理模子，那么阻挡部署老本的上升趋势至关遑急。
面前，主要实验室并莫得足够的才略。以他们期许的范围处事这些模子。
微软仍然无法全面推出其Copilot功能集；Sora无法等闲使用，为此，奥特曼甚而关闭了注册进口。
不论是在预检修照旧推理阶段，计较才略依然格外有限。
为此，scaling预检修仍然不错在贬抑老本方面产生巨大影响。
具体而言，通过使用比Chinchilla最优点多两个数目级的FLOPs进行过度检修，不错结束与Chinchilla最优点交流的性能，同期将推理老本贬抑一个数目级。
scaling预检修两个数目级所需的老本将比以往任何时候都更高，但这仍然是合理的。
超大范围计较提供商也在持续开辟更大的集群，比如马斯克筹办确立一个领有100万块GPU的集群。
鉴于OpenAI和微软面前简短在数十万块GPU上运行GPT的推理，对预检修进行scaling似乎仍然能够提供所需的老本从简。
参考费力：
https://semianalysis.com/2024/12/11/scaling-laws-o1-pro-architecture-reasoning-infrastructure-orion-and-claude-3-5-opus-failures/#scaling-training-is-cheaper-than-scaling-inference-time-compute
