@全体股民:《投资研报》巨额特惠,满3000减1000,满1500减500!【历史低价手慢无,速抢>>】
分析指出,相比传统的堆砌计算能力和数据的训练方法,被称为“测试时计算”(Test-time Compute)的新方法更有助于提高AI模型的预测能力,这种方法能够让AI模型在回答问题前,有更多时间和计算资源进行“思考”。专家指出,如果测试时计算成为扩展AI系统的下一步,对专注于高速推理的AI芯片的需求可能会大幅增加。
作者:赵雨荷
来源:硬AI
迈向超级智能系统的AI实验室正意识到,可能需要改换道路。分析指出,相比传统的堆砌计算能力和数据的训练方法,被称为“测试时计算”(Test-time Compute)的新方法更有助于提高AI模型的预测能力。
据TechCrunch报道,多位AI投资者、创始人和CEO透露,近年来AI实验室用于提升模型能力的“AI扩展定律”(AI scaling laws)正显示出边际收益递减的迹象。他们的观点与近期的报告一致,这些报告表明顶尖AI实验室中的模型提升速度已不如以往。
现在,几乎所有人都开始承认,仅通过增加计算能力和数据量来预训练大型语言模型,并指望其变成某种全知全能模型的道路,是行不通的。这也许听起来显而易见,但扩展定律曾是开发ChatGPT、提升其性能的关键因素,也可能影响了许多CEO大胆预测通用人工智能(AGI)将在几年内到来的信心。
OpenAI和Safe Super Intelligence的联合创始人Ilya Sutskever上周对媒体表示,“所有人都在寻找扩展AI模型的新方式”。本月早些时候,Andreessen Horowitz联合创始人Marc Andreessen在一档播客中提到,当前AI模型似乎都趋向于能力的上限。
不过,有AI领域的CEO、研究人员和投资者已经开始宣称,行业正进入扩展定律的新纪元:“测试时计算”(Test-time Compute)被认为是一项特别有前景的新方法,能够让AI模型在回答问题前,有更多时间和计算资源进行“思考”。
“我们正看到一种新扩展定律的出现,”微软(417, 4.13, 1.00%)CEO纳德拉(Satya Nadella)周二在微软Ignite大会上说,他指的是支持OpenAI o1模型的测试时计算研究。
此外,Andreessen Horowitz合伙人、Mistral的董事会成员、曾是Anthropic天使投资人的Anjney Midha在接受媒体采访时表示,“我们现在正处于扩展定律的第二纪元,也就是测试时扩展。”
AI扩展定律失效?
自2020年以来,OpenAI、谷歌(166.57, -2.67, -1.58%)、Meta和Anthropic等公司取得的AI模型快速进步,主要归功于一个关键判断:在AI模型的预训练阶段使用更多的计算资源和数据。
在这一阶段,AI通过分析大量数据集中的模式来识别和存储信息。当研究人员为机器学习系统提供充足的资源时,模型通常在预测下一个词或短语方面表现更好。
第一代AI扩展定律让工程师通过增加GPU的数量和数据量来提升模型性能。尽管这种方法可能已经达到瓶颈,但它已经改变了整个行业的版图。几乎每家大型科技公司都押注AI,而为这些公司提供GPU的英伟达如今已成为全球市值最高的上市公司。
然而,这些投资是基于扩展能够持续发展的预期而做出的。毕竟,扩展定律并不是自然、物理、数学或政府制定的法律,它并未被任何人或事物保证会以相同的速度继续下去。即便是著名的摩尔定律,也在运行了较长时间后逐渐失效。
Anyscale联合创始人、前CEO Robert Nishihara在对媒体表示,
“如果你只投入更多的计算资源和数据,模型越做越大,回报会逐渐递减,要维持扩展定律的运行并保持进步的速度,我们需要新思路。”
“当你已经阅读了100万条Yelp评论,再读更多评论可能不会带来太大增益,但那是预训练。关于后训练的方法还相对不成熟,还有很大的改进空间。”
尽管如此,AI模型开发者可能仍会继续追求更大的计算集群和更大的数据集进行预训练,而这些方法可能仍有一定的提升空间。例如,马斯克最近完成了一台拥有10万GPU的超级计算机Colossus,用于训练xAI的下一代模型。
但趋势表明,仅通过现有策略使用更多GPU无法实现指数级增长,因此新的方法开始获得更多关注。
测试时计算:AI行业的下一大赌注
当OpenAI发布其o1模型的预览版时,就宣布这属于独立于GPT的新系列模型。
OpenAI主要通过传统的扩展定律(即在预训练阶段使用更多数据和更多计算能力)改进了其GPT模型。但据称,这种方法现在的增益已不再显著。o1模型框架依赖于一个新概念——测试时计算(test-time compute),之所以这样命名,是因为计算资源是在接收到提示后(而不是之前)才使用的。分析认为,这种技术在神经网络背景下的探索还不多,但已经表现出潜力。
一些人已经将测试时计算视为扩展AI系统的下一种方法。
Andreessen Horowitz的Midha表示,
许多实验表明,即使“预训练”的扩展定律可能正在放缓,“测试时”扩展定律——即在推理过程中为模型提供更多计算资源——仍然可以显著提升性能。
著名AI研究员Yoshua Bengio则表示,
“OpenAI的新‘o系列’进一步推动了[连贯思维],需要更多计算资源,也因此需要更多能源,我们因此看到了一种新的计算扩展形式:不仅仅是更多的训练数据和更大的模型,还包括花费更多时间‘思考’答案。”
例如,在10到30秒的时间里,OpenAI的o1模型会多次重新提示自己,将一个复杂的问题分解为一系列更小的问题。现负责OpenAI o1工作的Noam Brown尝试开发可以击败人类的扑克AI系统,在最近的一次演讲中,Brown表示,他注意到人类扑克玩家在出牌前会花时间考虑不同的情景。2017年,他引入了一种方法,让模型在出牌前“思考”30秒。在此期间,AI会模拟不同的子游戏,推演不同场景可能的结果以确定最佳行动。最终,这种AI的预测表现比他以前的方法提升了7倍。
需要注意的是,Brown在2017年的研究并未使用神经网络,因为当时它们尚未普及。然而,上周麻省理工学院的研究人员发表了一篇论文,表明测试时计算显著提高了AI模型在推理任务上的表现。
目前尚不清楚测试时计算如何大规模推广。这可能意味着AI系统在解决难题时需要非常长的“思考”时间,可能是数小时甚至数天。另一种方法可能是让AI模型同时在许多芯片上“思考”问题。
Midha表示,如果测试时计算成为扩展AI系统的下一步,对专注于高速推理的AI芯片的需求可能会大幅增加,这对Groq或Cerebras等专注于快速AI推理芯片的初创公司来说是好消息。如果找到答案与训练模型同样需要大量计算资源,那么AI领域的“挖掘工具”提供商将再次受益。
无论AI研究的前沿情况如何,用户可能在一段时间内感受不到这些变化的影响。不过,AI开放商将不遗余力地继续快速推出更大、更智能、更快的模型,这意味着多家领先的科技公司可能会调整其推动AI边界的方法。
本文来自微信公众号“硬AI”,关注更多AI前沿资讯请移步这里
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
责任编辑:李桐
APP专享直播
热门推荐
为逃避检查,广东潮州大量商户关门停业、工厂放假?官方:个别商户 收起为逃避检查,广东潮州大量商户关门停业、工厂放假?官方:个别商户
- 2024年11月23日
- 03:48
- APP专享
- 观察者网
- 6,229
A股大跌,原因是什么
- 2024年11月22日
- 07:18
- APP专享
- 奇贱哥
- 3,448
天风证券赵晓光:特斯拉如果要打专利,中国相关企业全部倒掉
- 2024年11月23日
- 09:59
- APP专享
- 黄河新闻网
- 2,964
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
趋势领涨今天 12:26:31
俄罗斯政府当地时间11月23日发布消息称,将于2024年12月1日至2025年5月31日临时禁止废旧贵金属出口。这招比较狠!俄罗斯主要是钯金和铂金的主要生产商,两者均用于净化汽车尾气的催化转化器。俄罗斯钯金产量占全球总产量的40%,约铂金产量占全球总产量的10%。现在禁止贵金属出口,利好黄金有色板块,利好A股市场稀土板块。 -
趋势领涨今天 06:33:21
=加入潜伏擒牛VIP,享四大顶级服务=【1】购买VIP自动加入私密小直播间!【2】每周3-5只超短金股调入调出服务,适合实时看盘的投资者!【3】每周一份高端内部绝密文章:包含近期布局、热点版块、指数预判!【4】每月2~3只高端中线金股服务!(VIP超短、中线个股均有涉足,让上班族也能跟上VIP节奏!)现月课7.5折,1288元!季课6.9折,3558元,续费季度更划算!新朋友可先月课体验!点网址,直接买,订购地址:【更多独家重磅股市观点请点击】【更多独家重磅股市观点请点击】 -
趋势领涨今天 06:33:12
由全球智慧物联网联盟(GIIC)主办、鸿蒙生态服务公司承办的2024首届鸿蒙生态大会在深圳召开。徐直军表示,截至10月22日,已有超过15000个鸿蒙原生应用和元服务上架,覆盖18个垂直领域。但与业界成熟操作系统生态相比,鸿蒙生态还需拥有更多的应用。徐直军直言,据分析,10万个应用是鸿蒙生态满足消费者需求的成熟标志,这是鸿蒙生态未来半年到一年的关键目标,也是鸿蒙应用上架的冲刺阶段,因此,需要开发者、应用拥有者,社会各界以及千行百业的支持。 -
趋势领涨今天 04:10:30
【10余家上市公司本周披露协议转让计划公告 茶花股份(sh603615)实控人拟协议转让15.06%股份】据财联社不完全统计,截至发稿,本周(11.18-11.22)包括金马游乐(sz300756)、法兰泰克(sh603966)、盛航股份(sz001205)、罗欣药业(sz002793)、茶花股份(sh603615)、光明地产(sh600708)、ST瑞科(sz300600)、和胜股份(sz002824)、华嵘控股(sh600421)、津荣天宇(sz300988)、远望谷(sz002161)、金富科技(sz003018)、天源环保(sz301127)在内的13家上市公司披露公司或股东计划协议转让股份的相关情况。其中,茶花股份(sh603615)实际控制人拟以18.6元/股的价格协议转让15.06%公司股份;盛航股份(sz001205)控股股东、实际控制人拟协议转让2154.48万股给万达控股集团,同时公司控制权拟发生变更。 -
趋势领涨今天 01:57:14
本周(11.16-11.22)国内统计口径内共发生69起投融资事件,较上周74起减少6.76%;已披露的融资总额合计约34.17亿元,较上周23.06亿元增加48.18%。从投资事件数量来看,医疗健康、先进制造、集成电路、人工智能、消费等领域较活跃;从融资总额来看,先进制造披露的融资总额最多,约13.80亿元。银河通用完成5亿元战略融资,为本周披露金额最高的投资事件。 -
趋势领涨今天 00:14:00
三、加密货币拉升,美元指数创新高,现货黄金五天涨5.7%近期最疯狂的当然是美元指数和现货黄金等避险品种,特没谱要上台,世界又充满了不确定性,加密货币出现了疯狂,比特币短线虽然走低,但已经接近10万美元,其它加密货币全线大涨,MicroStrategy涨超5%,第九城市涨超3%,加密货币上涨利好A股市场数字货币,区块链等概念,美元指数昨天升破108,创2年来新高,美元指数走强,对A股市场当然是利空,主要是引发外资撤离;现货黄金五天涨5.7%,重拾2700美元关口,现货白银涨1.63%,报31.29美元/盎司,本周累涨3.38%。总之一句话,特没谱要上台,美股疯,美元疯,比特币疯,黄金避险,A股?昨天大盘收出放量中阴线,下周还有一个惯性回踩的过程,但3250点区间是不会轻易跌破的,这附近至少会有一个抵抗性的反弹,所以,下周大盘探底回升的概率很大,3250点附近抄底为主,大家安心过周末吧! -
趋势领涨今天 00:13:56
一、扩大免签国家范围 对保加利亚、罗马尼亚、日本等国实行免签中方决定扩大免签国家范围,自2024年11月30日起至2025年12月31日,对保加利亚、罗马尼亚、克罗地亚、黑山、北马其顿、马耳他、爱沙尼亚、拉脱维亚、日本持普通护照人员试行免签政策。这里重点是将小本本加入到了免签范围,中日文化渊源流长,反应了我们博大的胸怀,国内有很多日本企业,现在加入到免签,有利于日本人民到我国游玩,有利于两国人民沟通,有利于刺激国内消费,该消息主要利好酒店旅游、跨境电商等板块。二、要进一步加强对平台经济健康发展的统筹指导 加大政策支持力度发展平台经济事关扩内需、稳就业、惠民生,事关赋能实体经济、发展新质生产力。加大政策支持力度,壮大工业互联网平台体系,支持消费互联网平台企业挖掘市场潜力。平台经济这个定位还是很高的,我们记得上次刺激平台经济还是在N年的老李手中,当初他愿意为互联网经济、平台经济代言,随后引发了网络经济的高速发展,随后就出现了京东,淘宝的辉煌时期,现在再次谈到平台经济,当然利好互联网平台电商和网红经济等板块。 -
趋势领涨今天 00:13:51
昨天又是非常懵逼的一天,两市不到400只个股上涨,超过4800只个股待涨,个股平均下跌超过4%,换一句话说,只要你没有控制仓位,昨天都是大亏的!我们虽然在昨天上午建议进行了大幅减仓,但有的人不执行,结果可想而知的!至于昨天的大跌,中午传出了很多消息,有人说是某人不听话的问题,但昨天弯弯指数大涨超过1.5%;有人说是俄乌问题,但昨天欧洲股市和美股都是上涨的;还有人说是美联储要换人的问题,但全球只有A股和港股是下跌的,难道损失的只有人民币吗?所以,昨天大盘所有下跌的理由都不成立,A股跳水只有一个原因,那就是内资太渣!内资天天砸盘,昨天大幅流出千亿元,行情启动以来,内资大幅流出超过2万亿元,这么大的资金量流出,散户、yz干脆直接掀桌子不干了,于是昨天所有的股票基本都下跌了,所以,我们建议与其天天查yz,查散户,查妖股,不与查查内资为什么要天天砸盘,比什么都管用。你们同意吗? -
趋势领涨今天 00:13:03
大家早上好!趋势为王,做股海的领航者,新的一天,新的战斗,欢迎你来到本直播室!新进的朋友请注意点赞,收藏本直播室,以方便你下次观看,谢谢大家的支持!【更多独家重磅股市观点请点击】 -
数字江恩2024-11-22 10:02:34
【11.11特惠返场截止25日】股知道VIP宠粉福利来袭!VIP年限时6折钜惠5333元(原价8888元),月课买二送一、立减1088元。订阅VIP立享图文直播+视频复盘+独家操盘系统课三大培训体系,助力赢战A股收官! 戳:【更多独家重磅股市观点请点击】立即抢购〉〉【更多独家重磅股市观点请点击】