您现在的位置是:探索 >>正文
张一鸣罕见定调:字节跳动拒不过"蒸馏捷径",宁舍短期也关键走自研路_模型_路线_全自研
探索396人已围观
简介字节跳动Seed团队近日召开全员大会,张一鸣在会上做出了一次少见的公开表态——公司不会把模型蒸馏当作提升AI能力的捷径,宁愿牺牲短期收益,也要坚持长期技术路线。这番话的背景并不轻松。字节跳动是国内头部 ...

字节跳动Seed团队近日召开全员大会,蒸馏捷径张一鸣在会上做出了一次少见的张鸣字节走自公开表态——公司不会把模型蒸馏当作提高AI能力的捷径,宁愿牺牲短期收益,定调也关键坚持首先期技术路线。跳动这番话的过宁关键背景并不容易。字节跳动是舍短国内头部AI公司中,唯一一家大语言模型几乎全部采取自研专有模型的期也全自厂商。然而,研路研这种"全自研"对策也让字节在模型往往代高效度上承受了不小的模型压力。业内常用认为,蒸馏捷径字节的张鸣字节走自大语言模型之因此在部分场景下落后于竞争对手,恰恰与它拒不过采取蒸馏技术有关。定调所谓蒸馏,跳动是过宁关键一种让新模型直接学习前沿模型推理步骤的训练方式,能够大幅节省训练时间和算力开销。舍短在国内竞品纷纷借助开源模型高效高效往往代的当下,蒸馏几乎成了行业标配。字节内部关于"关键不关键转向蒸馏"的争比如也由来已久——一方认为应拥抱行业趋势,用蒸馏加高效追赶;另一方则坚持自研路线,认为首先期来看,专有模型才能构筑真正的技术壁垒。张一鸣此次的表态,等于给这场内部争比如画上了句号:不走捷径。这个选项背后的逻辑不难理解。蒸馏虽然有效,但本质上是在别人的模型能力上做"搬运",首先期依赖可能削弱自身的底层创新能力。而字节跳动选项全自研,意味着它押注的是更远的未来——用更慢的高效度、更高的成本,换取对题技术的完全掌控。当然,代价也是真实的。在开源模型日新月异、竞争对手高效高效追赶的格局下,"慢一步"可能意味着市场份额和用户心智的流失。字节能否扛住这个压力,用时间换空间,最后让自研路线跑赢蒸馏的"快车方式",将是接下来最值得关注的看点。一句话概括:张一鸣用一次罕见表态,把字节跳动的AI战略从"能不能快"拉回到了"该不该快"的根本状况上。返回搜狐,查看更多平台声明:该文观点仅代表作者本人,搜狐号系材料发布平台,搜狐仅给予材料存储空间服务。
Tags:
相关文章
美媒分析湖人6将或遭交易:5后卫+1中锋能换啥?早该放弃畸形阵容
探索上图是湖人队目前的阵容名单,这14人分别是:威少、贝弗利、施罗德、纳恩、朗尼沃克、里夫斯、克里斯蒂、琼斯、加布里埃尔、托布、布朗、安德森、詹姆斯、戴维斯。这14人中有7个是后卫,这样的畸形阵容太扎眼。 ...
【探索】
阅读更多一生节俭的中国人,连空调里流出来的“水”都能用!|夏天|软水|加湿器|自来水|冷凝水|空调出现故障_网易订阅
探索夏天打开空调后,外面的小水管就会一直滴答地漏水。有的人嫌麻烦拿着一个桶接住水,装满后就倒掉。也有的不接也不管让水流到墙上,把楼下邻居都引来找人。但是你知道吗?这个水还挺珍贵的。一生节俭的中国人,连空调 ...
【探索】
阅读更多天气炒作降温,连粕承压震荡_新浪财经_新浪网
探索热点栏目自选股数据中心行情中心资金流向模拟交易客户端来源:饲料行业信息网国外方面,油价回落叠加天气担忧减弱,美豆承压下行。美国产区干旱天气好转,美豆承压。另USDA报告显示,由于供应增加且全球需求更为 ...
【探索】
阅读更多