2024-10-10 08:07 点击次数：150
9月25日，在2024百度云智大会上，百度集团扩充副总裁、百度智能云行状群总裁沈抖在云智大会上暗示，以前的一年，是大模子从技能变革走向产业变革的要害一年，而大模子与云计较细密伙同，正在成为新式的基础门径，“大模子过甚关相干统萝莉 在线，在短短几年内，正在连忙成为新一代的基础门径。此次变革的速率前所未有”。
melody marks 肛交
百度集团扩充副总裁、百度智能云行状群总裁沈抖 图片来源：企业供图
围绕大模子算力方面，沈抖暗示，提到算力，不少东谈主皆传奇过“万卡集群”，通俗来说萝莉 在线，GPU集群有三个特征：极致限制、极致高密和极致互联。
而这些“极致”带来了几个严峻的挑战。沈抖先容，起原是大皆的成就、运营老本，建一个万卡集群，单是GPU的采购老本就高达几十亿元。其次，在这样大限制的集群上，运维的复杂性急剧增多。他谈到，硬件不成幸免地会出故障，而限制越大，出故障的概率就越高。“Meta熟习Llama3的时候，用了1.6万张GPU卡的集群，平均每3小时就会出一次故障。”
沈抖进一步暗示，在这些故障中，绝大多数是由GPU引起的，其实GPU是一种很敏锐的硬件，连中午天气温度的波动，皆会影响到GPU的故障率。这两个挑战迫使百度再行开动念念考怎样构建、管制和注重雄壮而复杂的GPU集群，屏蔽硬件层的复杂性，为大模子落地的全经由提供一个通俗、好用的算力平台，让用户大致更容易地管制GPU算力、低老本的用好算力。“以前一年，咱们感受到客户的模子熟习需求猛增，需要的集群限制也越来越大，与此同期，环球对模子推理老本的合手续着落的预期也越来越高。这些皆对GPU管制的领略性和灵验性提议了更高条目。”
基于此，百度智能云通知将百舸AI异构计较平台全面升级至4.0版块，围绕落地大模子全旅程的算力需求，在集群创建、开荒现实、模子熟习、模子推理四大方面，为企业提供“多、快、稳、省”的AI基础门径。
其中，为了惩处算力资源阑珊的问题，百舸4.0对“多芯混训”才智进行了重心升级，终清楚在万卡限制集群上95%的多芯混杂熟习效用，达到业务最率先水平。在集群部署门径，升级后的百舸大致终了器用层面的秒级部署，将万卡集群运行准备时分从数周最快缩减至1小时，极地面栽培部署截止，缩小业务上线周期。针对大模子熟习过程中故障频发的问题，百舸4.0全面升级了故障检测技能和自动容错机制，不错灵验贬低故障发生频次，大幅减少集群故障处置时分，在万卡集群上终清楚超越99.5%的灵验熟习时长。
此外萝莉 在线，百度智能云同期公布了千帆大模子平台的最新“获利单”，在千帆大模子平台上，文心大模子日均调用量超越7亿次，累计匡助用户精调了3万个大模子，开荒出70多万个企业级利用。以前一年，文心旗舰大模子降价幅度超越90%。