PG电子
蚂蚁集团迈向AI革命:低成本训练时代的大模型进化PG电子下载
在当今AI算力优化的浪潮中,蚂蚁集团无疑是这场科技革命中的一位新兴领导者。凭借其在AI技术领域的深耕细作,蚂蚁集团成功实现了基于中国AI芯片的模型技术突破,这一里程碑式的成果引发了业界的广泛关注。
近日,蚂蚁集团CTO兼平台技术事业群总裁何征宇带领的LingTeam团队,推出了两个备受瞩目的开源MoE(混合专家)模型,分别名为Ling-Lite和Ling-Plus。Ling-Lite的参数达到了168亿,而Ling-Plus的基座模型更是高达2900亿。尽管这一数字在AI领域的巨头参数相比下仍显得逊色——如GPT-4.5的1.8万亿参数和DeepSeek-R1的6710亿参数——但蚂蚁团队的创新之处在于其可控且低成本的训练方法。
在预训练阶段,LingTeam使用的硬件系统规格较低,却成功将计算成本降低了约20%,仅为508万元人民币。此外,Ling-Lite与阿里通义的Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat模型性能相当,这使得蚂蚁集团在资源优化方面的成功更加引人注目。
这一技术成果不仅体现在模型的参数和计算成本优化上,还充分展示了蚂蚁团队在AI基础设施(AIInfra)技术上的创新。他们成功构建了一个9万亿token的高质量语料库,并巧妙应用MoE架构,通过多阶段训练和优化策略显著提高训练效率。
特别值得一提的是,蚂蚁团队在AI异构计算平台上的突破。他们将多个训练框架整合至统一的分布式深度学习框架——开源项目DLRover,不仅提升了训练效率,还推出了轻量级调试工具XPUTimer和弹性分布式训练工具EDiT。此外,蚂蚁团队在存储优化方面通过协同设计提升了MoE模型在I/O效率上的表现,成功将检查点写入延迟降低了50%。
在硬件方面,蚂蚁团队并非完全依赖英伟达的芯片,而是采用了国产的AI/GPGPU芯片,这一选择不仅降低了对外技术的依赖,也推动了中国AI产业的自主可控发展。彭博报道显示,蚂蚁团队最终实现的结果与英伟达芯片产品(如H800)相近,彰显了国产芯片在AI领域的强大潜力。
在模型的实际表现上,Ling-Lite和Ling-Plus均屡创佳绩。在英语理解的关键基准测试中,Ling-Lite超越了meta的Llama3.1-8B模型,而在中文测试中,两者均表现优于DeepSeek的同类产品。此外,Ling-Plus在模型的安全性及错误拒绝方面也展现了卓越的整体平衡,成为业界瞩目的新星。
蚂蚁集团计划将这两款模型开源,应用于医疗、金融等多个行业,推动AI技术的广泛应用与发展。目前,蚂蚁已推出包括生活助手支小宝、AI金融管家蚂小财和新发布的AI医生助手在内的多款AI助手,以增强用户体验和服务效率。
尽管大模型的训练充满挑战,蚂蚁团队面对稳定性等诸多难题,通过持续的技术创新与优化策略成功克服了这些障碍,稳步迈向AI技术前沿。这一成果不仅进一步彰显了中国在AI创新能力上的增强,也标志着中国正在怀抱AI自给自足的未来。随着AI技术的不断发展与应用场景的不断拓展,蚂蚁集团定将继续在AI领域施展其影响力,为推动中国AI产业的成长贡献更多力量。返回搜狐,查看更多