计算机行业点评:META发布开源模型LLAMA3.1 405B参数模型能力对标GPT-4O
一、事件:
7 月24 日,Meta 正式发布最新的开源大模型Llama 3.1 系列,进一步缩小了开源模型与闭源模型的差距。Llama 3.1 包含8B、70B 和405B 3个参数规模,其中405B 参数的模型在多项基准测试中超过了OpenAI 的GPT-4o,与Claude 3.5 Sonnet 等领先的闭源模型相媲美。
二、点评:
今年四月,Meta 推出了Llama3 系列的小参数模型8B 和70B。随后,Llama3.1 版本对这些模型进行了升级,并发布了史上最大的开源模型Llama 3405B,拥有4050 亿参数和128K 上下文窗口。与Llama 2 相比,Llama 3.1在数据量、训练规模和复杂性管理上均有显著提升,同时405B 参数的模型在多项基准测试中超过了OpenAI 的GPT-4o,与Claude 3.5 Sonnet等领先的闭源模型相媲美。据Meta 创始人扎克伯格预计,由Llama3 支持的Meta AI 助手APP 使用量将在未来几个月内超过 ChatGPT。不过,目前Llama 仍未采用MOE 架构,且并不支持多模态。
整体来看,扎克伯格认为人工智能会以类似操作系统领域中Linux 的方式发展,而Meta 有机会做大模型时代的Linux,成为开源AI 的行业标准。较于闭源模型,开源所带来的安全性更加显著,因为系统更透明,可以被广泛审查,数据隐私得到保障,同时使用企业不会受闭源模型供应商随意更改模型、改变使用条款,甚至完全停止服务等因素所影响。
此外,Meta 还与多家公司合作,拓展更广泛的生态系统。亚马逊、Databricks 和英伟达正在推出全套服务,支持开发者微调和蒸馏其Llama 模型,并将在包括 AWS、Azure、Google、Oracle 等所有主要云平台上可用。目前Scale.AI、戴尔、德勤等公司已经准备好帮助企业采用 Llama 并使用他们自己的数据训练定制模型。此次发布的Llama3.1 版本405B 大参数模型有望成为微调和蒸馏小型模型的最佳选择。
重点公司:科大讯飞、金山办公、海光信息、浪潮信息。
风险提示:技术发展不及预期、政策推进不及预期、下游需求不及预期、行业竞争加剧等。
声明:
- 风险提示:以上内容仅来自互联网,文中内容或观点仅作为原作者或者原网站的观点,不代表本站的任何立场,不构成与本站相关的任何投资建议。在作出任何投资决定前,投资者应根据自身情况考虑投资产品相关的风险因素,并于需要时咨询专业投资顾问意见。本站竭力但不能证实上述内容的真实性、准确性和原创性,对此本站不做任何保证和承诺。
- 本站认真尊重知识产权及您的合法权益,如发现本站内容或相关标识侵犯了您的权益,请您与我们联系删除。
推荐文章: