4月19日,全球科技、社交巨头Meta在官网,正式发布了开源大模型——Llama-3。
据悉,Llama-3共有80亿、700亿两种参数,分为基础预训练和指令微调两种模型(还有一个超4000亿参数正在训练中)。
与Llama-2相比,Llama-3使用了15T tokens的训练数据,在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。
此外,Llama-3还使用了分组查询注意力、掩码等创新技术,帮助开发者以最低的能耗获取绝佳的性能。很快,Meta就会发布Llama-3的论文。
开源地址:Meta Llama 3 - a meta-llama Collection
Github地址:GitHub - meta-llama/llama3: The official Meta Llama 3 GitHub site
英伟达在线体验Llama-3:NVIDIA NIM for Generative AI
现在可以直接在的官网用:https://www.meta.ai/
如果你没Meta账号的话,也可以在这用:https://llama3.replicate.dev/ 或者HuggingChat