英伟达公司联合 Meta 公司发布了 Llama – 3.1 – Minitron 4B AI 模型，它是通过结构化权重剪枝、知识提炼等技术蒸馏出的 40 亿参数的“小而强”模型。该模型在 Llama – 3.1 – Minitron 8B 基础上蒸馏而来，英伟达运用了结构化剪枝技术，包括通过删除 16 层进行深度剪枝将模型从 8B 缩减为 4B，以及通过修剪嵌入维度和 MLP 中间层进行宽度剪枝。此外还采用了知识蒸馏技术，即让较小模型模仿更大更复杂模型的行为，以保留大部分预测能力同时速度更快、资源更节省，英伟达将蒸馏技术和剪枝技术相结合，确保重新训练的 4B 模型性能优异且能在更大模型中良好应用。
https://ai.meta.com/blog/nvidia-llama
本站文章通过互联网转载或者由本站编辑人员搜集整理发布，如有侵权，请联系本站删除。