微软打造13亿参数小型LLMAI模型,号称实际效果胜于千亿参数GPT-3
来源:IT之家 发布时间:2023-06-28 14:37 关键词:微软 阅读量:7405
,AI 模型盲堆体积实际上效果并不见得更好,更多要看训练数据的质量,微软日前最近发布了一款 13 亿参数的语言模型 phi-1,采用“教科书等级”的高品质资料集训练而成,据称“实际效果胜于千亿参数的 GPT 3.5”。
IT之家注意到,该模型以 Transformer 架构为基础,微软团队使用了包括来自网络的“教科书等级”数据和以 GPT-3.5 经过处理的“逻辑严密的内容”,以及 8 个英伟达 A100 GPU,在短短 4 天内完成训练。
微软团队表示,比起增加模型的参数量,通过提高模型的训练数据集质量,也许更能强化模型的准确率和效率,于是,他们利用高质量数据训练出了 phi-1 模型。在测试中,phi-1 的分数达到 50.6%,比起 1750 亿参数的 GPT-3.5还要好。
微软表示,phi-1 接下来会在 HuggingFace 中开源,而这不是微软第一次开发小型 LLM,此前,他们打造一款 130 亿参数的 Orca,使用了 GPT-4 合成的数据训练而成,表现也同样比 ChatGPT 更好。
目前关于 phi-1 的论文已经在 arXiv 中发布,可以在这里找到论文的相关内容。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
站点精选
6月27日下午,世界经济论坛第十四届新领军者年会“构建可持续供应链,热带雨林联盟在行动”对话会在天津梅江会展中心举行。蒙牛集团执行总裁李鹏程受邀出席,并分享了蒙...
- 上汽大众途铠2023款车型上市:最大功率118kW,11.52023-06-28
- 马斯克:特斯拉FSDV12更新将摘掉“Beta”标签2023-06-28
- 中国移动发布两颗自研通信芯片,推动国产芯片实现自主可控2023-06-28
- 达墨推出V90SD卡:128GB版本559元,采用TLC颗粒2023-06-28
- 现代摩比斯:配备卷轴屏的车辆预计最快三年内推出2023-06-28