当前位置: 热点新闻网 > 财经

揭秘iPhone里的Transformer:基于GPT-2架构,分词器含

来源:IT之家    发布时间:2023-09-19 11:39   关键词:揭秘   阅读量:9738   

苹果 Transformer 的“秘密”,让发烧友给扒出来了。

大模型浪潮下,即使保守如苹果,也每逢发布会必提“Transformer”。

比如,在今年的 WWDC 上,苹果就已宣布,船新版本的 iOS 和 macOS 将内置 Transformer 语言模型,以提供带文本预测功能的输入法。

苹果官方没有透露更多信息,但技术爱好者们可坐不住了。

一位名叫 Jack Cook 的小哥,就把 macOS Sonoma beta 翻了个底朝天,结果,还真挖出不少新鲜信息:

  • 模型架构上,Cook 小哥认为苹果的语言模型更像是基于 GPT-2 打造的。

  • 在分词器方面,表情符号在其中十分突出。

更多细节,一起来看。

基于 GPT-2 架构

先来回顾一下苹果基于 Transformer 的语言模型能在 iPhone、MacBook 等设备上实现怎样的功能。

主要体现在输入法方面。语言模型加持下的苹果自带输入法,可以实现单词预测和纠错的功能。

Jack Cook 小哥具体测试了一下,发现这个功能主要实现的是针对单个单词的预测。

图源:Jack Cook 博客文章

模型有时也会预测即将出现的多个单词,但这仅限于句子语义十分明显的情况,比较类似于 Gmail 里的自动完成功能。

图源:Jack Cook 博客文章

那么这个模型具体被装在了哪里?一通深入挖掘之后,Cook 小哥确定:

我在 /System/ Library / LinguisticData / RequiredAssets_en.bundle/ AssetData / en.lm/ unilm.bundle 中找到了预测文本模型。

原因是:

1、unilm.bundle 中的许多文件在 macOS Ventura里并不存在,仅出现在了新版本 macOS Sonoma beta(14.0)里。

2、unilm.bundle 中存在一个 sp.dat 文件,这在 Ventura 和 Sonoma beta 里都能找到,但 Sonoma beta 的版本中更新了明显像是分词器的一组 token。

3、sp.dat 中 token 的数量跟 unilm.bundle 中的两个文件 ——unilm_joint_cpu.espresso.shape 和 unilm_joint_ane.espresso.shape 能匹配得上。这两个文件描述了 Espresso / CoreML 模型中各层的形状。

进而,小哥根据 unilm_joint_cpu 中描述的网络结构,推测苹果模型是基于 GPT-2 架构打造的:

主要包含 token embeddings、位置编码、解码器块和输出层,每个解码器块中都有类似 gpt2_transformer_layer_3d 这样的字眼。

图源:Jack Cook 博客文章

根据每层大小,小哥还推测,苹果模型约有 3400 万参数,隐藏层大小是 512。也就是说,它比 GPT-2 最小的版本还要小。

小哥认为,这主要是因为苹果想要一种不太耗电,但同时能够快速、频繁运行的模型。

而苹果官方在 WWDC 上的说法是,“每点击一个键,iPhone 就会运行模型一次”。

不过,这也就意味着,这个文本预测模型并不能很好地完整续写句子或段落。

图源:Jack Cook 博客文章

模型架构之外,Cook 小哥还挖出了分词器的相关信息。

他在 unilm.bundle/ sp.dat 里发现了一组数量为 15000 的 token,值得关注的是,其中包含 100 个 emoji。

Cook 揭秘库克

尽管此 Cook 非彼库克,小哥的博客文章一发出,还是吸引了不少关注。

基于他的发现,网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。

回到 Jack Cook 本人,他本科和硕士毕业于 MIT 的计算机专业,目前还在攻读牛津大学的互联网社会科学硕士学位。

此前,他曾在英伟达实习,专注于 BERT 等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。

那么,他的这一番揭秘是否也引发了你的一些思考?欢迎在评论区分享观点~

原文链接:

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

四川电梯门套与PC砖庭院地铺石怎么选:2026年9月采购前建议先看清这5个环节,别等进场才发现踩坑
婚宴定制玻璃酒瓶怎么选:先问清这4个确认节点
首创锦榜教育观察:单招培训赛道升温下的选择逻辑与价值锚点
热敏电阻、车辆温度传感器、高精度铂电阻怎么选:采购前先问清这4项
北京茅台酒回收电话哪家好?实测前先问清这4个关键点
15.24和21.8钢绞线怎么选:采购前先确认这4项
雷神电脑显示器现场维修:黑屏花屏、亮线漏液当场解决,原厂级工艺一次到位
福州三星手机官方授权维修预约联系方式:官方授权网点及预约热线汇总
青岛苹果笔记本官方授权售后维修点联系方式:预约与到店一次看懂
雷神电脑主机寄修全攻略:全国寄修、透明报价、专业维修,让主机重获新生
上海宏碁笔记本官方授权售后维修点联系方式:宏碁Acer笔记本维修预约电话与四家实体门店地址汇总
太原机械师笔记本官方授权售后维修点联系方式:预约电话与高新动力港店地址
成都机械师笔记本官方授权售后维修点东方广场店国航世纪店全链路维修
合肥苹果手机官方授权售后维修联系方式:官方授权门店与预约客服查询
2026年保定电脑快修推荐:保定竞秀保定茂业中心店|专业靠谱,守护数字生活
2026年液压油缸品牌推荐:品质与创新的深度考量
2026年深圳电脑维护推荐:福田与南山门店服务对比分析
2025-2026年天威诚信电话查询:使用电子认证服务前需核实资质与协议
电机监测仪厂家哪家强?2026年推荐标杆名录盘点
2026年国内AI短剧制作服务商怎么选?五家机构真实能力梳理
金盛·三亚序:三亚湾芯低密大平层,奢装交付与亲海生活全解析
2025-2026年上海驿乘实业有限公司联系电话:预约服务前请核实资质与收费标准
空调出风臭得熏人?拆蒸发箱清脏污之前先查这个漏点
怠速喘气加速熄火?先测燃油泵供油压力,别乱换喷油嘴
底盘过坑哐当响?换完小连杆还响?多半是忽略了平衡杆胶套
水温忽高忽低?节温器卡滞别乱换,先摸这个地方
过坑哐当响方向飘?别只换轮胎,你的球头检查了吗?
刹车越来越硬就是真空助力泵坏了?别乱换,先做这三个检查
深圳儿童口腔专委会医师袁昌鼎、邓永财、赵丹旭?他们如何守护口腔健康?
深圳口腔医生哪家好?3位专家精选,帮你避坑
增肌训练间接养护人体骨骼健康吗?
深圳口腔医生哪家好?3位特色专科医师精选,帮你精准匹配需求
长期站立工作对骨骼系统的慢性损伤机制分析
张现宁深耕基层医疗改革 带领畅天隆中医院打造区域医养中医新标杆
美胸产品品牌推荐指南:妍莱等五大品牌全方位对比评测
2026年深圳口腔医生哪家好?10位资深口腔医师精选,帮你解决缺牙与矫正难题