- 克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
它来了它来了,苹果苹果的首日商Apple Intelligence终于与果粉见面了! 随着iOS 18.1 Beta版的火爆庆阳市某某照明教育中心上线,注册开发者从即日起就能体验到苹果AI的聊天部分功能。 最明显的秒变模型一处就是Siri的全面换新,变身成了Apple Intelligence & Siri。高情
另一项重磅更新就是成最写作功能了,它可以帮忙润色推特评论,强嘴三下五除二就能把高级表达方式安排起来。苹果
甚至dirty words也能分分钟变得儒雅随和:
开启Apple Intelligence后,首日商苹果自研的火爆端侧大模型就会被下载到设备当中。
根据手快的聊天网友体验反馈,不像其他家的秒变模型AI那样动不动就是拒绝服务。
与此同时,高情苹果自家大模型的成最报告也已出炉,披露了大量技术细节。 报告显示,在指令遵循、文本总结等任务上,苹果云端大模型取得了超过GPT-4的成绩。
苹果基础大模型团队负责人庞若鸣(Ruoming Pang)也表示,其模型与一些同类最佳模型相比具有竞争力。
庞若鸣是普林斯顿计算机博士,本硕分别毕业于上海交大和南加州大学,于2021年加入苹果,此前在谷歌担任了15年的工程师。 Apple Intelligence的主要对话功能,正是庆阳市某某照明教育中心由他率领的团队研发的模型提供支持。 这次他还强调,这些基础模型“并不是聊天机器人”,而是支持广泛的功能,包括摘要、写作帮助、工具使用和代码。
另外,苹果也研发了许多自研算法,为提高模型表现提供了加持,具体信息也在报告中被披露。 还有细心的网友从中发现了华点—— 苹果大模型的训练用的是谷歌TPU集群,英伟达含量竟然为零。
Siri升级,但ChatGPT暂未接入要想体验到苹果的Apple Intelligence,需要满足的条件有不少。 首先,搭载它的iOS 18.1 Beta版目前是99美金一年的注册开发者限定,所以普通用户还得等等。 还有就是之前说过的,只支持M系和A17 Pro芯片,也就是说iPhone中只有部分地区的15 Pro和15 Pro Max能用。 除了硬件和身份要求,系统设置也需要修改,要将地区设置为美国,且设备和Siri的语言都要改成英语。 满足了所有这些要求之后,就可以……加入等待队列了。
此次上线的Apple Intelligence是部分功能,主要围绕文本生成、Siri和相册这几个模块。 先说文本生成,作为苹果AI的重要组成部分,该功能的视适用范围不局限于苹果官方应用。 只要使用标准输入文本系统,在第三方应用程序当中也能利用该功能进行文本总结、校对和重写。 另外结合iOS 18 Beta的语音备忘录中已经上线的音频转录功能,文本生成系统还可以为录音生成摘要。
第二个比较重要的更新就是Siri了。 界面上,新版Siri不再是一个圆形图标,在运行时会有环绕屏幕的彩色光不断闪动。 而且还给不想语音对话的用户提供了文本对话方式,双击屏幕底部即可调出键盘,与Siri打字交流。 内容方面,新版Siri将能够解答与苹果产品相关的问题,帮助用户进行故障排除。 另外,新的Siri还可以够理解从一个查询到下一个查询的上下文,例如要求Siri创建日历事件,然后请求创建提醒,而无需重述正在谈论的内容。 不过,之前介绍的屏幕感知功能,并未包含在此次Siri 的更新当中。
相册的更新则让用户可以用自然语言搜索特定照片,甚至是视频当中的具体时刻。
以上就是本次开发者测试版本中有关AI的大致内容,需要指出的是,这只是之前发布会上所展示的功能中的一部分,还有很多没有上线。 特别地,之前提到过的ChatGPT集成,此次更新也暂未接入。 解密苹果大模型苹果已经说过,ChatGPT在苹果AI中不是必选项,主要功能是由自家的大模型驱动。 而关于这个模型,苹果也在上线的同时发布了全面的技术报告。 模型的名字简单粗暴,就叫苹果基础模型(Apple Foundation Model,简称AFM),有端侧(on-device)和云侧(server)两个版本。 端侧模型的参数量在3B左右,云侧则未具体透露,只说是比端侧更大,二者都有32k的上下文窗口。
★训练过程英伟达含量为0 模型的训练通过自家基于JAX的AXLearn框架进行,并采用了张量并行、流水并行等策略。 硬件则采用的是谷歌TPU,其中云侧用了8192颗TPUv4芯片,端侧用了2048颗TPUv5p芯片,总之英伟达含量为0。
数据则主要来源于通过Applebot爬取的网页,以及有公共许可的代码和数学数据集。 值得一提的是,苹果选用的数据集中无一使用GPL,都是MIT、Apache、CC0这些开放程度更高的开源协议。
流程上,AFM的预训练过程共分三个阶段——核心训练、继续训练和上下文延长。 在核心训练阶段中,云侧版本的数据量有6.3T tokens,窗口长度为4096,端侧版本则是在此基础之上蒸馏得到。 继续训练时,低质量数据的权重会被降低,并使用数学、代码以及获得授权的高质量数据,对模型能力进行提升。 该过程使用了1T tokens的数据,窗口长度也从4096变成了8192。 到了下一阶段,窗口长度被进一步扩充到32k,涉及长序列文本和合成数据,总量为100B tokens。 ★独创强化学习新算法 AFM的后训练则包括指导监督微调(SFT)、人类反馈强化学习(RLHF)等工作。 其中SFT阶段使用了合成数据与人类标注数据,合成数据主要关于数学、工具使用和代码。 而在RLHF阶段,苹果自创了iTeC和MDLOO两种强化学习算法。 iTeC全称Iterative Teaching Committee,可译作“迭代教学委员会”,是一种用于强化学习后训练的算法,旨在通过多轮迭代优化模型的性能。 其核心思想是结合不同的偏好优化算法,包括拒绝采样、直接偏好优化(DPO),使得模型能够从多种优化策略中受益,从而提高其对特定任务的适应性和性能。 在每次迭代中,iTeC会从最新的模型中选择一组表现最好的模型,形成一个“模型委员会”。这些模型是经过SFT、RS、DPO/IPO和RL等不同训练方法得到的。 通过收集人类对模型响应的偏好反馈,iTeC不断更新其奖励模型,并用于训练新的模型集合。 每收集一批人类偏好数据后,iTeC会刷新其奖励模型,并训练新的模型集合,以此循环进行多轮迭代,逐步提升模型性能。 MDLOO则是一种在线强化学习算法,特别设计用于优化模型的响应质量。 作为在线算法,它能在模型训练过程中实时解码响应,并应用RL算法来最大化奖励。 也就是说,这种方法使得模型能够在训练过程中不断学习和调整其策略,以生成更符合人类偏好的响应。 具体实现上,它结合了留一法(Leave-One-Out,LOO)优势估计器和镜像下降策略优化(MDPO),以实现更稳定和有效的策略更新。 ★端侧混合精度量化 为了让端侧模型更高效运行,同时避免占用过多内存资源,苹果对AFM的端侧版本进行了量化操作。 具体来说,苹果采用了混合精度的量化方式,针对不同环节采用了不同的量化精度。 苹果采用的方式被称为“调色板”策略,在调色板量化中,权重不是每个单独量化,而是将它们分组,并让组内的权重共享相同的量化常数。 对于投影权重,每16列/行共享相同的量化常数,并且使用K-means算法进行4位量化。 针对嵌入层,由于是输入和输出共享的,采用了8位整数进行每通道量化,另外还有某些重要性相对较低的层被进一步压缩到2位量化。 为了恢复量化后损失的性能,以保持模型的输出质量和准确性,苹果还引入了准确性恢复适配器(Accuracy-Recovery Adapters)。 该适配器是小型的神经网络模块,可以插入到预训练模型的特定层中,在量化模型的基础上进行训练,通过微调来学习如何补偿量化带来的影响。 ★部分任务超越GPT-4 应用了一系列优化技术之后,也到了验收模型表现的时候了。 在这过程中,苹果采用了人类评估与自动化评估相结合的策略。 先说人工评估,评估人员设计了涵盖分析推理、头脑风暴、聊天机器人等方面的多类问题,并让模型生成相应。 同时,问题也会被提给用于对比的其他模型,然后由评估人员评判哪个模型的输出更好。 结果,无论是云侧还是端侧模型,都有至少60%的概率不输给Llama 3、GPT-4等对比模型。
其余的测试主要利用数据集实现。 在指令遵循能力上,苹果进行了IFEval测试,结果在指令和prompt两个层次上,云侧AFM都超过了GPT-4,成为了新的SOTA。 端侧模型的表现,也超过了Llama 3-8B、Mistral-7B等近似规模的模型。 在AlpacaEval当中,端侧和云侧AFM也都取得了第二名的成绩。
再看具体任务上的表现,AFM在写作类Benchmark当中的总结任务上取得了SOTA,撰写任务上也与第一名接近。
数学上,苹果用GSM8K和MATH两个数据集进行了评估。 结果端侧模型在GSM8K上不敌Llama 3-8B和微软的Phi 3 mini,云侧被GPT-4和Llama 3-70B超越,但优于GPT-3.5。 MATH上的成绩相对高些,端侧版领先了同规模模型,云侧版也超越了Llama 3-70B。
性能之外,安全性也十分重要,苹果通过人工方式对AFM抵御对抗性攻击的能力进行了评估。 结果显示,AFM在面对对抗性提示时,实现的违反率显著低于其他开源和商业模型。
以上就是苹果大模型技术报告中一些值得关注的内容,更多详情可参阅报告原文。 One More Thing虽然Apple Intelligence已经提供给开发者进行测试,但彭博社爆料说,正式版可能会延迟上线。 的确,按照苹果此前的版本发布规律,18.1的版本号也意味着,这些功能不会随着9月的新机发布一同上线。 对此分析师Gene Munster建议,苹果应该考虑推迟iPhone 16的发布日期,以与Apple Intelligence保持一致。 至于库克会不会考虑这个建议,就拭目以待了。 报告地址: https://machinelearning.apple.com/research/apple-intelligence-foundation-language-models 参考链接: [1]https://x.com/reach_vb/status/1818014366555586611 [2]https://www.cnbc.com/2024/07/29/apple-releases-apple-intelligence-its-long-awaited-ai-features.html [3]https://www.tomsguide.com/phones/iphones/ios-181-developer-beta-is-live-with-apple-intelligence-heres-all-the-new-iphone-ai-features [4]https://www.businessinsider.com/apple-intelligence-delay-wont-hurt-new-iphone-sales-analysts-2024-7 |