当前最火热的大模型概念，今年被不少手机厂商引入到了手机产品上，作为全球科技巨头的苹果，自然也不会错过这个机会。

最近苹果取得一项重大突破，通过一种创新的闪存利用技术，成功在内存有限的苹果设备上部署了大型语言模型（LLM）。

在题为“闪存中的 LLM：利用有限内存实现高效的大型语言模型推理（LLM in a flash: Efficient Large Language Model Inference with Limited Memory）”的论文中，研究人员提出了一种巧妙的闪存利用技术，将 LLM 模型的数据存储在闪存中。作者指出，与传统用于运行 LLM 的 RAM 相比，闪存在移动设备中容量要大得多。

这一成果有望让更强大的 Siri、实时语言翻译以及融入摄影和增强现实的尖端 AI 功能登陆未来 iPhone。

他们的方法巧妙地利用两种关键技术绕过限制，从而最小化数据传输并最大化闪存内存吞吐量：

窗口化（Windowing）：可以将其视为一种回收利用的方法。AI 模型不会每次都加载新数据，而是会重复使用部分已处理的数据。这减少了频繁读取内存的需要，让整个过程更加流畅高效。

行-列捆绑（Row-Column Bundling）：这种技术类似于你读一本书时，不是逐字逐句地阅读，而是成段地阅读。通过更有效地分组数据，可以从闪存中更快地读取数据，从而加速 AI 理解和生成语言的能力。

论文指出，这项技术可以让 AI 模型的运行规模达到 iPhone 可用内存的两倍。在这项技术的加持之下，LLM 的推理速度在 Apple M1 Max CPU 上提高了 4-5 倍，在 GPU 上提高了 20-25 倍。“这一突破对于在资源有限的环境中部署先进的 LLM 至关重要，极大地扩展了它们的适用性和可访问性，” 研究人员写道。

基于该技术，未来在iPhone上能够大幅度提升一些需要AI驱动的功能，比如更先进的 Siri 功能、实时语言翻译以及摄影和增强现实，据悉苹果已经开始着手这项工作。根据此前的信息，苹果开发的生成式 AI 最终可能被整合到其 Siri 语音助手中，苹果计划更新 Siri 与信息应用程序的交互方式，让用户能够更有效地处理复杂问题和自动完成句子。

本站所发布的文字与图片素材为非商业目的改编或整理，版权归原作者所有，如侵权或涉及违法，请联系我们删除