实现人手一个AI大模型，高通一个月火速交卷，背后却是15年的坚持

距离去年11月30日ChatGPT发布已经过去了10个月。这款有史以来增速最快的消费级应用在推出仅两个月后，全球用户数量已破亿。通过用户友好型的界面，它以无法阻拦的势头将人工智能这一原本“高大上的新鲜事物”带进了千家万户，从幕后推到了前台。

我们都需要AI，但是……

不过，“百模大战”之下生成式AI的兴起带来了愈发庞大的模型参数量，和算力需求的一路飙升。以千亿参数的GPT为例，虽然它的加持能为用户带来更好的搜索体验和更具体的搜索结果（你可以输入大段内容而不用担心它看不懂），却也造成了搜索成本的成倍上升。根据高通发布的白皮书《混合AI是AI的未来》显示，生成式AI的搜索成本比传统方式高了10倍。与此同时，全球每天有超过100亿次搜索查询产生，为了应对如此巨大的运算需求，服务提供商需要多耗费数十亿美元部署硬件、场地、电力等基础设施，并增加大量电力成本。

因此，仅从AI服务提供商的角度来看，如果AI应用的计算可以在终端进行（至少一部分部署，一部分在云端，混合搭配），将极大地减轻运营压力，降低算力成本和能耗，终端侧AI的部署是当前的最优解决方案，也是大势所趋。

同时，对于终端用户和消费者来说，生成式AI的横空出世带来了近乎无限的可能性，在移动互联网的时代，以智能手机、PC等为代表的移动终端侧出现了巨大的AI应用需求，同时也暴露出了云端AI的一系列问题。比如，当用户访问量大幅度增加时，云服务器和网络连接会不可避免地出现拥堵，影响用户体验；以及，在不论是企业还是个人用户都尤其关心的隐私安全问题上，云端的表现也并不尽如人意。这些都阻碍了生成式AI的进一步普及和深度应用，而终端侧AI的部署则有着高速、安全、本地化的优势，可以有效避免这些问题的出现。

另一方面。近期iPhone15发布后被大众调侃“缺乏创新”，但我们应该意识到，这并非苹果独有的问题。放眼整个行业，过去，参数比拼在一定程度上成为了部分手机厂商和个别相关硬件厂商无法摆脱的怪圈，隐藏在底层的创新技术、创新特性似乎被很多人所忽略，这也让不少消费者对更新终端失去了兴趣。面对这样的背景，厂商们还可以“卷”什么？

生成式AI的兴起让行业看到了曙光。或许，“AI能力”将成为终端设备新的角力点，也是这个市场久违的、令人兴奋的新增长点。

庞大的新兴需求面前，高通是如何迅速填补空白的？

在AI服务提供商、终端厂商和消费者三个方面的巨大需求之下，谁来填补这个空白？

2023年2月23日，高通技术公司成功在搭载了骁龙芯片的安卓手机上运行了StableDiffusion，这在全球还是首次。作为一款现象级应用，StableDiffusion可以基于大模型从文本生成图片，神奇的背后是复杂的模型和巨大的运算量，其模型参数超过10亿个，而正是由于模型庞大、算力需求高、能耗高企，此前主要局限在云端运行。

高通的这次演示，则是直接将这一“庞然大物”放进了手机，并在15秒内生成了效果可观的图片，表现出流畅的性能。可以说，它的里程碑意义正在于瞄准了市场需求，同时针对成本、能耗、可靠性、时延、隐私等问题，为各个参与方提供了一个整体解决方案。

在此前对高通技术公司产品管理高级副总裁兼AI负责人ZiadAsghar的深度采访中我们了解到，从拿到StableDiffusion开源模型到成功在安卓手机上部署、运行，高通仅用了一个月不到的时间。作为一家头部科技公司，如此迅捷的部署究竟是如何做到的？

AI“原生玩家”与十年如一日的坚持

我们知道，任何一项技术的诞生都不是“无中生有”，我们今天看到的黑科技，必然建立在此前的科技突破和技术积累之上。因此，我们决定向前追溯，试图找到高通终端侧AI的“技术传承”，以及其间的草蛇灰线。

我们发现，高通对AI的研发投入，早在2007年就已经开始了。

对于如今的AI而言，2007还是一个相当早期的时代。在前一年（2006年）的达特茅斯人工智能会议上，总结词是这么说的：“尽管人工智能在过去50年中取得了巨大成功，但该领域内仍然存在许多巨大的分歧。各个研究领域往往存在合作不足的情况，研究者采用各种不同的方法，同时在智能或学习方面尚未形成一个普遍的理论，无法将这一学科统一起来。”

2009年，谷歌才开始秘密研发无人驾驶汽车，而“数据科学家”作为一个新兴职业被媒体热议，已经是2010年的事了。虽然高通涉足AI时行业尚不成熟，但其几乎每年都会发布一个重要成果。

早在2007年，高通就进入了人工智能领域，开始探索面向计算机视觉和运动控制应用的机器学习脉冲神经方法。

2009年到2013年，高通投资了初创公司BrainCorp，并且进行了联合研究。BrainCorp如今已经是全球领先的机器人AI软件供应商，并且拥有全球最大的自主移动机器人车队。2015年，高通对深度学习的研究逐渐深入，并且在著名的ImageNet挑战赛中取得了位列前三的成绩。

2014和2015年，高通在阿姆斯特丹开设了高通荷兰研究院，并且与阿姆斯特丹大学成立了联合研究实验室。2016年，一款重磅产品横空出世，高通骁龙神经处理引擎工具包（SnapdragonNeuralProcessingEngineSDK）正式发布。

这让高通成为了当年首家提供深度学习工具包（针对移动设备）的SoC供应商。这款SDK允许OEM厂商在智能手机、安全摄像头、汽车和无人机等骁龙820设备上运行自己的神经网络模型，所有这些都无需连接到云端。从此，下游厂商可以定制化开发场景检测、文本识别、对象跟踪和回避、手势、人脸识别和自然语言处理等功能。

从2007到2016年，高通持续投入，专注AI研发十年之久。不过，谷歌关于注意力机制的论文直到2017年才发表，Transformer模型尚未诞生，此时的高通，仍在“厚积”之中等待“薄发”。

大模型到底是如何“装入”小终端的？

前几年在大型语言模型出现之后，高通也很快注意到了这一新兴技术，并做了一个在今天看来无比正确的决策——专注终端侧部署，并围绕这一目标研发了一系列技术与工具。

凭借此前的长期积累，高通在近2~3年内针对大模型进行了全栈优化，在应用、神经网络模型、算法、软件和硬件的各个方面进行突破。

要将大模型塞进小小的终端，给模型“瘦身”无疑是第一步。以智能手机和StableDiffusion的部署为例，今年初，高通使用AI模型增效工具包（AIMET）将模型从FP32缩小到INT8。所谓FP32，是一种单精度浮点数，可以表述小数点后7位，相当精确，但是运算开销较大。INT8就是8位整数，只占用1个字节，运算开销较小。

压缩模型的过程有一个专有名词，叫量化（Quantization）。量化往往是损失精度的，整个过程看起来就是牺牲精度换取运行速度，而AIMET的高明之处就在于不牺牲准确性的情况下进行量化，使用自适应舍入（AdaRound）等技术，可以在相当程度上保持模型精度，而不需要重新训练。

在模型编译阶段，高通AI引擎将神经网络映射为可在目标硬件上高效运行的程序。根据高通Hexagon处理器的硬件架构和内存层次结构对操作进行排序，以提高性能并最大限度地减少内存溢出。

其中一些增强功能是人工智能优化研究人员与编译器工程团队合作改进人工智能推理中的内存管理的结果。高通AI引擎中进行的整体优化显着降低了运行时延和功耗。

最后，所有这些技术都被统统整合到了“高通AIStack”（AI软件栈）当中，成为了一个可视化的、面向厂商和开发者的软件平台，也正因此，高通才可以在不到一个月的时间内实现10亿参数的StableDiffusion的成功部署。更重要的是，AIStack具备“一次开发，全平台部署”的能力，也就是说开发者基于它开发的应用，不仅能在智能手机上部署，还可以快速应用于PC笔记本电脑、智能汽车、XR、以及物联网终端等，极大地提高了开发效率，从而让“人手一个AI大模型”、甚至“人手N个AI大模型”都能够加速实现。

举例来说，除了智能手机，PC也是AI大模型推动终端侧变革的核心平台之一。最近，高通推出了下一代智能PC计算平台——骁龙X系列，搭载了全球首个面向AI处理的专用NPU，结合高通AIStack，通过软硬件和工具的协作，或将加速AI大模型在PC终端侧的落地。

同样借助高通AIStack，高通在今年年中又取得了一大突破，在安卓手机端实现了ControlNet的成功部署。作为一类生成式AI解决方案，ControlNet被称为语言视觉模型(LVM)，允许通过调节输入图像和输入文本描述来更精确地控制生成图像，且参数量比StableDiffusion更大，达到了15亿。在AIStack加持和持续优化下，高通目前已经可以在手机上实现12秒内生成图像，而无需任何云端访问。

目前，高通AIStack已经可以实现从FP32到INT4的模型量化压缩，模型体积进一步缩小，相对于INT8有了更大的飞跃。据悉，与INT8相比，INT4的性能和能效提高了1.5倍至2倍，相对于FP32模型则带来了高达64倍的内存和计算能效提升。

软硬件结合，高通从终端侧发力推进AI大模型落地

AI大模型加速走向落地，第一步就是让更多的人真正用上AI，而高通在这方面显然早有布局。

年初，高通推出第二代骁龙7+，以非旗舰移动平台为更广泛的用户群体带来旗舰级的使用体验和AI支持。此举无疑是对原本“旗舰专属”的终端侧AI服务的“下放”，同时也有望在客观上推动整个AI生态取得指数级增长。

这种以前沿技术普惠大众的理念是一脉相承的。如今，高通凭借软硬件的紧密结合、全栈优化，以一整套终端AI解决方案赋能三方，满足终端消费者对更好的AI产品和更加安全、流畅的体验的诉求，为终端厂商带来新的增长点和市场，同时也将大幅降低云端服务提供商的算力成本和能耗负载，这些都离不开其在AI领域超过15年的深耕和技术积累。

人工智能大时代已然来临，AI能否真正做到普惠，其关键，或许就在你我的“掌中”。

参考资料：

1.

2.

3.

4.

5.

6.

7.高通白皮书《混合AI是AI的未来》