去年上半年,谷歌以可在移动设备上离线轻量级选手“壁虎”打响了端侧模型第一枪,到了年底,端侧模型时代的大幕就被缓缓拉起。

　　法国创企Mistral AI率先发布Mixtral 8x7B模型,微软更是半年时间加速跑,从27亿参数的Phi-2到SLM(小语言模型)Phi-3系列,以“便宜得多,但响应能力接近比它大10倍的模型”强调高性价比。

　　Google携带Gemma模型向Meta的Llama-2大模型发起挑战,苹果也以“小模型”家族宣告离“让人工智能在苹果设备上本地运行”目标更近一步。

　　而大洋彼岸的另一侧,在中国上海张江,也有这么一家通用大模型厂商,驶上了端侧模型的快车道,以类脑分区激活的工作机制、改进反向传播算法逐步实现“同步学习”,并在走通多模态上率先“卷”入。

　　事实上,今年1月,RockAI发布的国内首个非Attention机制的通用自然语言大模型——Yan1.0模型,就标志走向设备端的第一步。

　　当时这一模型100%支持私有化部署应用,不经裁剪和压缩即可在主流消费级CPU等端侧设备上无损运行,在研究人员现场对Yan 1.0模型在Mac笔记本上的运行推理展示中,刘凡平也画出了接下来将在更加便携的设备或终端中进行无损部署的蓝图。

　　而现在,随着Yan 1.0迈入1.2阶段,“在树莓派上率先跑通”把其在更低端设备的无损适配从预期变为了现实。

　　树莓派系列作为全球最为知名的袖珍型小巧却又性能强大的微型电脑,可广泛应用于物联网、工业自动化、智慧农业、新能源、智能家居等场景及设备,譬如门禁、机器人等终端,但它虽具备所有PC的基本功能,却是算力最低的设备代表。

　　同时,树莓派大部分情况没有联网,这就意味着,跑通树莓派,等同于打开了低算力设备端的大门以及不联网的多场景应用。

　　就连4月网友发现能在树莓派5以每秒1.89个token的速度运行,支持8K上下文窗口的Llama3 8B ,也是采用把模型量化裁剪后压到极致的方式。

　　而这就如同把平铺的纸揉小后放入,会导致纸张有褶皱般,让多模态下的性能损失无法恢复到原有状态去进行模型训练,同时也伴随着卡住不动、死机等不确定情况发生。

　　此时,原生无损放入的重要性就凸显,而这正是RockAI基于底层技术做“破坏式”创新的优势所在shadowrocket有ping连不上网。

　　不同于传统Transformer模型自带算力消耗和幻觉等问题,Yan架构为低算力设备运行而生,1.0版就以百亿级参数媲美千亿参数大模型的性能效果,以记忆能力提升3倍、训练效率提升7倍的同时,实现推理吞吐量的5倍提升,实现云端运行的高性价比。

　　对比数据表明,在单张4090 24G显卡上,当模型输出token的长度超出2600时,Transformer的模型会出现显存不足,而Yan模型的显存使用始终稳定在14G左右,理论上能够实现无限长度的推理。

　　再到让通用大模型去兼容更多的设备,实现更多个性化的设备端应用,则让RockAI在同模型架构下,可水到渠成地“为设备而生”。

　　自创业之初,刘凡平就一直在思考“大模型动辄上万亿的token训练是否真的必要”,以人类大脑几十亿的训练量来看,他判断,数据、算力并不是最终的瓶颈,架构、算法才是重要的影响因素。

　　故而在跑通树莓派的路上,基于全新自研的Yan架构,RockAI在实验室对人工神经网络最底层的反向传播算法进行挑战,寻找反向传播的更优解尝试。

　　而在算法侧,RockAI更是在上半年率先有所突破,在人脑神经元分区激活的启发下,实现了类脑分区激活的工作机制。

　　如同人开车跟写字会分别激活脑部的视觉区域和阅读区域一般,Yan 1.2也不再需要全量的参数去训练,会根据学习的类型和知识的范围来决定只调整哪部分神经元,而这种分区的激活方式不仅可以减少数据训练量,同时也能有效发挥多模态的潜力,该算法被RockAI称作基于仿生神经元驱动的选择算法。

　　数据表明,人脑的神经元大概是800-1000亿,功耗大概是20-30瓦,而一台GPU算力服务器功耗能到2000瓦,这就意味着主流大模型的全参数激活,本身就是不必要的大功耗浪费。

　　在今年3月类脑分区激活的工作机制实现后,甚至10亿级参数的Yan模型通过改进在0压缩和0裁剪的情况下在一台7年前生产的Mac笔记本的CPU上跑通。

　　跑通树莓派,是RockAI走通低端设备上的里程碑,同时也预示着距离其“同步学习”概念落地更近了一步。

　　众所周知,Transformer大模型带来一种开发范式——先通过预训练让大模型具备一定的基本能力,然后在下游任务中通过微调对齐,激发模型举一反三的能力。

　　Transformer架构在大参数大数据的情况下,想在预训练完成之后再大规模的反向更新代价极其大的,尤其对算力要求非常高,更别提返到原厂去重新训练的时间和经济成本。

　　也就导致在严谨内容场景下,一旦有内容和评价发生较大转变,Transformer大模型学徒们往往要1-2个月去把数据清掉后,再重新训练后进行提交,客户一般很难接受。

　　这些toB实践中的真实反馈,让刘凡平意识到客户对模型立即更新的需求,这要求模型不仅具备实时学习的能力,同时学习之后不能胡说八道。

　　怀揣着“机器能否具有像人一样实时学习的能力”的思考,以及跟着客户真实需求走的大方向指引,同步学习这一解法,在RockAI逐步清晰。

　　相比较泛机器学习领域的实时学习和在线学习、增量学习等概念,刘凡平认为RockAI首创的同步学习概念差异性在于,做知识更新和学习时在模型层面训练和推理同步进行,以期实时、有效且持续性地提升大模型的智能智力,应对各类个性化场景中出现的问题。

　　而要理解快速更新的问题,涉及到现在神经网络的底层原理,本质上神经网络的训练是前向传播和反向传播的过程。

　　就如同你正在玩一个猜数字游戏,你需要猜出一个1到100之间的随机数。在开始时,你没有关于这个数字的任何信息,所以你的第一次猜测可能是基于直觉或是随便选了一个数,比如50。这就好比是神经网络中的前向传播——在没有任何历史数据的情况下,根据当前的参数(权重和偏置)进行一次预测。

　　当你猜测了50后,游戏会告诉你这个数字“太大”或“太小”。如果你听到“太大”,那么下一次猜测时,你会选择小于50的一个数;如果得到反馈是“太小”,你则会选择一个大于50的数。

　　这就类似于反向传播对参数的调节过程。只要模型调整足够快、代价足够小,就能更快达到预期,实现从感知到认知再到决策这一循环的加速,对现有知识体系进行快速更新。

　　为此,RockAI给出的同步学习解法落在,不断尝试寻找反向传播的更优解,试图能更低代价更新神经网络,同时以模型分区激活降低功耗和实现部分更新,从而使得大模型可以给到客户后持续成长,像人类学习一样建立自己独有的知识体系。

　　在刘凡平的设想中,通过同步学习,Yan模型部署到各类设备后,会更像贴身伴侣,伴随着个人的习惯去进行学习和服务,越来越具备个性化的价值,让手机、电脑,甚至电视、音响等智能家居都能个性化适配到每个人,最终形成可交互的多样性智能生态。

　　3月,类脑分区激活的工作机制实现;5月初,“无损”跑通树莓派;5月底,全模态部分视觉支持走通。

　　虽然同步学习仍在实验室最后验证阶段,仍需要大规模测试,但刘凡平表示,随着把多模态的视觉、触觉和听觉能力补齐,Yan 2.0也最快于今年年底面世。

　　“届时,全模态支持+实时人机交互+同步学习的落地,Yan 2.0的出现或将补齐具身智能的大脑短板。”

　　技术端的加速,背后是团队“吃苦”换来的。刘凡平坦言,干的都是其他厂商“不愿干”,也可能“干不了”的活。

　　算法端,RockAI兵分两路,一部分去做基础算法和模型架构的创新升级,在1.2基础上朝着2.0进发;另一部分则广泛收集客户反馈,通过不断调整去贴近商业化落地。

　　刘凡平认为只有最大程度获取来自于外界和客户的感知和需求,才能避免闭门造车与用户的距离太远,逐渐形成明确和清晰的商业化路线。

　　而算法创新外,要实现Yan 2.0落地即商业化的未来,工程团队也在做大量的标准化的“周边”补齐,包括基础设施、系统、交付等方方面面,解决方案团队更是从率先商业化的B端客户“扫”到设备厂商,边进化边验证降本增效和市场认可度。

　　刘凡平也带着团队奔走于上海、深圳、杭州等地,与中科曙光、华为昇腾、壁仞科技、广电五舟等众多硬件和芯片厂商建立了沟通,在端侧模型的适配工作上,刘凡平能感受到设备端“积极提供测试机”的热情,特别是树莓派跑通后给到了话语权,机器人厂商们都开始竞相走访。

　　而这些前置工作,都为接下来Yan2.0落地合适场景可能试产1-2万台的标品规模化做足“迅速跟上”的周期准备。

　　就端侧模型来说,刘凡平认为对于设备厂商而言,是类似Windows操作系统般的存在。现阶段可能是系统在适配各种硬件,到了设备厂商深入了解模型的人工智能能力后,就需要设备反向兼容操作系统,而两者合力,是社会分工生产力变化的一个必然趋势。

　　“站在toC智能化甚至具身智能的大话题下,端侧模型需要结合实际载体(即硬件)去做适配研究和迭代改进,才能逐步形成标准化的类Windows操作系统,既可以装在个人电脑也可以适配穿戴设备,而不同的身体就会需要不同的脑子,我们所构想的通用人工智能,是在诸如智能手机、机器人以及其他多样化设备上展现出的非凡适应力与高度个性化的交互能力。”

　　作为一家从B端商业化验证过“模”力的企业,刘凡平坦言,当前商业化重心部署到C端设备,是低算力的基因使然,亦是AI与本地设备结合的个性化趋势必然,也是跳出B端商业化内卷,抢占C端蓝海市场的先机。

　　在RockAI的办公室内,摆满了众多的各类硬件设备,刘凡平笑道,还有大量的适配和兼容工作需要完成,而一旁来自深圳各个厂商的机器人也在等待适配他们的“大脑”。

　　1. 凡本网注明“来源：消费日报网” 的所有作品，版权均属于消费日报网。如转载，须注明“来源：消费日报网”。违反上述声明者，本网将追究其相关法律责任。

　　2. 凡本网注明 “来源：XXX（非消费日报网）” 的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其线. 任何单位或个人认为消费日报网的内容可能涉嫌侵犯其合法权益，应及时向消费日报网书面反馈，并提供相关证明材料和理由，本网站在收到上述文件并审核后，会采取相应措施。

　　4. 消费日报网对于任何包含、经由链接、下载或其它途径所获得的有关本网站的任何内容、信息或广告，不声明或保证其正确性或可靠性。用户自行承担使用本网站的风险。

　　5. 基于技术和不可预见的原因而导致的服务中断，或者因用户的非法操作而造成的损失，消费日报网不负责任。