现实上，，，，手机、电脑和智能硬件的芯片各不相同，，，，统一个模子换一台装备，，，，往往就要重新适配
。
。。。。。浚？？？？⒄卟坏盟芷鹄，，，，还要解决速率、耗电和稳固性问题
。
。。。。。 在云端，，，，这套事情已经有成熟的工具
。
。。。。。可是在终端装备，，，，尤其是新一代装备里专门处理 AI 使命的盘算单位（NPU）上，，，，工具险些是空缺：一个新模子宣布后，，，，经常需要数周甚至数月的适配
。
。。。。。 2023 年，，，，斯坦福校友 Alex Chen 和 Zack Li 开办 Nexa AI，，，，做了一套开源工具 Nexa SDK，，，，闪开发者不必逐个研究差别芯片，，，，只需很少的代码，，，，就能把模子安排到手机、电脑和智能装备上
。
。。。。。与大多面向古板处理器的开源项目差别，，，，Nexa 很早就把重心押在 NPU 上，，，，直接针对芯片特征优化模子，，，，并把行业数周甚至数月的适配周期压缩到了当天：模子一宣布，，，，开发者就能在装备上跑起来
。
。。。。。 去年 8 月，，，，Nexa 把"NPU First"确立为产品重点后，，，，很快被高通的开发者关系团队注重到，，，，随后被一直引荐给内部的手艺、创投和治理团队
。
。。。。。一位高通 VP 亲自深度试用产品后发明，，，，Nexa 的方案在模子运行速率、效果和支持新模子的速率上，，，，做出了比高通现有方案更好的效果
。
。。。。。 端侧 AI 现在究竟生长到哪一步？？？？？？NPU First 解决的事实是什么问题？？？？？？一家已经形成开发者影响力的创业公司，，，，为什么以为加入芯片平台是更好的路径？？？？？？ Alex：我们一直在做 on-device AI，，，，也有自己的开源项目 Nexa SDK
。
。。。。。高通在已往很长一段时间里，，，，都把端侧 AI 作为焦点战略
。
。。。。。相比之下，，，，英伟达、AMD 等芯片公司的绝对重点照旧云端 AI
。
。。。。。 我们约莫从 2024 年 10 月最先关注高通
。
。。。。。其时我们在为 Nexa SDK 找客户，，，，发明许多需要端侧 AI 的客户使用的是高通芯片
。
。。。。。但高通芯片不像英伟达那样有很是成熟的 CUDA 框架，，，，要在上面安排模子仍然较量难题
。
。。。。。以是我们投入了许多精神，，，，研究怎么把模子安排到高通芯片上
。
。。。。。 一最先，，，，我们和高通内部没有任何正式联系
。
。。。。。到 2025 年 8 月，，，，我们对产品做了一次很主要的升级，，，，把 NPU 推理作为重点
。
。。。。。由于其时已经有许多装备配备 NPU，，，，但 NPU 的推理逻辑与 GPU 差别，，，，软件生态也不睬想
。
。。。。。我们以为这是创业公司的时机
。
。。。。。 产品宣布后，，，，很快引起了高通两位同事的注重
。
。。。。。其中一位主要认真相助同伴和开发者关系
。
。。。。。他一直把我们先容给高通内部的差别团队，，，，美彩国际项目厥后也经常泛起在高通的官方账号上，，，，他们还为我们写了不少博客
。
。。。。。整个历程逐渐引起了治理层的关注，，，，最后走到收购，，，，我以为是水到渠成
。
。。。。。 Alex：由于美彩国际软件是开源的，，，，所有人都可以直接试用
。
。。。。。厥后，，，，高通认真开发者关系的认真人把我们先容给了 Qualcomm Ventures 团队
。
。。。。。Ventures 的投资人体验过产品后以为很有意思，，，，又把我们推荐给了一位认真相关营业的 VP，，，，之后我们也向高通的一位 EVP 先容了整个项目
。
。。。。。 这位 VP 自己深度试用了美彩国际产品
。
。。。。。他发明，，，，无论是在性能照旧模子质量上，，，，我们相比高通其时已有的方案都有一定优势
。
。。。。。除此之外，，，，尚有一点让他们印象特殊深刻：我们支持新模子的速率很是浚？？？？
。
。。。。。 凭证其时行业里的常见节奏，，，，一款新模子宣布后，，，，从完成适配到在特定芯片上稳固运行，，，，往往需要两三个月时间
。
。。。。。我们其时基本已经做到了“Day-0 Support”，，，，也就是模子宣布当天，，，，就能够在软件框架里完成支持
。
。。。。。 关于开发者来说，，，，这意味着可以第一时间使用最新模子；；；；；而关于芯片厂商来说，，，，它的意义更大
。
。。。。。由于越早证实自己的芯片能够支持最新模子，，，，就越能向手机、PC 等 OEM 客户展示平台能力
。
。。。。。在许多情形下，，，，这不但关系到手艺竞争力，，，，也会直接影响后续的客户相助和采购决议
。
。。。。。 第二，，，，我们已经形成了不错的用户群体和开发者生态
。
。。。。。Nexa SDK 在 GitHub 有靠近 8,000 个 Star，，，，也上过 GitHub Trending 第一，，，，在 Product Hunt 拿到过第一名
。
。。。。。在 on-device AI 这个相对小的社区里，，，，我们已经有一定着名度
。
。。。。。 好比大部分智能手机照相时，，，，从按下快门到最终天生图片，，，，中心会有二十多个小型 AI 模子对图像举行处理
。
。。。。。我们现在用 Teams 视频聚会，，，，摄像头捕获到的像素和最终泛起的画面之间，，，，也有 AI 模子实时处理
。
。。。。。若是放到云端再传回来，，，，很难做到这么快
。
。。。。。 天生式 AI 方面，，，，许多手机 OEM 都在推动外地模子
。
。。。。。苹果已经最先使用，，，，但效果可能还没有抵达各人想象中“特殊好用”的状态，，，，还需要一些时间
。
。。。。。 不过，，，，硬件正在快速变好
。
。。。。。终端算力和内存能力每年都在快速迭代，，，，这意味着装备可以支持越来越大的模子；；；；；与此同时，，，，相同尺寸的模子自己也在一直变强
。
。。。。。这两个因素会配合推动端侧 AI 能处理的问题越来越多
。
。。。。。 现在，，，，外地模子已经可以处理功效挪用、文本信息提取等使命
。
。。。。。好比从一份很长的文本里提守信息，，，，若是外地模子可以完成，，，，速率很快，，，，边际本钱也险些为零
。
。。。。。若是所有挪用云端大模子，，，，使命自己虽然简朴，，，，却会消耗大宗 Token
。
。。。。。 CPU 需要处理操作系统和种种通用盘算；；；；；GPU 可以同时举行大宗线程盘算，，，，因此很适合 AI
。
。。。。。NPU 更进一步，，，，它在设计时就去掉了许多 AI 推理不需要的通用能力，，，，并重点优化整数等模子推理常用的数据类型
。
。。。。。 正由于它更专用，，，，NPU 在支持新模子和软件生态上，，，，反而不如 CPU 和 GPU 成熟
。
。。。。。高通的大部分芯片同时有 CPU、GPU 和 NPU
。
。。。。。我们提出 NPU First，，，，是由于我们以为 NPU 是当下最迫切需要解决的部分，，，，并且一旦解决，，，，价值也最大
。
。。。。。 Alex：最大的壁垒，，，，是我们对 NPU 硬件有较量深入的明确，，，，并从软件层面举行了 hardware-aware software design
。
。。。。。也就是软件设计从一最先就明确硬件的特征，，，，因此可以同时在速率和模子质量上取得优势
。
。。。。。 发票里可能包括隐私信息，，，，Agent 还需要控制外地电脑、操作报销系统
。
。。。。。类似这种涉及敏感数据和外地操作权限的使命，，，，就适适用外地模子完成
。
。。。。。现在它已经可以正常事情，，，，只是速率还不如云端，，，，但会一连提升
。
。。。。。 端侧真正节约的是信息往返传输的延迟
。
。。。。。以是，，，，那些模子自己盘算量不大、但对实时性要求很高的使命，，，，尤其适合放在外地
。
。。。。。好比视频聚会的画面处理险些需要瞬时完成，，，，若是把图像传到云端处理再传回来，，，，速率会慢许多
。
。。。。。 若是把某个模子在某款芯片上的端侧安排做得足够好，，，，它可以极大增进这款芯片的销售
。
。。。。。以是，，，，最终的商业模式着实是卖芯片，，，，真正的付用度户主要是手机、电脑等装备的 OEM 厂商
。
。。。。。 端侧 AI 手艺与某一款芯片深度整合后，，，，可以爆发很好的商业价值；；；；；但端侧 AI 软件自己若是单独变现，，，，碰面临难以 scale 等问题
。
。。。。。最后，，，，我们是基于端侧 AI 的商业名堂做出了加入高通的决议
。
。。。。。 Alex：最主要的目的，，，，是让 GenieX 笼罩绝大部分、甚至险些所有 Qualcomm 芯片的开发者，，，，让他们在自己的事情流里使用这款 SDK
。
。。。。。焦点仍然是推广产品，，，，并凭证开发者反馈一连迭代
。
。。。。。 加入高通后，，，，我们可以越发专注，，，，只关注一套芯片平台
。
。。。。。需要顺应的是与更多部分相助，，，，以及更规范的产品宣布流程
。
。。。。。产品也要更详细地思量高通芯片的用户
。
。。。。。 以前，，，，我们做研发的同时，，，，还需要分出大宗精神做产品推广、相助和增添
。
。。。。。现在高通有成熟的 marketing 和 developer marketing 团队资助我们，，，，关于我们两位首创人来说，，，，也重新回到了最喜欢的状态：专注于产品和手艺开发
。
。。。。。