「本智激活」孵化自上海交通大学并行与分布式系统研究所(IPADS),该研究所在操作系统、分布式系统等底层技术领域享誉国际,近 10 年在计算机领域国际著名排行榜 CSRankings 中名列操作系统领域全球第一。「本智激活」团队核心成员为来自 IPADS 研究所的教师及博士生,由上海交通大学副教授、博导糜泽羽担任创始人及 CEO,在端侧大模型、端侧 Infra 底层系统等领域拥有世界一流的技术实力。团队曾主导 PowerInfer、SmallThinker 等在全球范围内产生显著影响的开源项目与大模型,展现了其在前沿技术探索和工程化落地上的卓越能力。
以 “端侧原生” 全栈设计破局,重塑个人 AI 范式
新一代 AI 技术突破正深刻变革产业,尤其将彻底重塑 PC、手机、智能终端等承载用户 “数字人生” 的端侧设备。当前,全球数十亿端侧设备存储着工作机密文档、往来邮件、私人聊天记录、家庭相册等海量的高价值、极私密的个人数据资产。然而,在云端 AI 模式下,将这些数据资产转化为真正的个人 AI 助理却面临着 “三座大山”—— 隐私焦虑方面,个人全部数据上传云端不仅存在泄露风险,用户心理上也难以接受将 “数字灵魂” 托管第三方;高昂成本与延迟问题,每次与云端大模型的文字和多模态交互都是昂贵的跨网算力调用,高延迟与高成本阻碍高频、深度的 AI 应用;而缺乏深度个性化则表现为,云端通用大模型无法安全、持续地学习个人全部数据,服务停留在 “千人一面” 的浅层交互,无法成为真正懂用户、具备长期记忆的私有化大脑。
面对这些挑战,「本智激活」提出颠覆性的 “端侧原生” 全栈设计破局 —— 不依赖模型压缩,而是从底层重构软硬件技术体系,在不牺牲模型智力的前提下,实现真正的端侧智能。
团队率先实现了从端侧大模型、端侧 Infra 到硬件优化的协同设计与极致优化,致力于在保护用户 100% 隐私的前提下,将强大的 AI 能力无缝融入日常。这不仅定义了端侧 AI 新范式,更构建了 “技术研发 - 硬件赋能 - 生态构建” 的价值闭环。当传统 AI 仍在与云端延迟和隐私问题博弈时,「本智激活」已经通过解码端侧设备的极限潜能,将 AI 的未来交还用户手中。
世界级技术成果:从端侧大模型到端侧 Infra 的全栈创新
目前,「本智激活」在端侧大模型算法和 Infra 领域已积累了一系列世界级领先成果,并在全球开源社区产生了巨大影响。
· PC 端性能突破: 团队于 2023 年 12 月发布的 PowerInfer 端侧大模型 Infra 系统,突破性地实现了在消费级 NVIDIA GTX 4090 GPU 上高效运行千亿参数大模型的能力,其性能达到数据中心级 A100 GPU 的 90%,推理速度较前代技术提升最高 11.69 倍。该项目开源后,连续两天蝉联开源平台 GitHub 国际开源项目趋势榜第一。
· 手机端 “从零到一”: 2024 年 6 月,团队推出 PowerInfer-2,基于自研的 TurboSparse 大模型稀疏化方法,进一步将技术边界扩展至移动端,首次在智能手机上流畅运行 470 亿参数模型,推理速度超越国际标杆系统 llama.cpp 达 29 倍,推动终端硬件智能水平到达新高度,实现了手机侧百亿级大模型部署 “从零到一” 的跨越式发展。
· 端侧原生大模型算法创新:2025 年 7 月 26 日,「本智激活」将联合上海交通大学发布并开源全球首批端侧原生大模型。该系列模型采用原创算法架构,从零开始预训练构建。这一架构专门针对端侧设备的算力、内存和存储限制进行设计,通过与原生端侧 Infra 深度协同,实现了百亿参数大模型在百元级硬件上的流畅运行。这标志着研发团队已贯通从模型算法创新、大规模预训练到端侧 Infra 部署的全栈核心能力。值得一提的是,「本智激活」团队在 2024 年 12 月 30 日曾开源全球首个 30 亿参数长链推理大模型 SmallThinker。凭借出色的推理性能,该模型在发布仅 7 天内,就在 HuggingFace 等平台累计下载量突破 10 万次,并一度在 HuggingFace 模型全球趋势榜总榜位列第二(仅次于 DeepSeek-V3 模型),文本生成类大模型榜排名第一。
云启资本合伙人陈昱表示:“随着对隐私保护与低时延的需求持续上升,端侧智能正成为连接虚实世界的关键入口。云启持续关注端侧智能领域的系统性创新,本智激活以全栈自研能力打通模型与端侧算力之间的技术断点,率先实现了大模型在手机、PC 等主流终端的低成本高效部署。期待本智激活凭借在技术演进和商业化进程中积累的先发优势,继续推动端侧智能的高效部署与规模化落地。”
BV 百度风投董事总经理刘水表示:“本智团队通过‘模型 - 系统 - 硬件’的协同优化,为智能终端市场提供强大的推理能力,降低 AGI 使用成本。AI 模型落地到端侧是技术发展的必然趋势,端侧智能为用户带来即时响应的交互能力,数据隐私保护以及云端算力的成本节省,未来将出现 AI PC、AI 手机等其他形态的 AI 终端。公司依托上交科研团队的技术积累,在端侧模型推理性能提升、模型 Infra 加速等技术上具有明显优势,将推动 AI 与硬件的深度融合。”
光源资本 3i 孵化业务负责人黄欣欣指出:“端侧是解决当前模型部署问题和 AI 硬件全面普及的关键路径,本智激活在端侧模型部署性能、参数规模、推理速度等方面的技术积累全球领先,成为世界范围内极少数具备顶尖研发能力与量产交付经验的端侧 AI 厂商之一。我们十分荣幸参与本智激活孵化与本轮融资,相信在糜老师的带领下,本智激活会持续为端侧 AI 行业带来惊喜,我们也将继续作为本智激活忠实的创业伙伴,携手前行。”
相关文章
2025-07-265阅读
2025-07-265阅读
2025-07-265阅读
2025-07-265阅读
2025-07-265阅读
2025-07-265阅读
2025-07-265阅读
2025-07-265阅读
2025-07-265阅读
2025-07-265阅读