在本地部署大模型,从而实现 Token 自由、隐私安全和自主可控,这是一个 AI 圈子里的经典 meme(模因)。为了满足这类用户的需要,英伟达做了 DGX Spark、AMD 推出 Strix Halo,现在苹果似乎也准备入局了。


尽管 Mac 确实适合在本地部署 AI,但单台的能力有限,面对快速变化的用户需求也有力未逮。
全球模型聚合平台 OpenRouter 联合硅谷顶级风投 a16z 在去年年末曾发布一份 AI 行业趋势报告,这份基于全球 100 万亿次真实 API 调用、覆盖 300 余款 AI 模型、60+ 家供应商的报告显示,参数量小于 15B 的模型份额正在暴跌。因为用户发现速度再快也没用,如果 AI 傻得像个复读机还不如不用,所以中等尺寸模型(15B-70B 参数)成为了新宠。

众所周知,本地部署 AI 模型的规模是由设备的内存决定,内存越大,能容纳的模型规模也就越大。比如,96GB 统一内存的 Mac Studio 能流畅运行 Qwen3.8-27B,512GB 内存的 Mac Studio 则可以流畅运行 Qwen3-235B。所以 Harbor 就是一个为本地部署大模型服务的应用,其通过串联的方式让 Mac 组成类似服务器集群的东西。

目前曝光的功能说明显示,Harbor 能够自动识别通过 Thunderbolt 5 连接的 Mac 设备,并协助建立集群。用户只需要连接设备、启动应用,系统就会自动完成必要的配置,无需使用命令行,用户也不用具备专业的服务器管理经验。
从某种意义上来说,Harbor 的核心功能是将普通用户不了解的部署(Deploy),转化为大家熟悉的安装(Install),让多设备串联部署大模型变成即点即用。

从多台 Mac 搭配 Harbor 可以部署大规模 AI 模型为起点,苹果不是没有进入数据中心这个赛道的机会。对于苦于 RTX 5090、RTX PRO 6000 供不应求,DGX Spark 溢价高到不合理的朋友,苹果的入局可能会让大伙缓一口气。
【本文图片来自网络】