Mac 到底适不适合跑大模型？ — 苹果和英伟达的宣传页上，都没写的那几个数

这篇写给想买一台机器在本地跑大模型、正在看宣传页做决定的人。数据主要来自 llama.cpp 社区的统一跑分，我用手上的 Mac mini（M6，16 GB）和 RTX 3060 笔记本跑同一条命令核对过，又按苹果脚注的原测法在 16 GB 基础款上复现了一遍。怎么跑的、完整数字在文末附录。

宣传页上写了什么，小字里又写了什么

先把两家的宣传和脚注并排放：

两家都没有说假话，但都把「算力」放在最显眼的位置。问题是，跑大模型时你最常等的那件事——一个字一个字往外吐——几乎不看算力。

跑模型，其实在比三件事

一、出字快不快：看内存带宽

模型生成文字是一个 token 一个 token 往外吐的。每吐一个，GPU 都要把全部权重从内存读一遍，和刚算出的一点状态做乘法。乘法很快，读很慢。所以单人出字速度有个很粗但好用的上限：

出字速度 ≈ 内存带宽 ÷ 模型占的字节数

llama.cpp 社区有两个统一跑分帖（苹果芯片、N 卡），大家用同一个模型、同一条命令贴结果。我先用手上两台跑同一条命令核对：RTX 3060 笔记本 75.2 对社区 3060 台式机 76.9，Mac mini M6 35.0 对社区 Mac mini M6 35.7，只差 2–4%，数据可信。把各台机器按带宽排开：

几乎是一条直线。每台机器都只用上了标称带宽的 56–88%，但排名完全由带宽决定：M5 Ultra 的带宽比 4090 高两成，出字差不多；台式 5090 带宽是笔记本 5090 的两倍，出字也快了将近一倍。同样叫 5090，两条线上差了一大截。

二、读长文快不快：看算力

模型读你给它的那一大段文字（预填充），是几千个 token 一起算，这时瓶颈才轮到算力。差距一下子拉开：

出字差不多的 4090 和 M5 Ultra，读提示词差了三倍。短对话感觉不到；可一旦你要它读一个代码仓库、一份几十页的合同，或者让它当 Agent 一轮轮调工具——每一轮都要把越来越长的上下文重读一遍——这三倍就是三倍的等待。

三、能跑多大：看 GPU 实际能用的内存

带宽决定快慢，容量决定有没有。模型装不进去，再快也是零。这一项两家的宣传都写了总数，没写「实际能用多少」：

• Mac 的统一内存，GPU 用不满。 我那台 16 GB 的 Mac mini，llama.cpp 启动时读到系统给 GPU 的上限是 12.7 GB，约 79%，而且还要和系统、浏览器、编辑器共用。
• N 卡的显存是硬上限。 超出的部分只能放回 CPU 内存，速度会掉一个数量级（下面有实测）。消费级最大的台式 5090 是 32 GB。

按苹果脚注的测法，在基础款上跑一遍

苹果的「快 13.5 倍」用的是：14B 模型、4 bit 量化、8K token 提示，测首字时间，测试机 32 GB。我在 16 GB 的 Mac mini 上用同样的条件跑了一遍（MLX，mlx-lm），另外加测 16K 和 32K——Agent 干活时，上下文到几万 token 很常见。同一个模型也拿到 6 GB 显存的 3060 笔记本上试了试。

• 8K 提示，第一个字要等 15 秒，之后每秒 15 个 token。日常问答还能接受，但这是苹果自己选的测试条件。
• 16K 要等 35 秒，出字降到每秒 13 个；GPU 内存用到 11.5 GB，离系统给的 12.7 GB 上限只差一点。
• 32K 直接崩溃：Metal 报「GPU 内存不足」，程序退出。14B 模型加 32K 上下文，在 16 GB 基础款上根本跑不起来——而 Agent 读代码仓库，上下文到这个量级很平常。
• 3060 笔记本连模型都放不进显存：14B 要 8.2 GB，6 GB 显存只能放一半，剩下的留在 CPU 上算，出字掉到每秒 4.8 个；全放 CPU 只有 2.5 个。同一张卡跑放得下的 7B，出字是 75。N 卡的墙不是慢，是一过线就塌。

Mac mini 不擅长跑模型，但很擅长另一件事

说完短板，也得公平地说它的长处。同一台 16 GB 的 Mac mini，和那台 RTX 3060 笔记本（CPU 是 i7-12700H，2022 年的 14 核游戏本）跑同一份脚本，测的是我每天真会干的活。真实项目用的是一个 TypeScript 网关仓库，5,139 个测试：

• 写代码、跑测试、编译，Mac mini 快一倍多。 单核快约 3 倍，CPU 搬内存快 7 倍；SQLite 逐条提交更是快了 16 倍（0.15 秒对 2.4 秒）。
• 它慢的是系统调用多的小动作：起子进程、增删小文件、git grep 慢两到三倍。但都是毫秒级——起一个子进程 1.4 毫秒对 0.5 毫秒，人感觉不到。连续满载 120 秒后，它会掉约 5% 的速度，笔记本不掉。
• 所以苹果（英文版）宣传页上说可以借助 Claude Code、Codex 这类 Agent 提升效率，这一句是成立的：这类 Agent 的模型跑在云端，本机干的正是编译、跑测试、读写文件、调 git，这些 Mac mini 做得又快又稳。办公、写文档就更不在话下。

还有一个宣传页上没吹、但实测很硬的长处：省电，也安静。 我用 macOS 自带的功耗遥测（不用 root，每秒采样，取累加平均）测了整机功耗，又用 nvidia-smi 读了 3060 笔记本显卡的功耗：

Mac mini 把 14B 整个放进内存跑，整机不到 30 W；3060 笔记本光是显卡空闲就有 30 W 出头，跑同一个模型要 86 W，还因为装不下只出得了三分之一的字。跑满的时候 Mac mini 也几乎听不到风扇——这是我的主观感受，没有测分贝。一台 24 小时开着、给 Agent 当工作机的电脑，这一点很实在。

问题只出在「把模型也搬到这台机器上跑」。

苹果没写在显眼处的

1. 带宽跟着配置走，宣传写「最高」。 Mac mini M6 页面写「最高可达 170 GB/s」，16 GB 起售款是 153；Mac Studio 的 M5 Max 页面写 614 GB/s，那是 40 核 GPU 版，32 核起步版只有 460。按上面那条直线，带宽少一成，出字就慢一成。
2. GPU 用不满统一内存。 16 GB 实际给 GPU 约 12.7 GB，再扣掉你正在用的程序。
3. 读长文是短板。 苹果所有「快 X 倍」都是和老款 Mac 比的；和同价位的 N 卡比，读提示词慢两到三倍。16 GB 基础款跑 14B，8K 提示要等 15 秒，32K 直接跑不起来——而 Agent、读代码仓库、长文档，正是「本地 AI」最常见的用法。
4. 软件版本决定能不能用上新硬件。 旧版 MLX 用不上 M6 的神经网络加速器，读提示词慢 3.6 倍。
5. 它真正的长处是容量。 Mac Studio 最多 128 GB / 512 GB 统一内存，单台就能装下 N 卡要好几张才装得下的模型。这一点宣传没有夸大。

英伟达没写在显眼处的

1. 显存是硬上限。 宣传页的 AI TOPS 再高，模型装不进显存，速度会断崖式下跌。
2. 笔记本和台式同名不同命。 笔记本 5090：24 GB、896 GB/s；台式 5090：32 GB、1,792 GB/s。3060 也一样：笔记本版 6 GB，台式版 12 GB。买笔记本时要看的是显存和带宽，不是型号。
3. AI TOPS 管的是读提示词那一下。 出字速度看带宽，台式 5090 的产品页上恰恰没写带宽。
4. 功耗和噪音。 台式 5090 一张卡 575 W，要配 1,000 W 电源；Mac Studio 整机满载也远低于这个数。

所以，Mac 到底适不适合跑大模型

国行参考价（2026-10-18 apple.com.cn）：Mac mini M6 16 GB 6,999 元起；Mac Studio M5 Max 19,999 元起；M5 Ultra 46,999 元起。

一句话：Mac mini 是一台很好用的开发机和 Agent 工作机，不是一台好用的本地大模型机。 宣传页把这两件事写在了一起——「创造你自己的 AI 智能体」和在本机跑大语言模型——前一件实测成立，后一件在 16 GB 基础款上只能算「能跑，体验一般」。想在本地装下真正的大模型，要看的是 Mac Studio 那一档的大内存；想跑得快，还是 N 卡。

再往上：电和国境

如果你还想继续往上加——一台机房里的 8 卡服务器、一张最新的数据中心卡——会撞上两个和性能无关的天花板：

• 电：英伟达 DGX Rubin NVL8 一台约 24 kW，要直触芯片的液冷；家里普通插座是 10 A（约 2.2 kW），接空调的 16 A 插座也只有约 3.5 kW。
• 国境：Blackwell、Rubin 两代数据中心卡对华禁运，截至 2026-10 没有放行的消息；完整版 RTX PRO 6000（96 GB）也在管制线以上，中国卖的是特供的 RTX PRO 6000D（据拆解 84 GB、核心少约 17%）。

再往上的，就只能租卡或者买 token 了。

局限

• 社区跑分只测 7B 模型、单人、512 token 短提示，只覆盖 llama.cpp；各条结果软件版本不同，新版本本身会快一到三成，只看量级。
• 日常开发那组对比的是 2022 年的 i7-12700H 游戏本，不是同价位的新 PC；测试时笔记本上开着更多程序（快速重跑过一次，单核多核结果几乎一样）。npm 安装依赖的耗时受网络和缓存影响，没有计入。
• 功耗：Mac mini 用的是系统自带的功耗遥测，不是插座电表；3060 笔记本只读得到显卡，CPU 功耗要 root 才能读，没测。
• 我的复现只有 Mac mini 16 GB 一台，Mac 上只用了 mlx-lm 一个引擎，苹果原测用的是 LM Studio；32 GB 版、Mac Studio 没有实测。14B 的数字用的是 Qwen3-14B，和苹果脚注里的模型未必相同。
• 价格、出口管制都是 2026-10-18 查到的状态，变化很快；6000D 的规格来自拆解和跑分，不是官方数据。

来源

• 宣传页与脚注：苹果 Mac mini（中文版，脚注 6 为「13.5 倍」的测试条件）、Mac Studio；英伟达 RTX 5090、RTX 50 系笔记本。均为 2026-10-18 读取。
• 跑分：llama.cpp 社区 苹果芯片帖 #4167、N 卡帖 #15013（2026-10-17 抓取原文）。
• 规格：英伟达显卡对比页、3060 笔记本版（Notebookcheck）；苹果 Mac mini 规格、Mac Studio 规格；国行价格取自 apple.com.cn。
• 功耗：苹果 Mac mini 功耗与散热数据（M6：空闲 4 W、最高 70 W，插座端测量）；DGX Rubin NVL8；国标 GB 1002-2024。
• 出口管制：Tom’s Hardware 关于 6000D、PCGH 拆解。

附录：跑法和完整数字

# 社区统一跑分的同一条命令（llama.cpp b11696 官方预编译包）
llama-bench -m llama-2-7b.Q4_0.gguf -ngl 99 -fa 0,1 -p 512 -n 128

# 苹果脚注 6 的条件：14B、4 bit、8K 提示，测首字时间（另测 16K、32K）
mlx_lm.benchmark --model mlx-community/Qwen3-14B-4bit -p 8192 -g 128 -n 2