卓琪的开发笔记zhuoqidev.comRSSllms.txt
~/tags/ llama.cpp

#llama.cpp

标签 · 1

  1. Mac 到底适不适合跑大模型

    苹果说 Mac mini「快速、私密的本机推理」、提示处理快 13.5 倍;英伟达说笔记本 RTX 5090 有 1,824 AI TOPS。小字里的对比对象、测试配置,和真正决定你用起来快不快的三个数——内存带宽、读提示词的算力、GPU 实际能用的内存——却都没摆在显眼处。这篇用 llama.cpp 社区几十台机器的统一跑分、两台手头机器的核验,再按苹果脚注的原测法在 16 GB 基础款上复现一遍,再摆出它在写代码、编译、跑测试上实测赢下的部分,分场景回答 Mac mini、Mac Studio 和各档 N 卡到底适合干什么。

来加个微信吧

刘卓琪的微信二维码

微信扫码,或在手机上长按识别

加好友请备注来意,不然可能会漏掉哦~