卓琪的开发笔记zhuoqidev.comRSSllms.txt
~/series/ 本地-ai-硬件实测

本地 AI 硬件实测

系列 · 3

  1. Mac 到底适不适合跑大模型

    苹果说 Mac mini「快速、私密的本机推理」、提示处理快 13.5 倍;英伟达说笔记本 RTX 5090 有 1,824 AI TOPS。小字里的对比对象、测试配置,和真正决定你用起来快不快的三个数——内存带宽、读提示词的算力、GPU 实际能用的内存——却都没摆在显眼处。这篇用 llama.cpp 社区几十台机器的统一跑分、两台手头机器的核验,再按苹果脚注的原测法在 16 GB 基础款上复现一遍,再摆出它在写代码、编译、跑测试上实测赢下的部分,分场景回答 Mac mini、Mac Studio 和各档 N 卡到底适合干什么。

  2. 图解半速张量核

    NVIDIA 把同一块芯片做成游戏卡和专业卡,游戏卡上专做 AI 计算的张量核被出厂设成了半速。2026 年 10 月,一个叫 gpu-unlock 的开源项目把这把锁解开了。这是入门图解版:不讲寄存器和代码,只讲这件事从哪来、锁在哪、我在自己的笔记本上测出了什么、对普通人意味着什么。

  3. 半速的张量核

    2026 年 10 月走红的开源项目 gpu-unlock,能把 NVIDIA 消费显卡上被按成半速的张量运算放开到全速(RTX 30/40 是 FP16、BF16、TF32,RTX 20 只有 FP16)。这篇在我自己的 RTX 3060 笔记本上实测:同样约 105 W 的功耗下,BF16 矩阵乘法从 25 涨到 42 TFLOPS,小模型训练快了 40%,FP32 和 INT8 对照组不变。文章讲清它锁的是硬件哪一部分、为什么笔记本只拿到约 1.6 倍而不是翻倍、怎么在显卡驱动加载前把锁打开、为什么 RTX 50 解不了,以及历史上同类的「绕过人为限制」补丁。

来加个微信吧

刘卓琪的微信二维码

微信扫码,或在手机上长按识别

加好友请备注来意,不然可能会漏掉哦~