最近圈子里的开发者都在抱怨同一件事：模型开源的速度快得惊人，但手里的显卡却烧得冒烟。Hugging Face 上每天新增的权重文件让人眼花缭乱，从 Llama 3 到各类微调变体，门槛确实低了，可落地时的算力账单却越来越高。
这不仅仅是“卡不够用”的问题，而是一种结构性的错配。
过去我们觉得，只要模型开源，就能在本地跑起来。现实很骨感。现在的开源模型参数量动辄几十亿甚至上百亿，对显存带宽的要求呈指数级上升。
很多中小团队试图用消费级显卡硬扛。结果呢？推理速度慢如蜗牛，稍微加个长上下文窗口，直接 OOM（显存溢出）。大家原本指望开源能 democratize（民主化）AI，现在却发现，没有足够的算力芯片 (GPU) 支撑，这些优秀的模型只能躺在硬盘里吃灰，或者变成云厂商高价 API 的附庸。
供需矛盾就在这里：软件迭代是按周计算的，硬件部署却是按季度甚至按年规划的。
有人会说，那就多买卡呗。问题没那么简单。
首先是成本。高端 GPU 的价格被炒上天，二手市场都一卡难求。其次是能效比。为了跑一个大模型，机房电费飙升，散热成了噩梦。对于大多数非巨头公司来说，盲目堆积硬件是一种自杀式的财务策略。
更棘手的是利用率。很多时候，GPU 并没有满载，而是卡在数据加载或通信延迟上。你买了昂贵的卡，却只发挥了 30% 的性能，这种浪费比缺卡更让人心疼。
既然硬件短期无法突破，只能在软件和架构上找补。目前的破局思路主要集中在三个方向：
核心建议：在采购新硬件前，先检查你的推理管线是否已经做到了极致的量化与剪枝。软件优化的红利，远未被吃透。
开源模型的爆发是好事，它逼着我们去思考如何更高效地使用资源。算力短缺或许还会持续一段时间，但这恰恰是淘汰那些只会调包、不懂底层优化的玩家的过程。
与其焦虑买不到卡，不如先看看代码能不能再精简一点，模型能不能再小一点。毕竟，最好的算力，是那些被你省下来的算力。
