正确性的边际成本正趋近于零。你需要深刻理解这一点对你实践软件工程意味着什么。你必须对“正确地做事”抱有近乎执着的追求。
不断变化的格局
在过去，工程师可以凭借纯粹的技术才能脱颖而出：高效的算法思维、可扩展的分布式系统，以及手动排查调试器断点。但这种情况正以越来越快的速度变得不再成立。智能代理正让任何人都能编写出正确的代码。
如今，要想脱颖而出，你需要培养的最重要技能就是“嗅觉”：既能嗅出那些不妥之处，又具备将其纠正的意志力。
嗅出运行缓慢的 API
我们在 Pangram 正在训练一个新模型（承认这一点应该不算泄露太多信息）——它将比我们之前的模型更大、更智能，而且*更快*。 如果没有那种“仅仅为了把事情做好而追求完美”的执着，最后这一点是无法实现的。因为我们有能力做到。因为我们以自己的手艺为荣。因为有一天我在测试我们的API时，心里觉得“它绝对应该比这更快”。
当时我根本无法预料，踏入那个“兔子洞”究竟会带来怎样的回报。我心中只有一个信念：我们应该把事情做好；同时坚信，只要有Fable相伴，一切皆有可能。
仅仅几天后，我们就成功渡过了难关，战胜了曾困扰我进行“自用测试”的延迟问题。借助 Fable，我成功为我们的复杂分布式 API 协调器构建了一个完全本地化的测试框架。我们针对代码中的所有热点生成假设，并分别测试了相应的修复方案。我们将复杂的 Redis 操作进行了流水线化处理，并验证了行为的一致性。我们基于生产环境流量模拟了不同的负载模式，并估算了所需的基础设施资源。
如果没有代理程序，这个项目根本无法实施，甚至无法提出——光是工程开发就要耗费数周甚至数月的时间。而实际上，它只是我在后台完成训练任务时顺便进行的一个副项目。
我们的努力得到了回报：GPU利用率提升了约5倍——从20%（天哪）跃升至98%，吞吐量也达到了与我们的裸机节点相当的水平。这几乎没有给我们带来任何成本，却让我们收获了全部。这使得托管我们新模型的成本从原本难以承受，变成了绝对划算。
培养你的嗅觉
遗憾的是，并没有什么“一招见效”的秘诀能让你练出好嗅觉，但这确实是一项可以培养的技能。以下是我认为对我有效的方法：
对疼痛的耐受性较低
任何让你感到沮丧的事情，很可能也会让你的用户感到沮丧——不要只是硬着头皮坚持下去。你需要与自己保持同步：留意哪些事情会在一天中让你感到隐隐的烦躁，代码库中哪些部分你可能会下意识地回避，或者在处理哪些任务时你会感到有些坐立不安。这正是可以取得进展的地方。这也正是我开始深入研究API优化的契机。
我常说“简单的事就该简单”。这一点既适用于你的代码库（例如，运行一个简单的训练消融实验不应需要费神），也适用于你的产品（例如，单次 API 调用所耗时间应仅比正向传播本身稍慢一点）。当你发现自己心想“这不该这么难”时，赶紧去修复它！现在你已经有了代理！创建一个工作树，然后运行 Codex 吧 /目标 那就试试吧——你还有什么可失去的呢？
从第一性原理出发，对一切进行质疑
代理工具让这一切变得如此简单。“考虑到我们的批处理大小、GPU 规格和参数数量，这项任务应该需要多长时间？”“考虑到我们的数据量和查询量，我们应该向这家服务商支付多少费用？”当你知道“正确”应该是什么样子时，识别“错误”就容易多了。
对于我们支持的每种模型/节点/请求形状拓扑，我都会这样做——这就是我调整 vLLM 配置的方式，以确保我们能接近理论极限。正是通过这种方式，我才发现我们的 API 吞吐量与在裸机节点上获得的吞吐量之间存在差距。
这一原则同样适用于你的代码库。如果某些抽象方式让你觉得奇怪，不要仅仅因为“一直都是这样”就接受它。要从第一性原理出发重新思考契约——根据我们目前的认知，它应该是什么样子？你的任务是确定该让代理指向哪里。代理可以在一夜之间完成重构并验证正确性。
保持好奇心，多读书
我在Pangram入职第一周发布的一项最喜欢的优化方案，其灵感来源于DeepSeek V4的混合稀疏注意力机制。
我的优化与神经网络架构毫无关系，更不用说具体到注意力机制了。这是对我们用于检测人类文本与AI文本之间边界的那种算法的改进，该算法以前需要进行一次无限制的二次推理。
尽可能多地从尽可能多的聪明人那里汲取有趣的想法。你现在要做的是保持无穷的好奇心，建立联系，并不断问自己“如果……会怎样”。记住，探索的边际成本正趋近于零。
使用您的代币
我每周日都有一个固定习惯，就是随便选一个《法典》…… /目标 为了在重置前尽量用完我的每周代币。大多数时候，我最终要么把代码扔掉，要么就让它躺在某个被遗忘的草稿PR里。有时也会有所收获。我几乎总能从这个过程中学到些东西。无论结果如何，我都不用付出任何代价。有些人把这比作玩老虎机，但我认为，不玩就永远赢不了。
