Token 成本是当下企业最热议题，这反而极度利好 AI；新的差异化点是 model routing——有最好 evals、最强路由、与客户财务目标对齐的公司会赢。

路由「真的很难」，难处里有机会。企业三阶段：默认用最火的模型 → 盲目求最便宜但 eval 不够 → 成熟的细粒度路由（最难推理给 Claude、最简单给 Gemini Flash-Lite 或开源）。企业总比 AI-native 晚 6–9 个月。

复现旧论文从 3 周缩到 2 天（5–10×）；几乎不再读代码、不用编辑器，但必须在脑中保有 loss / batch / ML 层面的完全掌控——反而更专注。

• 长上下文的「解法」其实是 hack：grep + 写文件 + compaction（他偏爱 Codex 胜过 Claude Code，正因 compaction 好）。
• 圣诞前后那次能力跃迁说不清来源：不是某次大预训练，而是 model + harness + 少量后训练的合力。
• 桌面级算力民主化：一块 RTX 5090 几小时就能训出 GPT-2 级模型。

「这个 agentic coding 比电子游戏还上瘾。」实操痛点：希望能按「待审批 / 进行中」过滤排序 Codex 线程——线程一多就乱。

Transformer + reasoning + agents 已经能做令人难以置信的事，但仍缺一种「类脑」的学习方式——人能从极少数据抓住概念，LLM 却要穷尽所有选项后才学会。

• 泛化是核心悬念：IMO 几何曾长期攻不下，靠更多数据而非空间理解才破。
• 金句：「We don't judge solutions by how they look — we judge them by how they work. And it works.」

借柏拉图谈 techne（技艺）的局限与不可教却必需的德性，类比 LLM 的边界。金句：「LLMs are not conscious. LLMs are not not conscious. Both true.」