2026-02-01 08:00:00

Bert 的作用是得到上下文相关的向量表示。举一个例子，

• 「你来就来，还带礼物。你几个意思啊？」
• 「别多想。我就意思一下」
• 「我看不懂这句话里这个词是什么意思」
• 「你这么说就没意思了啊」

你看，这几句话里的「意思」，它的含义是不同的。向量表示的时候我们肯定不能静态地给同一个词相同的向量表示。

2026-01-20 23:24:57

ChatGPT 都出来 3 年了，我作为一个计算机博士生，直到现在才了解大语言模型背后的原理。起因是我在找工作，那个公司要求做一个后训练 (Post Training, 具体来说是 RLHF) 的系统。我一开始觉得很难，因为我从来没有接触过。截止日期当天，我也没事做，就说试试吧，结果不到三个小时就弄完了 。背后的数学原理我觉得和初中数学，甚至小学数学差不多。这让我开始反思，连我一个 CS 在读博士都被那些看起来很高端的术语比如 Post-training, SFT, RLHF, DPO, LoRa, GRPO 给唬住了，我很难想象一个大学文科毕业的学生会有一丝一毫自己想去学的冲动，以及觉得自己可以学会的信心。

2026-01-15 00:13:32

平常写论文和做简历都是用 LaTeX，但是有一个问题是，免费版的 overleaf 有编译次数限制，论文如果比较大或者图表多，就需要很多次编译，很容易就超出了免费的限额。另外一个痛点是编译起来很慢。

2026-01-03 01:24:58

这个博客是 2019 年年底鼓捣 Hugo 弄出来的。那时候没有 ChatGPT，代码只能自己写。依然记得自己在宿舍电脑机房学 Hugo 和网站部署。第一篇博客在 2019 年底就写好了，2020 年初才发出去。转眼 6 年过去了。写了 300 多篇博客。没统计过字数，我估计大概有 50 万字。要说多的话，一点也不多。

2026-01-01 03:18:44

Character is destiny。性格决定命运。这句话我认为有很深的道理。我想弄清楚，性格具体是什么？性格为什么会决定命运？性格可以改变吗？

起底性格

性格和「人生观」、「世界观」、「价值观」在我看来都是一个人建构的「宇宙模型」的组成部分。「模型」的作用有两个：解释、预测。

2025-12-10 05:25:44

惭愧，我并没有 NeurIPS 2025 主会的论文。参加 NeurIPS 的机缘是我在投 ML4H 这个会的时候，有一个选项是同时投到 NeurIPS 的一个工作坊 (learning from time series for health)。我一开始都没想要投，导师推荐我试一下，我才投的。后来两篇都被工作坊接收了，我就去了。