2025-11-24 11:30:38
作为业余爱好，一直很喜欢研究企业的商业模式。我以往觉得电子商务这个赛道竞争很激烈，生意很难做，尤其是中国当前的环境下，近些年在商业模式上也没有太多有意思的创新。快两年前，写过一点关于拼多多的，但主要是批评，我不喜欢它的生意模式，我觉得它的壮大会打压中国的品牌成长。这个观点至今依然成立，不过，除此以外，那个时候我对于拼多多的理解还是比较浅薄的。随着这两年拼多多的成功，我觉得我看到了它越来越多以前没有看到的东西。这些东西让我越来越觉得，黄峥，真的是个眼光很长远，执行上也很厉害的人。
最早的时候，我以为拼多多的核心就是低质量、低价的策略。后来我渐渐明白，所谓的低价策略，只是最肤浅的一个表象。
如果退到十年以前，应该很少有人能同意，在如此激烈的电子商务赛道上，已经有了老牌的阿里巴巴，还有重供应链的京东，拼多多能够挤进来，分到一杯羹。而如今，不仅如此，它的增长居然已经让这两家都难以望其项背。
说到阿里巴巴，如今看，它还是犯了一个企业扩张以后变得局限、傲慢的通病。早些时候马云就评论京东说这种重资产玩不转，到后来张勇则认为拼多多只会帮助阿里巴巴教育用户和开拓市场，阿里巴巴错过了太多的机会。
拼多多的核心商业模式是什么，招股书中讲是中国的 Costco+Disney，零售+娱乐。但是它没有对比阿里巴巴和京东，来进一步细致地说明它是打算怎么赚钱的。看起来这些零售电商很接近，其实很不一样。阿里最值钱的是什么，是商家；但是拼多多呢，是消费者。就连对于 “砍一刀” 这样的基于社交的病毒式营销，也是基于消费者这个核心。拼多多教育用户，你要关心你买的产品和价格，但不要关心是什么品牌、是谁生产的。拼多多不在乎丢失商家，而是推行白牌商品，达到极致的性价比，以最简单的低价方式来留住用户。所以说，传统电商那套基于流量变现的策略在拼多多这里行不通了，拼多多更关心的是单一性价比高的商品，谁来拿订单？很简单，价低者得。
Costco 玩法的其中一个核心就是由它来代替用户选择性价比高的品牌，利用巨大的订单量，来和生产的商家谈价格。在同样具备规模效应的情况下，这是它和沃尔玛这种靠商品品类之全而获得用户的商业模式来说，最大的优势之一。比方说，在 Costco 买衣服，你不会找到很多的品类，每种衣服的类型可能就那么一两种衣服，但是衣服的质量可以，而且性价比没的说。一句话概括，单一的种类，巨大的订单量。
阿里也好，京东也好，它们都可以把消费者直接对接到商家，砍掉中间环节，但是这样的消费者依然是没有议价能力的，因为消费多少不能提前确定，每一单的规模又小得可怜。但是类似于 Costco，拼多多的做法是什么？把大量消费者的需求捆绑起来，它们出动去和生产产品的商家谈，这就让商家愿意去用一个更低价格来换取很早就可以确定的大订单。商家被迫报低价来抢单，商家和商家之间抢拼多多这个大客户，这种模式和白牌商品有着最天然的契合。可以认为，这是团购的升级版，我觉得这才是拼多多最核心的玩法。
提到了 Costco，再来说 Disney，这主要说的是娱乐和社交。和传统电商个人选择和购买的模式不同，拼多多可以利用团购的本质来强化社交这个行为。因为团购需要多人参与，拼多多就可以提供一个可以游戏的平台，这也是其它传统电商很难和它竞争的一个方面。无论是养成类的多多果园（这个真是一个提高日活的绝招）还是社交裂变类的砍一刀，还有那些对于很多人来说看起来并不高级的幸运转盘……购物变成了只是游戏过程中的一个环节。
再来看看拼多多扩张的过程当中，那些成功而重要的决策。
首先是 “砍一刀” 这样的病毒式营销，这可能是像我这样的人最早听说拼多多的时间。那段时间，恰好是微信摇一摇春晚大肆撒钱的事情发生之后。众所周知，腾讯的这一方面的眼光总是很独到，藉由微信等等流量平台，他们也有非常大的用户数据和这方面的经验。腾讯投资了拼多多，或许这盘大棋中，也告知了拼多多这样一个事实——大量的网民们，他们的微信账户有着红包摇来的钱，这是最好的建立拼多多性价比消费心智的时间。配合 “砍一刀”，拼多多的初始的大规模获客就这样做到了。
第二件火爆的事情可以说是拼多多玩的 “仅退款”，阿里和京东根本当时根本就没法快速跟进。因为他们需要考虑这些极度便利消费者的措施，对于品牌相当负面的摧残和打压。品牌就意味着溢价，有了溢价就没法极度地考虑性价比。从这个角度来说，长期看，拼多多的市场很大，并且阿里和京东根本没有办法去抢，无论是国内还是海外。阿里也许能把很多第二产业、第三产业做成，能把阿里云做成，甚至能把芯片也搞起来，但是传统电商，对于大多数人来说，考虑到目前大多数人的消费习惯和能力，我觉得它长期下来是不可能搞得过拼多多的。
再有，拼多多对于资金的分配，也是极致的典范。想想阿里什么都要投钱，铺开来如此之大的摊子，什么都搞，拼多多非常本分，就做自己风格的电子商务，就是扎根于农村下沉市场，和阿里、京东比起来极少的员工数，尽可能地避免重资产，连办公楼都是租的。每次财报，都是不分红，并且低调地强调未来的风险，最近火爆的 AI，拼多多也似乎尽量去避免接触，这样的管理层，在如今这个习惯于画大饼的世界似乎真是独一无二。
最后，我想到了微博和小红书。微博是大 V、名流为核心的玩法，无名人士的发声微不足道；小红书呢，则是基于草根的玩法，它的推荐系统是最核心的资产，它可以让一个无名之辈的帖子出现在感兴趣的用户的眼前。我觉得这是小红书和微博最大的区别，这也是微博已经是上一代互联网产品，逐渐衰落的原因之一。以此类比，阿里巴巴上的品牌企业，就是大 V 和名流；拼多多上的无数白牌商家，就像是不知名的草根。单一草根势单力薄，但是拼多多这样的平台把他们的力量汇聚起来，消费者买到东西的时候兴许不知道是哪家草根商家生产了他的货品，但是千千万万的草根商家就能够借助这个平台，靠着生产白牌产品，把自己的小小生意做下去。这样看，其中的历史意义显而易见。
这林林总总的事情，无论是战略还是实施，都让我觉得拼多多真是一家非常厉害的企业，黄峥真的是一个很厉害的人。黄峥受到段永平影响很大，他要 “做对的事情，并把事情做对”，但我不知道对于他来说，什么样的事情是对的事情。当然，我觉得我还是没有很深刻地读懂拼多多，以上只是我现在的思考，这真是一家太有意思的企业。
文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《四火的唠叨》
2025-07-27 10:55:18
首先，从高维度看，OAuth 是要解决什么问题？
OAuth 要解决的是客户端在不知道和不使用用户密码的情况下，怎么样安全访问并获取用户所拥有的资源的问题。
顺带说一句，经常和 OAuth 一起谈到的 OIDC 则是解决了用户信息（profile）获取的问题。简单说，OAuth 解决了 Authorization 的问题，OIDC 解决了 Authentication 的问题。
OAuth 有几种角色：
所以 OAuth 就是用户想通过某种机制，通过 Client 和 Authorization Server 交互来获得能够访问资源的 token。
对于 OAuth2.0 的授权流程，可以根据 grant type 来做个归类。下面的图示全部都来自 Auth0 的官方文档。
1. Authorization Code：用户访问 web app，web app 的后端请求 auth server，于是重定向到登录页面，用户输入登录信息，auth server 就给 web app 一个授权码，这个授权码通过 callback URL 返回，而这个参数一般放在这个 url 的参数中，比如：http://…/callback?token=TOKEN。之后 web app 就可以拿着授权码去取 token 了。这种方式不需要用户这边存放任何 secret，但是需要用户参与 consent，并且具备 web app 的后端，因为和 auth server 的交互主要都是 web app 后端完成的。
但是这种方法存在一些 concern，比如说，这个 code 如果在返回途中被截获怎么办，截获者就可以使用这个 code 来获取 token 了。
2. PKCE：对于上述问题，有一个改进的办法，就是使用 PKCE（Proof Key for Code Exchange）来给它增强。基本原理是，客户端生成一个随机字符串 code verifier，根据一个算法 code challenge method 来生成它的 hash（challenge），获取授权码 code 的时候需要把这个 method 和 challenge 带过去；接着，code 正常返回，但之后客户端拿着 code 去获取 token 的时候，需要带上这个 code verifier，这样 auth server 就可以根据之前拿到的 method 和 challenge，以及刚得到的 code 和 code verifier，来校验用户是不是可以得到这个 token。
在这种情况下，如果 code 被劫持，那么对方拿到了 code，却没有 code verifier，也就没什么用。
这种方法是比较推荐的，对于一些 CLI 登录使用这种方法的时候，重定向 URL 可以是一个带有 code 的指向 localhost 的地址以被 CLI 捕获。
3. Device Code：前面说到的 Authorization Code 这种方法还有一个变体，就是对于一些需要用户参与，但是又没有浏览器（或者自动打开浏览器）的场景下，这个重定向到浏览器来获取用户 consent 的过程，被其它方式来取代，这种变体可看做名为 Device Authorization 的流程：
可以看到，上面的浏览器重定向的过程被替换成了返回 code 和 verification url，然后用户使用 verification URL 加上这个 user code 来完成 consent 的过程，在这个过程完成之后，这个 device 才被授权。在这个过程完成之前，需要 app 不断去 poll 检查是不是 device 已经被授权了。
4. Client Credential：前面说到的 Authorization Code 虽然好用，但是需要用户手动登录确认的过程，对于一些没有人参与的 M2M（machine-to-machine）系统而言，这是不现实的。因此在 client id 的基础上，再加上一个 client secret，一样可以完成 auth 的流程。这种场景其实就相当于是 client 和 resource owner 是同一个了：
5. Implicit：这种其实就是上面 Authorization Code 的简化版，去掉了 code 的环节，直接发 code。这种方式在 app 只有前端的场景下（比如 SPA）使用，因为它没法进行后端和 Auth Server 的通信。但是这种方式因为安全性低，因而不推荐，因为即便是 SPA，还是可以用前面说的那种 PKCE 增强的 Authorization Code 方式来实现。
再来看这个 callback 的 URL，和前面提到的 Authorization Code 流程不一样的是，它返回的 token 放在 URL 的 fragment 里面，而不是 query 里面，比如：http://…/callback#token=TOKEN，这样做的好处是这个 TOKEN 不会在浏览器跳转的时候送到服务器，就不容易泄露。
6. Password：这种方式其实就是让 client 获知用户的用户名和密码，属于风险比较大的做法，要求这个 app 是用户百分百信任的——这也就是说，它没有解决 OAuth 本身应该解决的问题，因此很少使用。
文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《四火的唠叨》
2025-05-19 07:18:12
入职 Coupang 两个月了，第一个月主要上手和开发 BOS（Business Operating System）系统，第二个月开始调研选型 ML Workflow 平台。前者目前来说相对比较简单，后者对我来说是一个新坑，也比较有意思，随便写写技术上的体会。
先扯点题外话，其实这次求职有几个比较符合我预期的机会，可在思考之后，我基本上毫不犹豫就选择了 Coupang 这一家。最主要的原因，并非因为雇主，而是因为要做的事情。一个相当规模的团队，在大干一场的早期阶段，要在搭建起属于自己相当规模的 AI infra 来。
我觉得软件行业的巨大的变革，新世纪以来就三次，第一次是互联网应用的崛起，我太小没能做啥；一次是十几年前的 cloud，看着它从爆发式增长到如同水和电一样进入我们的生活，可我算是错过了它比较早期的阶段，即便相当长的时间内我在 Amazon，但是我却并不在 AWS；而这一次，当 AI 的浪潮再来的时候，我就很想行动起来，真正投身其中。程序员的一生能有几个赶这样大潮的机会呢，我不想再错过了。虽说我没有 AI 的技术背景，但我知道 ML infra 到 AI infra 却是个我可以切入的角度——从我最初接触软件开始，尤其是学习全栈技术的时期开始，我就认定，技术是相通的，这十几年来我一直在如此实践。因此在调查和思考之后，我觉得这是一个我不想错过，并且更重要的是自认为能够抓住的机会。
当然，就此打住，我目前只是这个领域的初学者，因此理解并不深入。
接着说正题，在这一个月之前，虽然我经历过不少关于 workflow 的团队，虽然我参与过从零写完整的 workflow 引擎，但这些都是针对于通用 workflow 而言的，我对于机器学习的工作流，也就是 ML workflow 可以说一无所知。于是在问题和需求调查的过程中，第一个关于它的问题就自然而然出现了，我们是否真的需要 ML workflow，而不是通用的 workflow 系统？
其实，这主要还是由于 ML 的生态所决定的。通用 workflow 可以完成很多的事情，但是在机器学习到 AI 的领域内，这个过程中最主要的目的就是把 raw data 给转换成经过训练和验证的 model，其中有很多部分都是有固定模式，因而自成体系的。举例来说：
总之，ML workflow 更像是一个 workflow 中的重要分支，它的特异性显著，因而从架构上它有很多在我们谈论通常 workflow 的时候不太涉及的特点，并且它们具有明显的共性。
Workflow 这样的系统，和很多 infra 系统不同的地方在于，它具有全栈的特性，需要从端到端从用户完整的 use case 去思考。回想起通用的 workflow，我们会想，用户会去怎样定义一个 Workflow，怎样运行和测试它，并且怎样部署到线上跑起来。这其中的前半部分就是 development experience，而后半部分则是 deployment experience。
首先，对于 development experience 这个角度，ML workflow 有它独特的地方，其中最主要的就是 Python SDK。
通用 workflow 我们讲定义一个新的 workflow 的时候，我们通常都需要写一个 DSL，里面定义了一大堆 task 和依赖关系，而对于做得比较好的 workflow 系统来说，可能还需要一个可视化的 drag-and-drop 界面来方便地创建 workflow。
但是对于 ML workflow 来说，它最特殊之处是对于 Python code 的无缝集成。因为 Python 之于 ML 的地位就像是 Java 之于企业架构的地位，任何一个 ML workflow 客户端首先要考虑支持的编程语言就是 Python，用户通过往大了说是 SDK，而往小了说则是简单的 Python decorators，就可以定义 task 和 workflow。比方说，一个简单的 Flyte 的 hello world：
from flytekit import task, workflow
@task
def say_hello(name: str) -> str:
return f"Hello, {name}!"
@workflow
def hello_workflow(name: str = "World") -> str:
return say_hello(name=name)
在 ML workflow 的世界中，这是除了 DSL 和视图化之外的第三种定义 workflow 和 task 的方式，也是必须具备的方式。
第二个，对于 deployment experience 的角度，大致上是基于 Kubernetes 从 control plane 到 data plane 固定的交互机制。
我不知道这是不是一种关于 ML workflow 的约定俗成，但是通过调研 Kubeflow Pipelines、Flyte 和 Metaflow，我发现这三种对于 control plane 到 data plane 的交互模式是出乎意料地一致。
注：也有把 Operator 那一层归为 data plane 的，我觉得都说得过去。
其中 Metaflow 说的是使用 Kubernetes 集成的情况，因为它并不是非得依赖于 Kubernetes。
但大多数使用都是基于 Kubernetes 的，而且基本上都是这个套路，control plane 的 service 收到请求以后，通过创建 K8s CRD objects 的方式告知 workflow controller（scheduler）来执行 workflow，对于 task 的执行通过调用 data plane 的 K8s API 来创建 task pods 执行。
对于特殊的 task，需要交由特殊的 K8s operator 来执行，那么这个 “交由” 的过程，也是通过 K8s 这一层的 CRD change 来实现——Propeller 负责创建 CRD，而对应的 operator 负责 monitor 相应的 CRD 改变并相应地执行任务。Propeller 和 operator 二者互相并不知道对方的存在。这种方式对于保证 operator 的重用性和跨 workflow 系统的统一性简直是太棒的设计了，我们在 try out 的时候，就让 Kubeflow Pipelines 系统中的 operator，去执行 Flyte 给创建的 PTJob 和 TFJob。
关于架构，我觉得 Flyte 的这张架构图对于 components 层次的划分说得非常清楚，下面的 control plane 和 data plane 是可以有属于自己的 cluster 的，不过值得说明的是，真正最终执行的 task pods，也就是图中的最下面的 K8s Pod，也是可以放在另外的 cluster 上，由远程的 K8s API 调用触发的，这样就可以带来更多一层的灵活性：
再来比较这三个 workflow 的优劣，我并不打算列全，而是简单说说自己印象最深的几点：
在我把这三者全部在 EKS 上搭了一遍并使用了一圈，也仔仔细细对别了特种特性和优劣之后，我对于 Flyte 的特性比较感兴趣，我觉得它们对我们团队也比较有用。
具体来说，很多区别但最重要的是两个：一个是 strong typing，其它两个都只支持 Python 类型的 hints，就这一点上，和一些 ML engineer 也讨论过，把问题发现在本地，是非常吸引人的；再一个是 multi-tenancy，对其 Flyte 有很多原生的特性支持，在平台完成之后，我们希望把平台上 ML 的能力开放出去，因此这是很重要的一个特性。此外，我也在考虑对于一个 control plane + 多个 data plane 这种 use case 的情况，这部分的需求还比较模糊，但是 Flyte 依然是这方面支持特性相对比较多的一个。
无论最后的结论为何，我希望我们能够比较灵活地部署选中的这个 ML workflow system，比方说，在 CLI 上，我们考虑在更高维度建立出一层，用户使用同样的命令，无论下面执行的 workflow 系统是什么，都不需要改变，这样一来，等到未来如果我们需要支持第二个，应该能够比较容易地整合进去。
文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《四火的唠叨》
2025-02-21 05:23:32
自去年秋天裸辞之后，一直在考虑职业生涯的问题。之后加入求职大军，目前进展还算顺利，作为软件工程师的下一站也将很快确定下来。但是这一次的 career break，虽说时间不算长，却给了我莫大的启发，我也有了一些思考。
其实在去年年初的时候就简要叙述过这个事情。熟悉我的朋友都知道，我的职业生涯有点奇怪，从 Huawei 开始，我是一个全栈工程师（fullstack engineer），从网页设计、前端开发到后端开发都是一锅端的，当时也非常喜欢这个方向，这也是我后来在极客时间上写 《全栈工程师修炼指南》这门课的原因之一。
不过后来这个兴趣点也在慢慢迁移，在加入 Amazon 之后，我陆续经历了两个大的 data platform 团队，一个是做销量预测（demand forecasting）的，一个是为 retail 一侧计算成本和利润的。在这两个 team 中，都要和大数据打交道，和 scientists 和 analysists 一起合作，而我作为一个 engineer 的基础工作，就是把 infra 维护好，提供好用的工具让他们的问题观测和分析更简单。也是从 Amazon 开始，我开始更关注一个模糊的目标，一个可以持续建设的 platform，关注一个 solution stack，而不是具体某个 service，或者某个具体技术。
差不多六年之后，在 Oracle，我带领的 team 则是侧重于 infra 了，依然是作为 engineer，主要为 cloud 管 datacenter 的两个东西，一个是 process automation，一个是 matadata storage。在这个比较大的 team 我获得了比较大的职业生涯成长，我们 own 一个非常完整的 solution stack，也越来越确定我关注的重点，以及未来发展的方向。虽然从一定意义上来说，做的事情依然是 full stack 的，但我开始更多地称呼自己 platform engineer，而不再是 fullstack engineer 了。
之后在 2022 年加入了 Doordash，从巨头转向更加敏捷的中型互联网公司，一开始在一个偏向于 infra 的团队，做 gateway platform，我还是比较享受这一年多的时间的。当时 team 里面有一个非常有经验和见解的工程师，我从他身上学到不少。后来因为 org 调整的原因，我选择抓住机会去做了很短一段时间的产品，回头看这个决定有些鲁莽，但至少也确认了一件事情，单纯做产品并不是我最喜欢和擅长的。
对于下一站，我的几个在考虑的选项中，无疑都是偏向于 platform 和 infra 的 team，其中有两个机会我尤其感兴趣，其中一个是维护开源的高并发 library 的，还有一个是做 AI infra 的。现在我正在努力做的功课，就是把它们前前后后都了解清楚，然后做出自己的选择。
这是个很好的问题。只不过，这个 “将” 可以斟酌，因为它已经替代一些初级的工程师工作了。但放眼未来，它到底能替代多少工程师的工作，我不知道。现在，很显然的有两件事：
但是关于上面这第 1 点，这样的 “替代” 到底能达到多深的地步，我不知道。我隐约觉得，能被替代的工作往往是非常具体，逻辑比较确定和简单，而且不需要处理人际交流和关系的工作。以前有人觉得，AI 不能替代艺术家的工作，因为他们的工作是创造性的。可是你现在看看呢，写作、谱曲、绘画，都变得可能了，可是我并不想反驳这条观点，而是想说，这从一定的角度上来看，我们是不是可以说，艺术家们的工作，其实也并不全是创造性的呢？
而关于上面这第 2 点，有更多岗位要远比软件工程师更值得担忧，而软件工程师们，只不过是因为现在站得和 AI 更近，替代后的成本节约更多，因而更焦虑。就如同软件行业是经济的风向标一样，当工程师们开始焦虑，不久的将来整个社会都会焦虑。从好的一面看，当工业革命开始，无数人担心机器代替人类工作，但最终机器却为人类创造了更多的工作，我想这一次机器替换成了 AI，道理也一样。无论如何，不要逃避，而要尝试改变和拥抱这样的变化，因为这个趋势是不以人的意志为转移的，该来的总会来。
我觉得，总体来看，AI 将很快替代的，未必是工作，而是特定领域的技能。我觉得这句话里面，有两个重点，一个是 “技能”，一个是 “特定领域”。同一份工作，也许需要能力和技术将大不相同。对于一个需要做出复杂判断的工作，并且这个工作还需要许多不同领域视野和经验积累的，AI 相对会更难替代。
对于一些传统行业而言，那里有更多的固化、低效、不愿革新和进取的工作。我有个朋友在保险行业，做的事情就是要用科技（不仅仅是 AI）来变革，把保险公司从传统上认为人力资本巨大的企业变成一个靠软件来横向扩张的 SaaS（软件即服务）公司。趁这个 job hunting 的机会，我也去了解了一番。我觉得，这些看似红海的传统行业实则是使用软件革新的蓝海，未来会有更多的 SaaS 公司。有很多这样的传统领域，成长缓慢，或者利润率低，资本不太看得上，但是从这个角度思考，或许有大的机会。
在刚离职的时候，我曾经提到过对于就业市场的理解。大致来说，就是比我 2022 年下半年那会略好，但是想要回到疫情前那种 “无比风光” 的状态是不可能了。现在回头看，在经过了一番求职的折腾后，我可以说，这种观点还是大致正确的，不过就业市场比我最初想的，还是要好不少。简单说来，我觉得近期软件工程师的机会，比 2022 年下半年要多不少。
其次，一个萝卜一个坑。我记得 2017 年那会找工作的时候，我可以先把 phone screen 搞定，然后排一堆 onsite 在同一周并行，这样的话一旦我拿到 offer，如果需要选择的话比较容易操作，因为它们的时限都比较接近。但是这次好几家公司都是过了 phone screen，然后告诉我坑已经被填了。所以之前并行的策略没有那么有效了，看到心仪的职位，不仅需要面试得好，还需要尽快完成。
再次，bar 还是很高。有时候看到很多软件工程师朋友还在谈论刷题的话题，其实刷题是必要条件没错，但是离实际需要差太远了。从分配时间的角度，还是需要更多时间分配到其它环节去。总体来说，就算两轮 ps 加上 5 轮 onsite 的话，ps 全都要 positive，onsite 全都要 positive，也许最多一轮 on boundary，否则基本就挂了；有些情况下，就算全是 positive，如果不够 strong，还是会 downlevel。所以，总体来看 bar 还是比较高的。行业发展就是这样的，软件业也不是例外，求职门槛提高，这是行业成熟的一个标志。
最后，回头看，去年的这个裸辞还是果断（或者武断）的，但是回想起来，如果再给我一次机会，我估计还是会做出同样的选择。没有什么对错，就是做出自己的选择而已。这段 break 的时间我还是比较享受的，而且除去 career 发展的目的以外，由于再在 job market 上面走一遭，起码从面试的角度来说，有了比较新鲜的认识，哪一天如果被裁员，我相信也不会过度慌乱。这也算是一个额外的收获吧。
我知道有很多朋友和我一样，近期在求职。这个过程很辛苦，也可能有磕磕绊绊，希望大家都能保持自信，或长或短的时间，找到自己理想的职业生涯下一站。
文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《四火的唠叨》
2024-10-21 08:41:56
今天聊一下时间的话题。在分布式系统中，“时间” 是一个挺有趣，但是很难处理的东西。我把自己的理解简单整理下来。
首先，单一节点的物理时钟是不可靠的。
物理时钟本身就有偏差，可是除此之外，可以引起节点物理时钟不准确的原因太多了，比如 clock jump。考虑到 NTP 协议，它基于 UDP 通信，可以从权威的时钟源获取信息，进行自动的时间同步，这就可能会发生 clock jump，它就是说，时钟始终会不断进行同步，而同步回来的时间，是有可能不等于当前时间的，那么系统就会设置当前时间到这个新同步回来的时间。即便没有这个原因，考虑到数据从网络传输的延迟，处理数据的延迟等等，物理时钟是非常不可靠的。
如果一个分布式系统，多个节点想要仅仅依赖于物理时钟来完成什么操作，那么只能祈祷运气足够好了。在 《从物理时钟到逻辑时钟》这篇文中，我已经介绍了对于物理时钟不可靠的问题，我们有一个解决的办法，就是引入 Lamport 逻辑时钟，或者使用向量时钟，这里就不赘述了。
分布式系统中什么样的执行结果最难处理，成功还是失败？其实都不是，最难处理的结果是超时，因为执行超时了，但是系统却并不知道它：
所谓超时，一个显然的问题是，超过多少时间才算超时？往往没有一个公式，更没有一个标准答案，我觉得《Designing Data-Intensive Applications》这本书里面对这一点总结得很好——对于超时时间的定义，其实就是一个 tradeoff，一个基于 failure detection delay 和 risk of premature timeouts 之间抉择的平衡。如果超时时间设置长了，就会减少超时判定的误杀，但是对于系统失败的识别就会延迟；反之，如果超时时间设置过短，那就会触发更多看起来是超时的 case，但是它们本身其实并没有真正超时。
通常来说，对于超时的处理，其实办法也不多。一种是放弃，一种是重试。就像消息投递，如果要保证 “至多投递一次”，那在投递超时后，就直接放弃；如果要保证 “至少投递一次”，那在投递超时后，就重试。如果要重试，那就需要引入保证幂等性的机制。
分布式事务 SAGA 对于超时的处理，其实也是遵照上面的原则，在系统内单步都成为事务的基础上，把流程视作一个状态机，无论单步操作是成功还是失败，都会根据清晰的预定义逻辑，触发相应的正向流程或者反向流程，可是唯独超时，多数情况下最有意义的事情就是重试，也只能重试，因为谁也不知道它究竟实际是成功了还是失败了。
说完操作超时，再来说一下节点超时。很多分布式系统中都会使用一种 lease（租约）的机制，比如一个集群中的 leader，作为 leader 会扮演不同的角色，但是必须要 renew 这个 lease，否则超过一定的时间，无论它给不给响应，它都会被开除出 leader 的角色，而 follower 会重新选举（或者其他方式）一个 leader。
比较难处理的是，如果这个节点本来是被 hang 住了，导致了超时，它也已经被踢下 leader 的角色，但是之后它 “活” 过来了（比如经过了一个超长时间的 GC），它还以为自己是 leader，继续去干 leader 干的事，变成了一个假 leader。这其实就是出现了脑裂，本质上是一个一致性的问题。这种情况比较难处理，因为即便有 heartbeat 不断检测，在每两个 heartbeat 的间隙，可能这种重要的变动就发生了。
要解决这种问题，需要使用 token fence 的方法，即让每次最关键的状态数据的更改，携带一个单调递增的 token，这种情况下这个假 leader 发起更改的 token，已经小于系统中最新的 token 了，接收这个数据更改的子系统应该拒掉这个请求。上面说的节点超时的情况我在《谈谈分布式锁》里面有详细说明。
有两种时钟是计算机普遍支持的，一种叫做 time-of-day clock，就是我们一般意义上的时钟，代表着相对于 1970 年 1 月 1 日的 epoch 时间，也就是 Java 里面 System.currentTimeMillis() 返回的。网络时间协议 NTP 就是用来同步计算机这个时间的。
不过，其实还有一种时钟，叫做 monotonic clock（单调时钟），在 Java 里面相应的接口是 System.nanoTime()。这个时钟有一个特点，就是它永不回头。对于 time-of-day clock 来说，时间是可能 “回头” 的，对于很多应用来说，时间回头是要命的。不过这个时钟给出的具体时间却是毫无意义，如果在不同的机器上调用 System.nanoTime()，会得到完全随机的结果。API 的名字是纳秒，可是这个时钟并不给出到纳秒的时间精度，它的作用是用来帮助计算间隔时间的：在同一个节点，第二次调用的时间减掉第一次调用的时间，这个结果（时间间隔）是严格递增（不回头）的。从这个意义上说，除去时间这个视角本身，这个时钟更像是一个单调的计数器。既然是单调的计数器，就可以用来帮助产生系统严格自增的 ID。
下面是 System.nanoTime() Javadoc 上面的解释：
Returns the current value of the most precise available system timer, in nanoseconds.
This method can only be used to measure elapsed time and is not related to any other notion of system or wall-clock time. The value returned represents nanoseconds since some fixed but arbitrary time (perhaps in the future, so values may be negative). This method provides nanosecond precision, but not necessarily nanosecond accuracy. No guarantees are made about how frequently values change. Differences in successive calls that span greater than approximately 292 years (263 nanoseconds) will not accurately compute elapsed time due to numerical overflow.
一般来说，我们都知道计算机的时钟有误差，可是这个误差是多少，差 1 毫秒还是 1 分钟，并没有任何严格保证。绝大多数接触到的时间 API 也是如此，可是，Google 数据库 Spanner 的 TrueTime API 却。它使用了 GPS 时钟和原子钟两种完全独立的机制来冗余某一个机制失败导致的时钟问题，增加 reliability。此外，它还有和 System.nanoTime() 一样的严格递增的特点。
它有三个核心 API，很有意思：
有了 TrueTime，这让分布式系统中，本来无法通过物理时钟解决的问题也变得可解决了。比如对于操作冲突的问题，现在的新办法就是等一个 buffer 时间，TrueTime 认为已经前一个操作的结束时间肯定已经过去了，再来启动后一个操作。当然，这个方法的缺点是 throughput，因为整个操作周期因为 buffer 时间的关系变长了。
文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《四火的唠叨》
2024-10-02 08:46:16
分布式系统有它特有的设计模式，无论意识到还是没有意识到，我们都会接触很多，网上这方面的材料不少，比如 《Catalog of Patterns of Distributed Systems》，还有 《Cloud Design Patterns》等等。这里简单谈谈几个我接触过的，也觉得比较有意思的模式。
对于这个话题，基本上第一个在我脑海里蹦出来的就是 LSM 树（Log Structured Merge Tree）。其实，LSM 树本来只是指一种数据结构，这种数据结构对于大吞吐量的写入做了性能上的优化（比如日志写入），同时对于根据 key 的读取也有不错的性能。换言之，对于读写性能的平衡，大幅优化了写入，而小幅牺牲了读取，现在它也不再被局限于数据结构本身，而是泛化为能够提供这样特性的一种机制。
整个写入过程分为两个部分，为了追求极致的写入速度，写入方式都被设计成追加的：
所以，为了追求写性能，数据写入会直接插入到 C0 中，一旦 C0 达到一定大小，就会建立一个新的 C0’ 来替代旧的，而原有的 C0 会被异步持久化成 C1 中的一个新文件（其实就是做 snapshot）；C1 中的文件全都是有序的，它们会不断地被异步 merge，小文件不断被合并成大文件（下图来自维基百科）。极端情况下，同一个 key 可以有若干次更新，并且更新能同时存在于 C0 和 C1 所有的文件中。
对于根据 key 的查询，需要先去 C0 中找，如果找到了最好，没找到的话需要去 C1 中找，最坏的情况下需要找每个文件。如果数据存在于多个地方，数据采用的优先级是，C0> 新的 C1 文件> 旧的 C1 文件。
对于不存在 C0 中的数据查询，为了尽量避免去每一个 C1 的文件中查询，Bigtable 会使用 bloom filter 来做第一步的存在性判断（校验用的数据全量加载在内存中），根据结果，如果这一步判断通过，这意味着数据可能存在于目标文件；如果没通过，这意味着数据肯定不存在于目标文件。
顺着 LSM Tree 的话题，说到 WAL。WAL 适用于解决这样一个问题：一个系统对于写请求有较苛刻的延迟或者吞吐量的要求，同时又要严格保证 durability（数据不丢）。
因此直观上，WAL 包含三步：
基本上思路就是把能延迟的操作全延迟了，如果服务端挂掉了，根据持久性存储+日志就可以完全恢复到挂掉之前的状态，因此数据不会丢。
于此，有一系列相关的 pattern，比如：
Request Batch 太常见不过了，请求可以批量发送，减少 overhead，从而减少资源（网络带宽、序列化开销等等）的消耗。通常的 batch 是根据大小或者数量来划分批次的，但是修饰词 Clock Bound 指的是，这样的分批还要依据时间，就是说，系统可以等待一段时间，这一段时间内的请求都可能打包成一个 batch，但是这样的打包还要有时间限制，到了这个时间，无论当前的 batch 有多小，都必须要发送出去了。
Kafka 客户端就有这样的一个机制，message 可以被 group，但是：
还有一些流处理系统也采用这种方式，比如 Spark 的 micro batching。
Singular Update Queue 非常有用，queue 本身就是用来处理异步的事件，可以有若干个 producer 产生消息到队列里面，有若干个 consumer 来处理它们。这种场景下这个 queue 为核心的机制扮演了至少这样几个角色：
对于写请求，我们需要保证这些事件处理不会有并发的问题，通过采用 Singlar Update Queue，对特定的 topic，我们可以设计一个良好的 sharding 规则，加上对于每一个 sharding（在 Kafka 等系统里面我们叫做 partition），设置为只有一个 consumer 线程，这样的话就保证了不会有并发问题，因为只有一个线程来处理所有这个 sharding 的消息，这种方式可以简化系统，不需要引入第三方锁系统就可以处理同一个 sharding 之间存在并发冲突的消息。
我想起另外一个相关的话题，monolith（单体应用）还是 microservices（微服务），一直是一个争论。早些时候，在微服务概念刚提出的时候，它受到了追捧，但是现在出现了越来越多批评的声音。一个突出的微服务的问题就是各个微服务之间像蜘蛛网一样复杂调用依赖的问题。而这样的问题，其中一个解决办法就是引入这样的 queue 在中间解耦。
有些时候，queue 里面未必存放全部完成 update 所需的数据，而是只放很少的内容，比如只有一个 key，consumer 拿到这个 key 以后去别的 service 获取完成任务需要的信息，因此这个 queue 就起到一个通知的作用。这其实就是 Claim Check 模式了。
Asynchronous Request-Reply 本身是一个简单而且常用的机制，就是请求发起以后，服务端响应说，请求任务正在处理中，并返回给 client 一个 token。后续 client 拿着这个 token 就可以来（可以是另外一个单独的用于状态查询和结果获取的服务）查询请求的处理状态（poll），同时，服务端也可能会通知（push）客户端情况。
不过，既然上面谈到了 Singular Update Queue，它们俩有时是有关联的。
在使用 Singular Update Queue 的时候，如果 consumer 处理一个消息需要花很长的时间，那么它就可能成为整个系统吞吐量的瓶颈。很多时候，这个 consumer 花很长时间来处理往往不是因为有复杂的 CPU 计算，而是等待，比如等待一个远程调用结束，等待一个文件写入结束等等。
对于这样的问题，有两种解决思路：
最后比较一下 Rate Limiting 和 Throttling。我也是不久前才区分清楚，以前我基本是把它们混在一起使用的。它们都是用来限流的，并且有多重不同的方式，可以是基于 fixed window，sliding window 等等。
但是它们的区别，本质上是它们工作的角度不同。Rate Limiting 是从 client 的角度来管理资源的，比如说，规定某一个/每个用户对于资源的访问不能超过一定的限度，因为资源不能让一个客户端全占了，这样其他人才可以有访问资源的权利；而 Throttling 则是从 service 的角度来管理资源的，比如说，规定某个/每一个 API 的访问 throughput 上限是多少，一道超过这个限度，请求就会被拒掉，从而保护服务。
和这两个可以放在一起的，其实还有一个 Circuit Breaker，不过 Circuit Breaker 的功能和这两个有较大区别，不太容易弄混，因此就不赘述了。
文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《四火的唠叨》