外卖平台 Grubhub 在纽约做促销，free lunch day，当天中午 11 - 2 点之间每个账号可以无门槛减 $15。Grubhub 提前一周发了邮件通知餐馆，但显然通知的不到位、没有考虑商家的能力上限。当天，几乎每家餐馆收到的订单都远超负荷，很多只能停止接单，也无法服务好堂食的客人。当天的派送力量也不够，所以很多食物放在餐馆外没人领走。

结论：做双边市场，不能只考虑一边。

相关地，之前 Lyft 实验组发过介绍文章（eng.lyft.com/challenges-in-experimentation-be9ab98a7ef4），讲他们怎么做实验。他们作为双边市场，在用户层面做实验会遇到很大的干扰——补贴部分用户，这部分用户会影响供给，简单比较实验组和控制组会大幅高估实验的影响。解决方案是 1）给所有用户同样的体验，时间上前后做变化。但这样做实验的问题是同一位用户前后体验不一，所以 Lyft 不常用；2）拿整个地区做实验。A 地所有人一种体验，B 地所有人一种体验，对照组都是他们各自之前的情况，用人工方式算 counterfactual。

之前还听过 Amazon 和 Facebook 的比较，说 Amazon 因为法律上不能给不同用户不同价格，所以实验范围小于 Facebook，很多决定基于推算，而不是实验。当然了， 时间前后 Amazon 和第三方商家都经常改价格。