把“没有做活动的日子”当作自然增长基线,把“活动开始后的增量”当作集中触达效果,是常见做法。但个别渠道样本成立,不代表全量成立——当活动同时覆盖多个入口,自然增长会被活动流量污染,两条曲线无法直接相减。所以先要确认观察口径是否隔离,再决定能不能合并看。
假设某APP上线推广时,先在一个小渠道做测试:连续七天不做活动,记录每天新增激活;第八天开始投放一轮集中触达,同时观察新增变化。测试期内,非活动日新增稳定,活动日新增明显抬升,于是判断“活动有效,自然增长稳定”。
这个结论只在该渠道、该时间窗成立。放大到全量后,可能出现两个例外:一是活动触达的人群本身就包含原本会自然来的用户,增量被高估;二是活动期间自然渠道的曝光被活动素材挤占,非活动日的基线反而下降。此时两条曲线不是相加关系,而是互相干扰。
自然增长观察的是“没有额外集中触达时,产品自身带来的新增与留存”。活动集中触达观察的是“在特定时间窗内,集中曝光或激励带来的额外行为”。两者可以共用同一套埋点,但不能共用同一个汇总数字。
如果活动日新增上升,至少有三种合理解释:活动确实带来了新用户;活动触达了原本就会来的用户,只是提前了行为;自然渠道同期本身在上升。要区分它们,需要看活动标识来源占比、活动前后自然来源的波动,以及同一用户是否在活动前已有自然触点。
一个实际动作是:在活动开始前,先给自然来源打上独立标识,活动期间不改动该标识的归因规则。活动结束后,对比活动标识来源的新增和自然标识来源的新增。如果自然标识来源在活动期间明显下降,说明活动可能挤压了自然入口,下一步应检查活动素材是否覆盖了自然入口的展示位,而不是直接加大活动预算。
小样本测试成立的条件通常包括:渠道单一、时间窗短、活动素材没有覆盖自然入口、用户重合度低。规模化后,这些条件往往不再满足。此时不能把测试期的增量比例直接套用到全量,也不能因为某天自然增长数字归零就断定自然增长消失——归零可能只是埋点口径调整、统计延迟或活动标识覆盖了全部来源。
更稳妥的做法是保留一段“无活动对照期”,并在活动期间单独观察自然标识来源的绝对量,而不是只看它占大盘的比例。比例下降不一定代表自然增长变差,可能是活动把大盘撑大了。
假设情境中的测试结论之所以不能直接照搬,是因为它只证明了“在该渠道、该时间窗、该素材覆盖范围内,活动日新增高于非活动日”。它没有证明自然增长在全量下仍然独立,也没有证明活动增量可以线性放大。把观察口径拆开之后,才能判断下一步是调整活动素材、更换渠道,还是先修复自然入口的展示。