活动预告：七猫 AB 测试分享&培训

秦皓 -

活动详情

目前  AB 测试广泛应用于七猫业务迭代中，为了让大家更好地掌握 AB 测试相关知识、熟练地使用 AB 测试系统，七猫 AB 测试团队将于近期组织关于 AB 测试的分享与培训。

讲师团队

AB 测试产品与研发

培训对象

业务需要接入 AB 测试的产品、运营及研发同学（希望能听完 5 节课）

培训目的

  1. 介绍七猫 AB 测试系统，帮助大家快速掌握系统使用方法与配置流程；
  2. 帮助大家熟悉 AB 测试设计与分析方法，包括实验适用范围、设计方法、结果分析对比、基础理论等；
  3. 期望通过培训，让大家对 AB 测试有更全面、专业的认知，以期持续改进七猫 AB 测试系统。

分享内容

一、AB 测试及理论介绍

  1. AB 测试简介
  2. AB 实验涉及的子系统介绍
    2.1 客户端与服务端
    2.2 SDK 及分流服务
    2.3 埋点系统
    2.4 大数据系统
    2.5 AB 实验后台七猫
  3. AB 实验后台介绍

二、如何科学的做实验？– 规范指导

  1. 确定目标和假设：好的目标和假设是什么？
  2. 确定指标：指标这么多，应该如何来进行选择？
    2.1 核心指标
    2.2 护栏指标
    2.3 指标的波动性
    2.4 选取指标的具体方法选
  3. 取实验单位：什么样的实验单位是合适的？
    3.1 实验单位的分类
    3.2 确定实验单位的三大原则
  4. 选择实验样本量：样本量越多越好吗？
    4.1 Power 值
    4.2 影响样本量的因素
    4.3 如何估算样本量

三、如何科学的做实验？–  实际上手

  1. 根据上一节课案例流程串讲
  2. 实验后台创建配置流程实操
    2.1 创建场景、实验
    2.2 选择实验指标
    2.3 分配实验流量
    2.4 设置过滤规则
    2.5 设置报警规则
    2.6 设置指定用户
  3. SDK 接入流程及使用演示
    3.1 AB SDK 对接
    3.2 服务端日志上报对接

四、AB 实验报告解读（一）

  1. 实验结果分析前的准备
    1.1 合适可以查看实验结果
    1.2 合理性检验
  2. 实验报告分析
    2.1 报表的分析
    2.2 实验用户诊断
  3. 试验结果不显著该怎么办？
    3.1 增加样本量来提高 Power 值
    3.2 减小方差来提高 Power 值

五、AB 实验报告解读（二）

  1. 常见误区及解决方法
    1.1 多重检验问题
    1.2 学习效应
    1.3 辛普森悖论
    1.4 实验组/对照组的独立性
  2. 什么情况下不适合做 AB 测试？
    2.1 无法控制想要测试的变量时
    2.2 当有重大事件发布时
    2.3 用户量很少时
    2.4 替代方法
    2.4.1 倾向评分匹配
    2.4.2 用户研究
  3. 重点回顾与总结

欢迎大家前来聆听，共同学习共同进步，让数据更好服务于业务！