• 游戏机制和数据驱动

    一位行业前辈对游戏机制的总结非常到位:通过核心玩法交付核心体验。

    这里的玩法可以不同维度进行拆解

    1. 游戏类型:益智、休闲、角色扮演、策略、模拟经营、冒险、射击、体育竞技等等
    2. 类型细分:比如益智类型又可以拆分消除、数独、卡牌、装饰、填词等各种

    核心体验的交付包括玩法设计和迭代两个阶段

    1. 核心玩法的设计:可以参考《游戏设计艺术》结合里面的各种棱镜进行核心玩法的设计,包括角色、操作、反馈、规则、经济系统、关卡、社交和多人机制(pve/pvp),确保游戏好玩,玩家可以进入心流体验
    2. 核心玩法的迭代:通常以下几种驱动方式,不同驱动方式可以组合
      • 活动驱动:通过活动设计、ip联运等提高用户活跃度
      • 内容渠道:关卡、场景、地图的拓展等,比如开心消消乐定期进行关卡拓展
      • 策略驱动:以消除游戏为例,通过uiue、算法难度控制、商业化变现策略等控制用户体验

    数据在核心玩法设计和迭代中可以发挥的作用

    1. 通过数据观测、分析指引玩法设计的方向
    2. 通过AB实验验证对比设计的优劣,一些典型的案例
      • 游戏难度控制:以消除游戏为例,通过填空算法、熵增算法、清盘算法为用户提供不同的体验,制造体验的波动性
      • uiue:对比颜色、动效、速度等不同交互设计,提升用户留存
      • 商业化:不同的广告形式、频次对比,在保障用户体验的情况下,创造更多商业化收益
  • 客户墙

    记录下不同角色在不同客户工作的情况

  • 我经历的行业和趋势

    任何行业的发展大概经历下面的曲线:

    不同阶段特点和发展策略:

    1. start-up 初创阶段偏好,CEO/COO摇篮,需要有敏感度、视野和开创精神,role-model
      • 芦义:英文名indigo,微博创业早期员工,后续经历很多赛道(也做过o2o -今晚有房?),目前集中在ai知识分享、风投和社区建设
      • 阿德:陈建闽,新浪微博growth hacking,360电商流量,去哪儿国际酒店负责人。 15年开始做pmcaff社区,也做一些投资孵化
    2. growth 技术驱动、资本驱动、打工比较舒服的阶段
    3. maturity 资本变现,开始cost-control体感变差
    4. decline 打工人疯狂内卷,及时远离

    聊一聊我这些年经历的曲线,大抵都是成长到成熟切换的时候进入。对应的行业或趋势:

    1. 高校扩招:97年(取消分配工作)/99年(面向21世纪教育振兴行动计划)高校开始扩招,招生规模从100w,到01年260w,到2025年本科招生规模达到500w,毕业生规模达到1200w
    2. 外企招聘:最早的外企员工应该90年代初,我在ibm的老板2005年左右加入,他们属于尝到最初外企红利的人(工资收入房价比很夸张,一个月工资可以买好几平房子),我在2008年加入外企,之后几年外企迅速让位给互联网公司,进入2020年之后考公考编又成为热潮
    3. IT咨询:华为引入ibm做ipd咨询,应该是it咨询在国内的标杆项目,过去的it咨询可能更多是外企之间的内循环,从07年实习到14年离开这个行业,已经感受到了行业衰退的趋势
    4. 互联网金融:2011年支付宝拿到互联网支付牌照,引爆了互联网金融(资金融通的基础设施),15年宜信、恒昌(2016年待了九个月)、拍拍贷等p2p把这轮互联网金融推行高潮(影子银行),随着坏账等引发了一系列社会问题,在2020年基本所有互金都转型科技公司、助贷公式
    5. 移动互联网:08年iphone4重新定义了手机,移动互联网进入快速发展阶段,微博、o2o、微信、手淘、头条等构建了当前互联网主要的产品形态,16年加入TD做大数据(移动互联网成熟,但是大数据应该还是在快速成长阶段),在数据行业探索至今
    6. 内容娱乐:18年圣诞节后加入快手(快手2011年成立,16年17年是快速发展的阶段,当时数据平台只有寥寥几十人,18年加入的时候7周年数据平台已经近百人规模,离开的时候快手10周年)
    7. 出海电商:22年1月加入Shopee(有虾选虾,无虾选腾,当时虾皮股价从巅峰400+回落到300左右)
    8. 人工智能:AI的发展历程最早可以追溯到1956年达特茅斯夏季研讨会,经历长时间的沉寂后,在大数据、搜索、推荐等场景找到应用,(17年在TD正式接触机器学习,19年在快手进一步加速了对大数据和机器学习技术栈的理解,24年在Shopee参与了Multimodal LM AIGC的项目,掉入博士堆😁)
    9. What’s Next:前面几个行业和趋势,个人基本在快速成长接近成熟(pre-maturity)的阶段介入,目前选择的方向是如何通过数据和AI重新定义移动休闲游戏

  • 暑期首个周末闪购大战

    官方成绩单

    美团订单量突破1.2亿

    淘宝订单量超8000万

    京东未公布,大概率还是小老弟

    个人订单

    个人周末订单情况:

    淘宝闪购,支付宝渠道价格由于淘宝88会员饿了么小程序,贡献两单,其中首单0元购,第二单10元

    京东外卖贡献两单,补贴20-15后客单5元

    美团闪购看了下补贴策略最鸡贼,好像没有什么羊毛,公众号有同学反馈kfc订单被自动取消(商家无反馈、大概率是美团骚操作了)

    算账这块还是兴哥最鸡贼(蒋凡花的不是自己的钱, 强哥要摆出大哥形象不能算小账)。

    美团股票连续多日下跌,今年累积跌幅超过20%了,补仓补到手麻了,不过对兴哥有信心,期待股价反弹。

  • 实验平台流量框架的设计

    经手的实验平台多了以后从不同公司流量框架的设计和应用中吸取一些经验,下面展开说下我的理解

    流量的理解

    AB实验需要通过对随机、同质、独立的流量施加不同的方案,通过实验观测看不同方案的优劣。所以第一步是对自己流量的理解

    1. 流量的生态包括哪些参与者,比如
      • 互联网中搜索引擎用户
      • 电商领域中买家、卖家
      • 内容领域中的消费者和创作者
      • 外卖中骑手、商家、买家
      • 游戏领域中玩家(又有玩法的区分比如PvP中玩家相互就不独立)
    2. 流量的随机性通常在流量框架中通过技术手段可以解决,比如hash分流、轮询分流等
    3. 流量的同质性正常在流量随机的过程中可以保障,在用户分布(画像、指标的分布)相对比较极端的场景需要进行同质性检验确保实验可信
    4. 流量的独立性在选择流量框架的时候需要重点考量,针对外卖、打车等场景简单随机无法保证流量的同质性和独立性,需要更复杂的流量框架或者分流算法

    流量框架的选择

    AB实验方法由Google引入互联网后,实验方法成为各大公司标配。实验的本质对随机打散的同质、独立流量施加控制。按照流量生态的差异大概沉淀出以下的流量框架

    1. 重叠流量框架,基于层域进行流量管理,被大多数互联网公司采样,可以参考Google论文 Overlapping Experiment Infrastructure: more,better,faster experimentation 重叠实验框架:更多更好更快的做实验 ,在实验配置的时候进行参数的冲突检测。
    2. 基于约束的流量框架,通常适合双边、多边业务形态的公司。由实验者制定约束,平台根据实验者制定的约束,确保无法避免潜在交互影响的实验没有同时曝光给用户。如微软、Uber等公司,实验平台都集成了检测交互作用的自动化系统,以避免实验间潜在交互影响。

    实践案例

    市场上实验平台的设计都要在充分理解业务流量的基础上,解决流量分配随机、同质、独立要求,具体的实现路径就是重叠流量框架(在实验的时候再进行参数冲突控制)、基于约束的流量框架(本质是一种提前进行实验参数冲突控制的策略)

    Google重叠流量框架以及四种实现

    不同公司按照业务的复杂度,可以选择figure a-d四种不同复杂度的流量框架实现。

    美团AB实验白皮书

    白皮书 中介绍了美团流量的特点、流量框架的设计,以及提供的一系列实验分析工具,整体上确保实验平台的科学可信。

    滴滴Adaptive分流

    参考:https://blog.51cto.com/u_15060460/2673616

    随机分流的过程中进行用户指标的平衡,增强流量的同质性

    分流单元定义和分流方法

    流量生态和流量框架的结合包括分流单元的定义和分流方法的选择。

    分流单元

    通常的分流单元可以包括以下:

    1. user_id 适用大部分互联网场景,包括device_id、cookie_id、uuid等类似标识
    2. request_id 适用商业化场景
    3. poi、Geohash等位置标识,适用O2O等场景

    分流方法

    1. hash分流,随机分流并且分流结果固定,通常在重叠流量框架中通过层id等加盐确保层间正交性、时间戳更新进行流量再打散等
    2. 轮询方法,在用户属性(国家、设备等)或者先验指标(例如ecpm)方差较大情况下通过轮询方法保证各组流量的同质性,通过随机进行轮询顺序的打散,通过cache确保流量进组的稳定性

    以上总结了实践中对流量生态理解、流量框架选择、以及具体流量框架实现中的一些考量。 关键要解决

    1. 流量的随机性、独立性、同质性
    2. 流量分配和参数控制中避免冲突

    从而确保流量框架的可信性、实验结果的科学置信。

  • Duolingo的游戏化设计

    Duolingo的游戏化设计在用户增长中扮演了重要的角色,相关的文章可以阅读Lenny对Duolingo CPO的访谈 https://www.lennysnewsletter.com/p/how-duolingo-reignited-user-growth

    这里重点提炼下Duolingo中的人物设计

    人物设计

    角色设计可以参考豆瓣 https://www.douban.com/group/topic/298233542/?_i=1167607crhy0FI

    深入学习过的同学对下面的描述应该不陌生:

    Duolingo教材中的角色有着丰富的人物关系,且随着课程推进,这些关系在不断发展变化,使学习过程更具情境性和趣味性。具体如下:

    • Eddy与Junior:二者是父子关系,Eddy是单亲爸爸,Junior性格厚脸皮,且似乎不太希望Eddy续弦。在课程中,通过一些家庭场景相关内容,如Eddy的约会经历、家里鹦鹉引发的故事等,展现了他们之间的亲子互动,随着课程推进,能让学习者感受到他们之间既有父子间的关爱,也有因单亲家庭状况产生的一些小矛盾和相处趣事。
    • Lin与Lucy:Lucy是Lin的祖母,Lin是华裔自由职业者,兼职DJ,蹭住在祖母的公寓好几年。课程中会通过家庭生活相关情节,如Lucy忘记登录密码,Lin帮她回忆相关信息等故事,体现出祖孙间的亲密关系以及Lin对祖母的陪伴与照顾,随着学习深入,还会涉及更多关于她们家庭过往、生活习惯等方面的内容,进一步丰富这种祖孙关系的刻画。
    • Eddy与Oscar:两人是同事关系,Eddy是体育老师,Oscar是美术老师。课程里可能会有学校相关场景,比如他们在学校的交流、共同参与的活动等,随着课程推进,会展现出他们在工作上的合作与交流,以及因不同学科背景和性格产生的一些有趣互动,如Oscar给花粉过敏的Eddy送花等情节。
    • Lily与Oscar:Oscar是Lily的美术老师,在艺术相关课程或场景中,会体现出师生间的教学互动。Lily是个高冷的16岁少女,Oscar则是精致的人,随着课程进展,可能会有Lily在美术学习上的成长、她与Oscar在艺术观点上的交流或碰撞等情节,进一步深化师生关系的展现。
    • Bea与Lin:Bea是Lin的好友,且官方设定中Bea是双性恋,在Bea的小故事里有和Lin约会的日程,疑似有暗藏的感情线。课程中会通过朋友间的日常活动,如一起出去玩、分享生活等场景,展现她们的友谊,随着课程推进,可能会对她们的关系有更明确的表述,或者有更多关于她们共同经历的故事,丰富朋友关系这一情节线。
    • Zari与其他角色:Zari是一个对所有事情都保持狂热的女孩,喜欢除鹦鹉之外的各种动物,还喜欢韩团BTS。她与Lily都是Oscar的学生,在学校相关课程场景中,会与Lily等角色产生互动,如一起参加社团活动等。随着课程推进,可能会围绕Zari的兴趣爱好,展开更多与其他角色的交集故事,比如和Lily分享音乐喜好,或者与Eddy讨论动物相关话题等。

    人物对英语学习场景的覆盖

    • 家庭生活场景:Lucy 作为祖母,可引出家庭称谓、长辈交流、家庭活动等相关话题,如谈论节日家庭聚会、日常祖孙相处等。Lily 也有自己的家庭相关设定,其家庭成员包括父母、弟弟等4,能让学习者学习到描述家人外貌、性格、爱好等方面的语言表达。
    • 学习与兴趣场景:Oscar 作为戏剧老师和国际象棋教练,可帮助学习者掌握与兴趣爱好、技能学习相关的词汇和表达,如戏剧表演术语、国际象棋规则等。Eddy 作为健身爱好者,能引导学习者学习健身相关语言,如健身动作、健身房设施、运动计划等。
    • 社交与日常场景:Lin 和其好友 Bea 的设定,可用于构建各种社交场景,如朋友聚会、外出游玩、分享生活等情境下的对话。Lily 则可通过 “视频通话” 功能,模拟日常社交中的各种对话场景,帮助学习者提升日常交流能力11。
    • 青少年生活场景:Junior 若为青少年角色,可展现青少年的生活状态,如学校生活、课余活动、与同龄人交往等,让学习者学习相关的语言表述,更好地应对青少年相关的交流场景。

    One More 开心消消乐中的小动物

    以下是关于《开心消消乐》中小动物设计的介绍:

    • 形象设计
      • 外观造型:游戏选取了多种可爱的动物形象,如小熊、小鸡、青蛙、狐狸、猫头鹰等。这些动物被设计成Q版卡通风格,线条简单流畅,身体比例夸张,头大身体小,符合大众对可爱形象的认知。它们都有着圆润的身体、大大的眼睛和生动的表情,如小熊的憨厚、小鸡的活泼、狐狸的机灵,让人忍俊不禁。
      • 色彩搭配:小动物们的颜色鲜艳且具有高辨识度,每种动物都有其代表色,如棕色的小熊、黄色的小鸡、绿色的青蛙、红色的狐狸、紫色的猫头鹰等。这些颜色不仅符合人们对动物的固有认知,还能在游戏界面中形成鲜明对比,方便玩家快速识别和区分不同的动物。
    • 性格设计
      • 莱萌鸡:善良可爱,有着圆润的身材、肥嘟嘟的小脸和萌萌的大眼睛,看起来十分招人喜爱。同时,它还聪明好学,智商不输给其他小动物,喜欢学习新东西,还会炫耀自己学会的小技巧,如简单的数学、模仿人们说话等,展现出活泼开朗的一面。
      • 么么狐:性格非常活泼、开朗和善良,总是充满活力,热爱生活,喜欢和别人交朋友,善解人意,经常给别人带来欢乐和帮助,但有时候也会有点调皮捣蛋,或者过于天真幼稚。
      • 紫咪小鹰:原型是猫头鹰,被塑造为一个心地善良的男孩,天真可爱、慢热单纯,还是个呆萌害羞的小吃货。
    • 功能设计
      • 基础消除功能:每个小动物在游戏中都承担着基础的消除任务,玩家通过滑动屏幕将三个及以上相同的动物连成一线即可消除它们,这是游戏的核心玩法,简单易上手,却又充满乐趣和挑战。
      • 特殊技能功能:部分小动物还拥有特殊技能,能帮助玩家更轻松地完成关卡任务。例如“魔力鸟”,它可以与其他动物交换,消除屏幕上所有该种动物;还有一些小动物在特定组合下可以生成直线特效或爆炸特效,分别能消除一行或一列的动物,或者在一定范围内引发爆炸消除周围的动物。

    启发

    人物和场景化的设计是低成本进行内容实验的很好切入口。

    另外Google labs推出了Little Language Lessions,评论反馈在场景化教学上Gemini AI 较Duolingo BirdBrain更胜一筹,有兴趣的可以试试。

    https://blog.google/outreach-initiatives/education/little-language-lessons

  • AB实验平台功能列表

    典型的AB实验平台建设功能列表,可以参考:

    需求大类具体需求需求分类交付物优先级相关人备注
    业务理解流量控制文档调研报告P0业务团队AB产品&后端业务服务端流量控制&实验方法:正交,互斥,缓存(加锁),继承,条件筛选
    实验配置文档接口规范(AB后端)P0AB产品&后端业务服务端配置文件格式和schema
    实验配置配置管理功能配置后端(AB后端)P0AB产品&后端配置管理员按照配置协议进行配置管理
    配置分发功能TRD+分流服务P0AB产品&后端业务服务端AB后端提供分流接口、分流算法、缓存加锁(按需)业务服务端接入、返回客户端
    概念抽象文档PRD+系统功能P1AB产品项目,层,实验,分组,参数,条件等
    实验管理实验列表功能PRD+系统功能P2AB产研实验列表以及实验管理功能(启停、扩缩、分组管理、参数管理、版本管理、审批、通知等)
    创建实验功能PRD+系统功能P2AB产研实验设计模板 ,包括 设计 目标 条件 埋点 指标 白名单 冲突检测等
    权限管理功能PRD+系统功能P2AB产研鉴权和数据隔离
    参数管理功能PRD+系统功能P3AB产研业务产研实验参数体系,提高实验效率,构建实验知识库
    最小样本量功能PRD+系统功能P3AB产研分析师/DS依赖指标体系和实验分析方法支持
    流量检验功能PRD+系统功能P3AB产研分析师/DS依赖指标体系和实验分析方法支持
    流量监控功能PRD+系统功能P2AB产研数仓进量监控、进量控制等
    数据链路埋点文档埋点规范P0客户端分析师数仓埋点确认以支持实验分析
    数据同步数据同步任务P1数仓分析师确保埋点事实数据落库、实验跟踪数据落库,支持实验分析
    数据建模数据数据资产P0数仓分析师分层的数据资产ods dwd dws ads dim
    指标计算指标计算数据计算任务P1AB产研数仓预计算vs实时计算
    指标定义功能PRD+系统功能P3AB产研数仓分析师分析师对口径负责
    实验分析实验看板功能PRD+系统功能P0AB产研分析师数仓基础看板支持实验分析
    多维分析功能PRD+系统功能P3AB产研分析师数仓支持多维分析(指标和数据体系的迭代增强)
    置信分析功能PRD+系统功能P3AB产研分析师/DS数仓置信区间、P-value或者胜出概率
    置信计算数据计算任务P3AB产研分析师/DS数仓数据资产确保支持统计量的计算
  • 时隔15年再读《咨询的奥秘》

    07年入行咨询,在GBS做it咨询的时候前辈推荐了温伯格的《咨询的奥秘》囫囵吞枣的阅读有一些启发,后来进入互联网十年,目前又开启企业咨询工作,有很多新的共鸣。

    近期再次阅读的读书笔记摘录如下:

    咨询的奥秘

    第一次接触温伯格咨询的奥秘应该是在十几年前,在ibm做咨询顾问的时候,应该也是行业前辈的建议。

    咨询顾问的工具箱 – 当时估计是一点点都没有读懂。

    2025年开启了自己的数据咨询,再读温伯格的咨询的奥秘 有了很多启发、体会、指引。

    如何起步 – 咨询为什么这么难 challenge & preparation

    1. 不单单是咨询的奥秘,而是寻求和提出建议的智慧
    2. 咨询的定义:应人们的要求去影响他们的艺术。
      1. 别人的要求是触发咨询的前提 – 很多时候咨询和管理是一对冤家,矛盾体。 请咨询顾问就是在否定目前的管理者。 这个是咨询必须先跨过去的槛。
      2. 产生影响是交付
      3. 这个过程中的艺术;engage、influence中的艺术奥秘是咨询顾问需要掌握的。
    3. 咨询难-engage 舍比咨询定律 – 同步在飞书也有一些记录
      1. 咨询vs经理的对立关系(竞争关系)
      2. 第一定律 问题总是有的,不论客户、经理怎么说 (对管理、经理来说最糟糕的事情是承认自己有问题 | 咨询顾问永远不要承诺超过10%的改进,这种改进可以不被视为问题 )
      3. 第二定律 不管问题怎么样,根本上都是人的问题 (技术问题来遮掩人的问题 | 不管客户在做什么都建议他做点别的 – 还是解耦人)
      4. 第三定律 不要忘记客户是按小时付费的,而不是解决方案(从it咨询、解决方案中走出来 | 解决方案不是顾问的最核心价值,如果客户想解决问题他们早就有解决方案了 | 功劳是谁的? 哪些归功于客户、看起来什么都没有做成的顾问才会再次受到邀请 | 关键在于 – 顾问在场的时候客户把问题解决了 | 对顾问来说,关键在于拿到钱,所为的成就感可以用独行侠幻想来填充下 – 有时候经理得不到老板认可的时候也需要一些独行侠幻想)
      5. 第四定律 no request no consulting 如果别人没有请你帮忙,不要帮他们解决问题 (不请自来是一种病,对你的银行账户没有帮组) — 华与华咨询 经常砍客户是这么来的么?? 如果没有客户那就精进自己,show your face总归能有客户来)
    4. 赚钱和帮助别人 – 树莓酱定律
      1. 顾问需要靠客户来执行
      2. 咨询之顾问、培训师、演讲家、作家 – 影响力越来越大,赚钱越来越多,但是 帮助越来越有限(树莓酱摊薄到没有味道)
    5. 温伯格双胞胎定律 – 大部分情况你改变不了什么
      1. 对心理学家的吐槽 – 一半一半的准确?甚至低于普通人对天气的预测 | 大部分人的行为,都可以简单的进行预测
      2. 大部分时间、大部分地方,无论多么努力,都不会有大事发送 | 对下一刻最好的预测就是和上一刻做一样的事情
    6. 咨询的困难定律 – 能力范围内解决一个个当前最大的问题
      1. 黄萝卜理论,当你优先解决最大的问题,另外一个最大的问题就蹦出来了(原来的二号问题升级了)
      2. 困难定律:最顾问,要能接受失败
      3. 更困难定律:没有问题就要创造问题 (否则没饭碗啦 随时有备选的二号、三号问题,但是当下先无视这些问题 – 脸皮厚吧)
      4. 最困难定律:帮助自己比帮助别人更难(把客户咨询融入到提升自我的过程中)

    咨询实操 – 矛盾的思维框架 被需要-合理性-妥协折中-橙汁测试 | 咨询的奥义交付确定性(给客户那个想要的确定性)

    1. 什么时候顾问被需要 – 逻辑不管用的时候(理论无法推行的时候,需要顾问来论证正确或者让正确发生)
    2. 顾问永远需要面对矛盾,所以不要理性(客户没有逻辑和理性的时候,理性的顾问必然犯错),要合理 (结构性问题的结构性解法)
    3. 优化强迫症和折中图 tradeoff charts(运动的速度-距离约束问题);任何行业都有compromise折中,顾问必须了解它们,并唤起客户的注意;常见的折中 – 时间折中(会议中的反对意见是立即处理还是和所有与会人商议、或者安排一个后续的followup – 把问题限定在缺乏时间上,而不是缺乏尊重)、现状与变化的折中(罗纳德·费希尔定理,适应现状与适应变化的取舍; 当前的确定性和未来的风险点; 风险偏好的变化以及顾问在解决第三个问题的时候最有成效—获客阶段顾问灵活应变-随着合作的深入提供低风险建议-最后顾问更适应环境不太可能提出伟大的想法了 — 告诉客户第三次的魔咒,不要在第一二个问题上就把顾问开了。。。。)
    4. 橙汁测试,长期有折中疗法,短期需要通过橙汁测试(你拿到合同是因为你通过了橙汁测试 – 正确答案是, 我们能做,这个是需要的费用! 不是知难而退也不是满口答应,而是给出大概的具体费用,客户决定这个报价是否值得)-橙汁测试最重要的意义在于给出了确定性,剩下就是匹配工作了

    咨询实操 – 高效

    1. 伯登法则 – 要是你不能改掉缺点,就把它变成特点 (蹩脚裁缝做的衣服让你走起来像个瘸子; 程序员最擅长的工作是屎上雕花 – 把缺点变成特点,保住自己的饭碗; 制药企业的副作用变主功效; 汽车旅馆用浴霸解决潮气问题; 汉堡和热狗的特供肉品; 水井变油井; 长满斑点的香蕉最好吃; 镀金和反镀金 -所有镀金的东西都需要改进 -镀金可能会伤害你的客户关系导致不信任,这对顾问是致命的 -顾问在客户面前要低调一些; 伯登法则出发点利己,但合理的利用也可以利他)
    2. 专家到顾问遇到的挑战 – 会议室中的大象(专家和问题的匹配 – 盲人摸象 很多时候客户可能找错专家了 ; 这时候一些普适的奥秘,有时候对专家可能比领域知识更重要)
    3. 医学No.1 秘密 – 90%的疾病会自愈,根本用不着医生插手; 医学之父希波克拉底的教诲是避免伤害病人; 你的客户是一个有自愈能力的有机体么? 尽量用无创的治疗方法
    4. 医学No.2 秘密 – 青霉素解决剩下的90%的问题; 反复的治疗一个可以自愈的系统,会导致系统丧失自愈能力;
    5. 医学No.3秘密 – 处方包括药品和正确的使用方式(你知道小朋友的阿奇霉素如何服用吗? 服用栓剂的粗心病人); 对咨询行业来说,处方=合同,记得先签合同再给处方
    6. 医学No.4秘密 – 值得客户换个方法试试,总是能有效果(从心理学、统计学角度,任何方案往往都至少有50%正确)-如果已经做过的事情没有解决问题,就让他们做点别的
    7. 医学No.5秘密 – 务必让客户付钱,这样他们才会照你说的去做 (乐信圣文的廉价交流 – 这种餐桌交流是对咨询的侮辱和伤害)
    8. 医学No.6秘密 – 来得早不如来得巧 (运气。。 时机决定一切)

    咨询实操 – context 有什么(问题) 没什么(解决机制)

    1. 锤子定律:有一把锤子的孩子认为所有的东西都需要敲打
    2. 了解历史:吸收过去的教训,找到被大家忽视的地方,更熟悉组织、系统和环境
    3. 问题是什么 – 解决问题:第一步是不要妄下结论(当前的混乱可能有当时的理由、导致问题的人还在就是你的客户或者你客户的老板);越接近找出造成问题的人,解决问题的机会越小
      1. 保持简单,不要太详细,你是顾问,不是律师(避免落入指责客户的陷阱或者两难)- 少问、多听;研究是为了理解,而不是批评;现状中找到你喜欢的东西并加以赞美(和客户建立好关系);不好的东西会自己浮出水面,甚至元凶自己都会承认
      2. 拿到信息,就不用愁饭碗了; 客户往往用顾问照镜子;
      3. 规避为什么的诅咒;很多时候不要陷入为什么,尤其面对客户的问题或者遮掩的时候不要穷追猛打
      4. 透过表面;标签和本质;不要被标签欺骗,顾问要全面、升维看待问题(咨询从定义问题开始);
      5. 信息过载 & 客户知道怎么解决问题,并且会在头五分钟讲出来 (需要顾问的引导,信息的引导和定向,有经验的顾问-听客户讲五分钟大概就知道解决思路了)
    4. 没有问题,还是没有发现问题的机制; 客户不同团队之间的差异可能就是你的解决方案或者建议
    5. 问题解决机制,可以从问题的分布开始
      1. 优先解决最大的问题,当最大问题占比不高的时候 – 已经完成了初步的优化(或者你可以对客户说,目前没有什么大问题了)
      2. 优先解决最大的问题很诱人,但是对应解决方案难寻 – 好的思路是把问题变小(逐步累积用户的信任)、建立客户自己解决问题的机制(可以从小问题开始)
    6. 问题解决机制,从问题的历史着手 (重要紧急四象限)
    7. 问题解决机制,从客户的求助开始(咨询的起点)
    8. 问题解决机制,顾问自身的局限(多多积累、迁移、求助、推到极限、越过边界、放轻松、从相似出发、不一致的洞察)

    咨询实操 – pitfalls control constraint

    1. 陷阱
      1. 远离麻烦:礼物(背后是什么)
      2. 打造警钟系统:便条、卡片、他人、信号、潜意识
    2. 控制 控制变化 — 缰绳是什么?
      1. 重大变化是如何发生的 – 卤水与黄瓜 (谁发生了重大变化) 最大的变化发生在想要努力保留的东西,这个东西可能改变最大 (想努力待在家里,但是需要钱支持,于是到处漂泊赚钱)(想要到处旅行,但是需要钱支持,于是帮人留守打工)
      2. 潜移默化的影响和改变 – 小系统改变大系统?不建议顾问长期泡在一个客户,需要引入一种变化,能长期对客户产生影响
      3. 流浪者与留守者 – 努力留在家让你成为流浪者;努力去旅行让你成为留守者;为你最珍视的东西奋斗,会让你远离你珍视的东西;
      4. 失去一个东西的最好、最快办法就是努力留住它 (工作、咨询、家庭都是这样)→ let it go !
      5. 控制微小的变化 – 持续的迭代 & 对本真的坚持(核心玩法、核心体验)
      6. 警惕合成谬误 坚守的东西是否对?
        1. 看电影第二排到最后一排都站起来了(想要看清楚,站起来,所有人都站起来了,还是看不清楚);
        2. 抵制让得分膨胀的策略(想要玩家留下了,得分刺激,过度刺激,用户反而丧失兴趣);
        3. kfc配方(想要赚更多,每次优化一点调味料,缩减成本,最终口味下降,反而赚更少的钱)
      7. 顾问给出建议,但是不承担结果,被人诟病(顾问要做大脑实验,把自己带入进去,考虑下成本和后果)
      8. 安全的进行改变
    3. 限制

    咨询实操 – 扩大影响力 engagement & promotion

    1. 走在客户前面
    2. 晃动卡壳的系统 – 让问题暴露,又不过分暴露
    3. 教导客户 -盲人摸象,改变认知-知识,改变意识-目标,看到内部行为,看到感受
    4. 成为大牛 – 专家优势

    咨询实操 – pricing & trust convince

    第三方解读

    成甲 —如何在理解人性的基础上,用系统思考解决问题

    第一,解决问题的第一步 是理解人的感受;

    第二,显而易见的问题往往远离真相;

    第三,如何避免解决问题的时候带来更多风险。凡是建议,必有变化;凡是变化,必有风险。每次只改变一件事情,这件事情要安排在非关键任务上进行磨合,逐步提升效率,同时要考虑可能失败的情况,为此留下备选方案

    一次解决一个问题(用ab实验的方式做咨询)

    保证归因、效果。

    可以在多线解决正交问题:

    1. 当前执行的问题
    2. 当前最重要的问题(解决后转入执行阶段)
    3. 下一个重要问题

    避免过于复杂的设计

    难落地

    难理解

    草台班子

    阿里云的低水平错误

    纺织信息中心安排的会员日,主办方不嫌丢人可以更垃圾、下作

    去ioe 国内的软件服务商超级低水平 实习生写erp交付erp 这能忍?

    用一个细节抓住你的客户

    第一阶段 体系化的东西

    第二阶段 多多的案例

    第三阶段 举重若轻 举轻若重 随心所欲

  • AB实验介绍

    本文来源2022-09在Datafun上做的关于AB实验平台建设的分享。

    为什么我们需要AB实验平台

    A/B 实验应用作为论证的黄金方法,目前已经成为很多企业必然的选择,但是实际上如何在企业内部去建设实验平台,还充满了很多选择路径。目前的实验平台,包括在线实验的数量,已经成为衡量互联网公司体量、业务量以及用户量的一个隐藏指标。一些大厂的实验平台,同时在线实验数量超过 10000,可能每个月新建的实验数量都会大于 1000。

    AB实验是论证的黄金方法

    上图列出了一些数据分析方法,比如案例研究、观察研究、类实验、随机控制实验,以及统合分析,即结合随机实验和观察研究去做一些综合分析。

    这几层分析方法中存在一些通用的因素,首先,样本是定向的样本还是随机的。第二个是有没有控制,比如最下面的案例研究是没有控制的,它可能针对一个群体做分析,而 AB 实验天然会分成对照组和实验组,是有控制的。最后一个就是实验结论是否可以复现,是否科学。这三个因素的不同导致了整个分析方法可信度的差异。从下往上,可信度逐步提升。AB 实验是分析成本最低的一个方法,可以通过工程化的方法来提效,通过 AB 产品化的方式来降低使用门槛。

    AB 实验有三个主要的特点:

    1. 先验性,用事实说话,可以通过小流量低成本来得到一些结论。
    2. 科学性,实验分析时会用到假设检验的方法,相对来说是比较科学的。
    3. 推断性,通过随机流量控制可以排除混杂因素的干扰,聚焦到我们的控制变量和实验策略上。

    当然AB实验也不是万能的,一些适用和不适用场景:

    1. 适用场景
      1. 产品迭代
      2. 用户运营
      3. 算法优化
      4. 营销和用户增长
      5. 商业化
    2. 不适用场景
      1. 战略或者重大决策
      2. 缺少数据或者样本的情况
      3. 商业、道德、技术的限制

    AB实验的定义

    AB 实验源于假设检验。我们在线上流量中取出一小部分(较低风险),完全随机地分给原策略A和新策略B(排除干扰),再结合一定的统计方法,得到对于两种策略相对效果的准确估计(量化结果)。

    这一套基于小样本的实验方法同时满足了低风险,抗干扰和量化结果的要求,因此不论在互联网产品研发还是科学研究中,都被广泛使用。

    真实的业务场景,例如客户端交互实验、搜广推策略实验等场景承载大量的DAU,每天大量新的功能、算法及其他等待上线,一方面业务人员无法承担其中任何一个错误特性直接影响用户体验、商业收入的严重后果,另一方面业务人员又希望能够分离并量化每个特性的影响。

    因此,我们需要设计并坚持使用一套数据驱动的方法,使得业务人员可以以较小的风险对新feature进行评估,积极试错积累经验;并且我们设计的该方法有能力排除其他因素(比如同时开发的其他feature以及时间因素等)的干扰;最后,除了‘好’或者‘不好’,我们希望这个方法最好也能够给出 定量的结果。

    为了解决上述问题,普遍使用的方法论是小流量随机实验,也就是我们常说的AB实验。

    AB实验包括三个核心要素:流量、干预、效果,其中流量满足:

    1. 同质性:控制组和实验组的样本同质(消除偏差)
    2. 独立性:符合样本独立稳定假设(SUTVA)即样本之间不应该有干扰
    3. 可控性:通过随机分流消除所有已知未知因素的影响,聚焦当前干预方案

    同时实验设计三原则(由统计学家费希尔提出):区组,重复,随机。

    实验平台的选择

    整个 A/B 平台的建设,主要有两个思路,第一个就是直接采购第三方平台;另外一个就是自建平台。

    国内目前比较好的第三方产品,比如火山引擎,无论是产品 feature 还是整个应用情况都比较好,因为它是基于自己内部的最佳实践。另外腾讯也开放了第三方平台。热云、神策数据也提供了 SaaS 的实验平台。国外的厂商也比较多,像 VWO 实验测试平台、谷歌的 Optimize、源自Meta的Statsig以及 Optimizely 等等,都是一些比较有竞争力的产品。

    第三方平台通常适用于用户体量比较小,数据跟分析的基建还相对比较薄弱的公司。通过第三方平台的使用,提升公司内部数据以及分析的认知。

    用户行为分析和 A/B 实验是紧密联系的,因为它们都是基于用户的行为,让用户来告诉我们答案,包括底层的一些分析引擎、存储引擎的等基建也都是可以复用的,这也是火山引擎的 A/B 测试和分析能力,和用户行为分析能力都是紧密耦合在一起的原因。

    对于公司自建平台,国内主流的一些互联网厂商也都有很好的实验平台,比如滴滴、美团、阿里、网易、新浪微博等,甚至有一些公司内部有多个实验平台。国外的微软、谷歌也都有非常有特色的实验平台。这些公司也都是用户体量比较大,实验场景多,数据分析基础比较强的公司。在自建实验平台的时候,如果公司业务体量大的话,不同的业务可能结合自身的需求都建过一些实验平台了,这时候还要推动平台从 N 到 1 的建设。在新建平台时,就要考虑业界的最佳实践,同时还要考虑业务方的独特诉求。这样在公司内部推行实验平台的时候才能顺畅,并且最终可能变成全公司通用的实验平台。

    实验平台案例及效果

    业界一些实验平台建设案例和应用效果:

    1. 美团 配送AB评估体系建设实践可信实验白皮书系列 亮点-双端三端的流量均匀匹配
    2. Uber Uber的 A/B 实验平台搭建 亮点-统计分析引擎适配各种指标和统计分析方法
    3. 快手 快手因果推断与实验设计 亮点-因果推断toolkits
    4. 腾讯
    5. 微信 微信实验平台的指标计算架构 亮点-指标计算
    6. 虾皮 电商领域AB实验平台建设方法 亮点-如何从N到1构建统一的实验平台
    7. 得物 得物AB实验平台数据驱动决策实践得物实验平台的演进 亮点-演化过程帮助避坑
    8. Vivo Vivo实验平台霍金设计和实践 亮点-协变量分流方法

    如何设计一个AB实验平台

    实验平台包括流量框架、实验管理以及实验分析等模块,同时需要相应的埋点TMS、数据工程的支撑。

    相关链接

    1. B站分享视频 https://m.bilibili.com/video/BV1VW4y1e71L
    https://m.bilibili.com/video/BV1VW4y1e71L
    1. 墨天伦 https://www.modb.pro/doc/112112
    https://www.modb.pro/doc/112112
    1. 文字稿 https://www.51cto.com/article/750351.html
    https://www.51cto.com/article/750351.html
  • 关于ABTest咨询服务

    Google、Microsoft、Facebook等互联网公司将AB实验的方法从医学领域引入并获得了巨大的业务收益。AB实验逐渐成为互联网公司最佳实践。

    本人经历多个公司AB实验平台的迭代,包括内容行业快手、电商行业虾皮。关于平台搭建、运营以及实验设计、实验分析积累了一些经验。在业界交流中发现大量中小公司也有AB实验平台建设和应用的诉求,结合近期的咨询案例,如果咱们有下面的需求欢迎沟通。

    1. ABTest培训,介绍实验方法、平台建设和应用案例
    2. ABTest设计,基于业界最佳实践,结合公司业务进行实验平台建设规划
    3. ABTest建设和运营陪跑,帮助公司搭建平台并真正让实验成为驱动业务增长的基础设施