Kacam.net

プロダクト設計

这个实验能不能上线

一份「赢了」的实验报告摆在你面前,里面埋了四个坑。

プロンプトをコピーして、どれか一つを選んでください。答えを並べるのではなく、面接官として場面ごとに問い詰めてきます。

アプリを入れたスマートフォンなら、そのままアプリが開きます。WeChat の中では外部アプリを開けないので、先にブラウザで開いてください。

コピーした文章の末尾には採点用の答えが付いています。自分で先に読まないこと —— 自分で導き出せたかどうかが肝心です。

这一份的形式和别的不一样:它直接给你一份实验报告 —— p = 0.04,转化率相对提升 10%,结论建议全量上线 —— 然后问你批不批。

报告里埋了四个足以让结论完全反过来的问题,而它们都要你自己问出来:你不问样本量,它不会说;你不问护栏,它也不会说。

最后会问一句现实里一定会遇到的:老板说「橙色明显更好看,直接上吧」,你怎么回。 不接受「顶回去」,也不接受「那就上」。

★★★★★ · 約 40 分 · 問われるのは:样本量与 MDE、多重比较、新奇效应、被忽略的护栏

この一本が問うもの

実験の作法 根拠と数字 指標の設計

この問題はやったか

ログインすると「この問題はやった」を記録できます。次に来たとき、いつやったか分かります。

やった人の手記

まだ誰も書いていません。やり終えたら、そのやり取りで何が出てきたか書いてください —— どの場面で詰まったか、あとで変えた結論はどれか。

ログインすると手記を書けます。

使い方

模範解答はありませんが、明確な誤答はあります。成り立つ条件は三つだけ —— 各本の手札には「よくある誤答」の欄があり、必答点の一覧よりそちらのほうが役に立ちます。

成り立つための三条件

  1. 誰のどんな問題かを言える、**しかも根拠がある**(「ユーザーは欲しがるはず」ではなく)
  2. 何をもって成功とするかを言える、**しかもその数字の現在値も言える**(基準値がなければ検収もない)
  3. 代償と、何を諦めたかを言える —— **最も誤魔化しにくい一条**なので、どの本もここを突きます

始め方

  1. 問題を一つ選んで開き、プロンプトをコピーします。
  2. 新しい空の会話に貼ってください —— その問題を話した会話で始めないこと。
  3. 何も言わずに、最初の質問を待ちます。

途中でいつでも使える四つの合図

  • 跳过 すぐ次の場面へ
  • 提示 答えではなく方向だけをもらう
  • 直说吧 その点の答えを全部聞き、そのあとも代償を問い詰めてもらう
  • 复盘 すぐ締めに飛んで、振り返りカードを出してもらう

三つの落とし穴

  • すぐ解決策に飛びつかないこと。この一群の失点の半分以上は「聞く前に設計する」から来ます —— とくに「何を成功とするか」を決める前に機能を語ること。
  • 数を求められる覚悟を。「効果は上がります」「ユーザーは喜びます」は遮られます。どの指標か、いまいくつか、いつ見るのか。
  • 褒め始めたら鉄則の五つ目を見るように言ってください —— 肯定される感覚は「何を落としたか」を覆い隠します。

まず「北極星指標」を。以降すべての土台です。あとは手元の課題で選んでください:積み上がった要望が並べられない→優先順位、誰も使わない・継続率が落ちている→継続率と初回体験、値付けが要る→価格。「この実験を出していいか」は後回しに。「一行の要望を実装できる仕様に」は日々の仕事に最も近く、繰り返す価値があります。