Kacam.net

Продуктовый дизайн

这个实验能不能上线

一份「赢了」的实验报告摆在你面前,里面埋了四个坑。

Скопируйте заготовку и выберите модель. Она будет вести себя как интервьюер и разбирать задачу с вами по действиям, а не выкладывать ответ.

ChatGPT Claude DeepSeek 豆包 Kimi Gemini

На телефоне с установленным приложением система откроет само приложение. Внутри WeChat внешние приложения не открываются — сначала откройте ссылку в браузере.

В конце скопированного текста лежит разбор, по которому модель вас оценивает. Не читайте его заранее: ценно именно то, что вы дошли сами.

这一份的形式和别的不一样:它直接给你一份实验报告 —— p = 0.04,转化率相对提升 10%,结论建议全量上线 —— 然后问你批不批。

报告里埋了四个足以让结论完全反过来的问题,而它们都要你自己问出来:你不问样本量,它不会说;你不问护栏,它也不会说。

最后会问一句现实里一定会遇到的:老板说「橙色明显更好看,直接上吧」,你怎么回。 不接受「顶回去」,也不接受「那就上」。

★★★★★ · около 40 мин · Что проверяется: 样本量与 MDE、多重比较、新奇效应、被忽略的护栏

Что проверяет эта

Методика экспериментов Доказательства и цифры Проектирование метрик

Делали эту задачу?

Войдите, чтобы отметить, что задача пройдена: в следующий раз будет видно, когда это было.

Заметки тех, кто уже прошёл

Пока никто не написал. После разбора расскажите, что из него вышло: на каком действии вы застряли и какой вывод потом поменяли.

Войти, чтобы написать заметку.

Как этим пользоваться

Образцового ответа нет, а вот явно неверные — есть. Предложение выдерживает при трёх условиях, и в каждом разборе есть раздел «частые неверные ответы», который полезнее самого списка обязательных пунктов.

Три условия

  1. Вы можете сказать, чья это проблема и какая, **и подкрепить доказательствами** (а не «мне кажется, пользователям захочется»)
  2. Вы можете сказать, что считается успехом, **и сколько эта цифра сейчас** (без базовой точки нет и приёмки)
  3. Вы можете назвать цену и то, чем пожертвовали, — **это подделать труднее всего**, поэтому каждая карточка охотится именно за этим

С чего начать

  1. Выберите задачу, откройте, скопируйте промпт.
  2. Вставьте в совершенно новый диалог — не в тот, где вы её уже обсуждали.
  3. Ничего не говорите. Ждите первого вопроса.

Четыре команды, которые можно бросить в любой момент

  • 跳过 сразу к следующей сцене
  • 提示 направление, а не ответ
  • 直说吧 раскрыть этот пункт целиком, а потом продолжать давить на цену
  • 复盘 перейти к финалу и выдать карточку разбора

Три ловушки

  • Не бросайтесь к решению. Больше половины потерянных здесь баллов — от «проектировать, не спросив», особенно от описания функций до того, как определён успех.
  • Готовьтесь, что с вас спросят цифры. «Станет лучше», «пользователям понравится» обрывают: какая метрика, сколько сейчас, когда смотрим.
  • Когда начнёт хвалить, напомните про пятое правило — чувство одобрения затмевает то, что вы упустили.

Начните с полярной звезды — она держит всё остальное. Дальше выбирайте по текущим делам: бэклог не упорядочивается → приоритизация; никто не пользуется или падает удержание → удержание и первый опыт; нужна цена → ценообразование. Разбор эксперимента оставьте на потом, а карточку «превратить однострочный запрос в спецификацию» стоит повторять — она ближе всего к повседневной работе.