Kacam.net

Design di prodotto

这个实验能不能上线

一份「赢了」的实验报告摆在你面前,里面埋了四个坑。

Copia l'istruzione e scegli un modello. Farà l'intervistatore e ti interrogherà atto per atto invece di servirti la risposta.

Su un telefono con l'app installata, il sistema apre direttamente l'app. Dentro WeChat i collegamenti non aprono app esterne: aprilo prima in un browser.

Il testo copiato finisce con la griglia di correzione che il modello usa per valutarti. Non leggerla prima: vale l'averci arrivato da solo.

这一份的形式和别的不一样:它直接给你一份实验报告 —— p = 0.04,转化率相对提升 10%,结论建议全量上线 —— 然后问你批不批。

报告里埋了四个足以让结论完全反过来的问题,而它们都要你自己问出来:你不问样本量,它不会说;你不问护栏,它也不会说。

最后会问一句现实里一定会遇到的:老板说「橙色明显更好看,直接上吧」,你怎么回。 不接受「顶回去」,也不接受「那就上」。

★★★★★ · circa 40 min · Cosa si valuta: 样本量与 MDE、多重比较、新奇效应、被忽略的护栏

Che cosa mette alla prova

Metodo sperimentale Prove e numeri Progetto delle metriche

Già fatto questo?

Accedi per segnare che l'hai fatto: la prossima volta vedrai in che giorno è stato.

Appunti di chi l'ha fatto

Non ha ancora scritto nessuno. Dopo averlo fatto, racconta cosa è venuto fuori: quale atto ti ha bloccato, quale conclusione hai cambiato dopo.

Accedi per scrivere un appunto.

Come si usa

Non esiste una risposta modello, esistono però risposte chiaramente sbagliate. Solo tre cose fanno reggere una proposta, e ogni soluzione ha una sezione «errori comuni» più utile dell'elenco dei punti attesi.

Le tre condizioni

  1. Sai dire di chi è il problema e quale, **con prove** (non «penso che gli utenti lo vorrebbero»)
  2. Sai dire come si misura il successo, **e quanto vale oggi quel numero** (senza baseline non c'è collaudo)
  3. Sai nominare il costo e a che cosa rinunci: **la più difficile da fingere**, per questo ogni scheda la insegue

Come iniziare

  1. Scegline una, aprila, copia il prompt.
  2. Incollalo in una conversazione nuova e vuota, non in una dove ne hai già parlato.
  3. Non dire nulla. Aspetta la sua prima domanda.

Quattro comandi da lanciare in qualsiasi momento

  • 跳过 passa subito alla scena successiva
  • 提示 una direzione, non la risposta
  • 直说吧 sviluppa del tutto questo punto e poi continua a insistere sui costi
  • 复盘 salta alla chiusura e stampa la scheda di bilancio

Tre trappole

  • Non buttarti sulla soluzione. Più della metà dei punti persi qui viene dal progettare prima di chiedere, soprattutto descrivere funzioni prima di aver definito che cosa sia il successo.
  • Preparati a dover dare numeri. «Funzionerà meglio», «agli utenti piacerà» vengono interrotti: quale metrica, quanto vale oggi, quando si guarda.
  • Quando comincia a lodarti, rimandalo alla regola cinque: sentirsi confermati copre ciò che ti è sfuggito.

Comincia dalla stella polare: regge tutto il resto. Poi scegli in base a ciò che hai davanti: un backlog che non si ordina → priorità; nessuno lo usa o la retention cala → retention e primo utilizzo; serve un prezzo → pricing. Lascia per dopo la revisione dell'esperimento, e ripeti spesso quella che trasforma una richiesta di una riga in una specifica: è la più vicina al lavoro quotidiano.