Você está construindo o produto certo?

Notícias interessantes sobre o url:http://feedproxy.google.com/~r/Techcrunch/~3/oiEae7uWp0k/:

Nota do editor: Convidado contribuinte Eric Ries é um consultor e autor de O Startup magra , que estará lançando em Disrupt SF na terça-feira. Segui-lo @ ericries .

Estive recentemente pediu para passar algum tempo com uma fase inicial de arranque que tem um produto novo e revolucionário. Perguntei-lhes se eles achavam que estavam fazendo o seu melhor produto. Tal como acontece com cada inicialização do outro que eu já perguntei, eles disseram que sim.

Então eu lhes perguntou: "Como você sabe?" A resposta também foi bastante normal: eles explicaram que eles estavam adicionando novos recursos, melhorando a qualidade e, geralmente, a execução contra o roadmap de produtos. Os recursos são uma combinação de pedidos dos seus clientes no início e visão de inspiração palpites dos fundadores. Cada mês, seus números, o bruto número total de clientes, a receita total, e total de uso-mover para cima e para a direita. Então, eles disseram, eles devem estar no caminho certo.

Então perguntei-lhes esta pergunta: o que aconteceria com a empresa, se toda equipe de desenvolvimento do produto levou um mês fora e ia de férias? O pessoal de vendas iria manter adesão de novos clientes. O site vai continuar a receber o tráfego da nova palavra da boca. Eles poderiam ter certeza de que eles wouldn't como um negócio-estar a fazer tanto "progresso" como eles dizem estar fazendo agora?

Em um cenário, que estiveram a trabalhar horas extras, colocando em horas louco, e na outra, eles estariam em férias. Se ambos os cenários levam ao mesmo resultado, como pode a equipe de desenvolvimento do produto afirmam estar a fazer progressos? Estar fazendo um trabalho efetivo?

A maioria das equipes produto não sei se eles estão fazendo o seu produto melhor ou pior; é por isso que os clientes se sentem uma pontada de medo toda vez que eles têm para atualizar ou atualizar. Apesar disso, essas mesmas empresas podem estar tendo um crescimento extremamente rápido, porque ainda que o produto está ficando pior, outras coisas estão indo bem: os efeitos de rede estão chutando, a empresa está sendo elogiado pela imprensa, ou que estão a navegar numa onda geral de crescimento em sua indústria.

Em uma das startups que fundei, tivemos um longo período em que estávamos realmente focados na taxa de conversão de novos clientes em clientes pagantes (era um modelo de negócio freemium). Métricas nossa vaidade estavam procurando boas-up e para a direita. Os gráficos ainda tinha a forma da vara de hóquei clássico. Mas a análise de coorte mostrou que algo estava errado.

Nós dividimos nossos clientes em coortes, olhando para os novos clientes que aderiram a cada dia como um grupo distinto. Então, poderíamos perguntar: "Como os clientes de hoje se compara com a de ontem?" E, para nossa frustração, as taxas de conversão foram quase exatamente o mesmo. Foi fácil chegar conspiratória. Parecia que cada grupo havia criado uma chamada de conferência com o grupo anterior. "Quantos de vocês compraram o produto? Um em cada cem? OK, bom, vamos fazer isso também. "

A parte frustrante foi esse padrão permaneceu constante durante meses, apesar de estarmos fazendo o produto "melhor" quase todos os dias. O fato de que o comportamento do cliente não estava mudando revelou que estávamos errados. Nós não estávamos fazendo o produto melhor, fomos fazendo o pior.

O antídoto para este problema é parar de usar métricas vaidade e começar a medir o progresso com mais rigor.

A maioria de nós pensa em testes A / B (às vezes chamado split-tes