Navir Yiengar, Gerente de Produtos no Netflix, começou sua apresentação no SXSW 2017 South By Southwest com uma imagem de Galileu e enfatizou a idéia central que pautou todo o seu discurso: nós devemos construir produtos como cientistas, ou seja, através de testes para provar que hipóteses são válidas.
Segundo ele, o Netflix observa o mundo. É só através do profundo entendimento sobre seus usuários que é possível desenhar a melhor solução. Inclusive, realizando experimentos.
O método científico utilizado pelo Netflix consiste em: (1) definir uma hipótese; (2) definir e executar o experimento; e (3) analisar os resultados. Nesse processo, mesmo que os resultados não tenham sido os esperados o experimento é válido, pois invalidou-se uma hipótese sendo possível partir para a próxima com aprendizados coletados.
Navir esclareceu ainda que o processo preferido por lá é o teste A/B, o qual basicamente consiste em criar mais de uma mesma versão para uma solução (A e B, por exemplo), expor tais soluções para grupos diferentes de pessoas e entender como cada grupo reage diante delas (neste caso, nenhum dos grupos sabem que existem outras variações). Apesar do Netflix ainda executar pesquisas através de questionários e análise de métricas, o único jeito de realmente analisar o comportamento do usuário é através de um teste A/B.
Para Navir, existem quatro passos determinantes para executar bons testes A/B. Confira:
1. Testar antes de investir!
Segundo ele, designers sempre pensam grande! E não que isso seja uma característica ruim. Mas é que nos testes A/B, o trabalho é multiplicado pela quantidade de versões que serão testadas, o que inviabiliza a velocidade do processo. Por isso, é preciso identificar o núcleo da idéia que precisa ser testada. Não há necessidade de testar todos os fluxos ou cenários de exceção. Mantenha seu foco apenas no que você quer aprender com aquele cenário.
A pergunta que vai ajudá-lo nesse cenário é: Como testar a sua idéia?
2. Suas métricas são a sua bússola!
É impossível realizar bons testes, sem ter definido corretamente como é que os resultados serão analisados. Navir contou que para avaliar corretamente é preciso definir quais métricas serão utilizadas. Em seu exemplo, explicou que nos testes para a tela principal do seriado Stranger Things, criaram dois conceitos diferentes: [1] pensando em usuários que já eram clientes da plataforma, deram um acesso mais fácil à área de clique para iniciar a reprodução; [2] para usuários não membros, a tela principal na área de ativação de assinatura exibia até menos dados sobre a série e priorizava que o clique fosse feito na adesão grátis de 30 dias.
Para esses testes a métrica principal instituída era a de Melhorar a Satisfação do Cliente. Para analisar esse objetivo, eles analisaram três grandes sub-métricas: (1) tempo gasto pelo usuário naquela tela; (2) o quão comum era os usuários chegarem àquela tela; e (3) qual era o número de ações realizadas naquela sessão.
Novamente, a pergunta a ser respondida é: Quais são as suas métricas?
3. Design para os extremos.
“Não acredite nunca na sua intuição, ela provavelmente estará errada”, explicou Navir. Para ele, é preciso encontrar quais são os comportamentos extremos a serem testados. Não adianta ter versões muito parecidas de uma mesma tela, pois você vai aprender muito pouco. O jeito certo, então, é encontrar os comportamentos extremos que os usuários deveriam ter quando interagem com aquela interface. Ele exemplificou isso utilizando um gráfico que comparou comportamentos ativos versus passivos, e uniformes versus diferenciados. Dentro desse gráfico, as versões de telas deveriam estar enquadradas nos limites.
Pergunta para ajudá-lo: Quais são os seus limites?
4. Observe o que as pessoas fazem e não o que elas falam.
Os resultados de uma pesquisa para saber qual era a principal coisa que os novos assinantes gostariam de saber, antes de aderir à plataforma, mostraram que 46% gostariam de ter acesso ao conteúdo disponível. Mas quando foi executado o teste A/B, com a tela para adesão, a conversão foi muitíssimo maior em uma versão que há pouca informação e que dá foco na área de assinatura.
Portanto, nem sempre o que os usuários respondem como suas preferências são realmente o melhor para o seu objetivo de negócio. Por isso, os testes A/B são muito mais precisos neste caso.
Pergunte-se: Qual o comportamento que eu posso observar?
A sessão no South By terminou com uma última recomendação do Netflix: pense no desenvolvimento do seu produto como uma série de experimentos que vai levá-lo a um padrão de design muito superior!
[signoff]
POR 
ENG