É muito comum eu ouvir relatos onde a pessoa diz: “estamos fazendo um teste AB. O pessoal fez duas versões de tela e me pediu (a pessoa sendo de UX Research) para ver qual das duas telas agrada mais.  Eu entro em pânico. Juro!  Este tipo de atividade não é Teste AB. É um teste de conceito, típico daquela fase de ideação, onde o designer tem muitas ideias diferentes para resolver um único problema e resolve torna-las tangíveis através de telas, storytelling, navegações diferentes em protótipos de baixa fidelidade (papel ou preto e branco no Figma.  A comparação de ideias diferentes é chamada de Teste de Conceito, e tem por finalidade apresentar opções de solução e verificar qual delas está mais apta a atender o público-alvo do produto.  É um teste qualitativo.

Imagino que o leitor esteja se perguntando: mas então, qual a diferença com um Teste AB, onde eu comparo opções de solução de um problema?  A diferença são muitas coisas. Em primeiro lugar, a necessidade de testar versões nasce de um problema de negócios, ou seja, algum KPI não está sendo atingido, sejam vendas fechadas e pagas, sejam formulários enviados. Algo vai mal!

A seguir, as versões nascem de hipóteses de como solucionar o problema, e como todo site tem múltiplas variáveis para controlar, devo isolar essas variáveis para verificar o que devo solucionar. Exemplo: se tenho problemas de Bounce Rate, certamente tenho pelos menos duas varáveis para isolar – a comunicação e a home do site. Vou ter que testar a melhoria nas duas pontas, isoladamente, para resolver o problema.

Por último, e talvez o ponto mais importante seja, que as variações podem ser de natureza de design (cor, forma, fonte, etc), mas o que importa de verdade é se a versão B ou C gera mais vendas fechadas ou formulários completos enviados ou não, se é melhor que o original A.

E como o Teste AB é um teste de muita responsabilidade, não há achismo!  Tem que ter valor estatístico, porque se B gera mais vendas, o modelo estatístico apresentado pela ferramenta tem que (tem que) indicar que, se o que aconteceu no teste se tornar real, vai dar certo. Isso exige que os números obtidos no teste sejam estatisticamente válidos e acima de 95%, por exemplo.

Outra coisa para pensar é que, se a versão B é cara ou demorada de implementar, porque pode ser que isso aconteça e, mesmo sendo mais legal (por assim dizer), não seja aprovada pelos executivos responsáveis pela saúde financeira da empresa.  Já num teste de conceito, como tudo está na fase de protótipo, o desgaste financeiro é quase zero.

Quer saber, mais?  Venha fazer nossos Cursos!!

Curso de Testes AB

O post Testes AB e Testes de Conceito não são a mesma coisa! apareceu primeiro em UXChange Academy.