Teste multivariado em larga escala em uma landing page de venda do serviço de internet de fibra ótica

A Landing Page do produto Fibra foi desenhada para divulgação dos planos de internet de alta velocidade na cidade de São Paulo. Por limitações técnicas, sua hospedagem era separada do restante do site (onde a venda acontecia de fato) e ele possuia, na época deste teste, diariamente uma grande quantidade de acessos orgânicos ou via campanhas de marketing. Este projeto foi uma série de testes A/B e multivariados para otimização do fluxo de vendas e aqui está descrito o processo do primeiro teste Multivariado realizado.

Meu papel neste projeto foi gerenciar os times responsáveis por diversos aspectos da Landing Page(Marketing, Comunicação, UX e Métricas) elaborar hipóteses, acompanhar implementação e resultados do teste.

Com base no histórico do produto, da páginas e relatórios de performance, levantamos algumas hipóteses para usuários que desistiam da compra ao chegar na página:

Hipóteses

Valor do Produto

Na minha humilde opinião, havia um equivoco na divulgação da campanha. O preço real para se adquirir o pacote era R$ 129,90 já que a internet fibra nunca seria vendida separadamente. Por isso, apesar de levar uma grande quantidade de usuários para a loja, suponhamos que o valor diferente causava uma grande quenda na venda nos próximos passos. Esperávamos que o valor real do produto trouxesse um tráfego menor, mas mais qualificado a comprar na loja.

Título do Box de Assinatura

Uma das sugestões das equipes responsáveis era que o título do formulário Assine Online poderia atrapalhar o fluxo de compra, já que no próximo passo os usuários ainda devem escolher o pacote.

Texto do Botão de Assinatura

Novamente, por questões de comunicação, o texto do botão foi escolhido para comparar a performance das duas frases. Consulte agora era o que de fato acontecia no próximo passo: o usuário que morasse numa região onde o produto está disponível cairia numa vitrine de produtos de internet fibra e os outros poderiam apenas escolher entre produtos de qualidade inferior. Já o termo Assine online remetia a facilidade de se adquirir o produto (independente do usuário ter essa possibilidade no próximo passo)

Presença do botão para exibição do telefone de contato

Um ultimo ponto de dúvida para as equipes era a suspeita de muitos usuários abandonarem a página para comprar via telefone. Com essa variação, o objetivo era descobrir se, de fato, o telefone influenciava nas conversões ou não.

Teste Multivariado

Com base nas hipóteses acima, criamos um experimento numa ferramenta de Testes A/B com 16 variações de páginas. E comparamos o resultado com as seguintes métricas:

1. Cliques em botões com o texto Consulte Agora
2. Cliques no botão Veja o Número
3. Transações

Resultados

• Taxa de conversão original — 9.2%
• Taxa de conversão da variação 10–10,07%
• p-valor(relacionado ao coeficiente de validade estatística) — 0.16

O Coeficiente de validade é um tipo de evidência estatística utilizado para inferir a validade de critério, seja preditiva, seja recorrente. No caso de pesquisas com seres humanos, é comum utilizarmos como base um p-valor de 0.05.

Apesar da grande quantidade de acessos, o teste aconteceu durante um período de 3 semanas sem chegar a um resultado conclusivo sobre qual a melhor variação para as conversões. Porém, a variação com melhor desempenho obteve um coeficiente de validade estatística de aproximadamente 84%. Isso nos levou a tirar algumas conclusões:

1. Melhora de 8,6% na taxa de conversão em relação a Original — Pode parecer pouco, mas com essa diferença na taxa de conversão podemos prever de maneira rústica a diferença na taxa de conversão de uma página, e consequentemente, ROI de UX da mudança na interface.
2. Inexistência de correlação entre o botão de veja o número e queda na performance — Notamos que não houve nenhuma diferença relevante nas 8 variações em que removemos o botão da interface. Ou seja, suspeitamos que os usuários continuam no fluxo independente daqueles que optam por ligar e finalizar a transação por telefone. Ou ainda, que usuários que compram por telefone mantém esse comportamento independente da assinatura online.
3. Preço real trouxe um número menor de cliques e venda do que o esperado — Nossa hipótese foi refutada. Notamos que, apesar de revelar o preço real do pacote, os usuários continuavam comprando na mesma proporção. A diferença era que, exibindo o preço real neste passo, mais usuários desistiam da compra
4. Remoção do título do formulário está correlacionado a um taxa de conversão maior — Não soubemos ao certo porque, mas encontramos uma correlação entre a ausência do título no formulário e aumento na taxa de conversão geral.

Conclusão

Testes Multivariados são difíceis mesmo quando realizados numa grande escala. Pequenas variações na interface não são suficientes para validarmos quantitativamente as hipóteses e, numa empresa onde as Landing Page são extremamente dinâmicas em relação as mudanças nos produtos há uma grande dificuldade em se seguir rigorosamente o teste.

Com isto em mente, Testes A/B e multivariados são uma ótima ferramenta para gerar aprendizados sobre o usuário. Muitos detalhes precisam ser interpretados, mas na minha opinião, em produtos existentes e com grande quantidade de usuários, esse método é perfeito para entendermos o comportamento e melhorar a experiência num periodo de tempo curto.

Variação vencedora