A banalização da pesquisa via questionário

Nos últimos meses tenho recebido cada vez mais convites para participar de pesquisas acadêmicas sobre design de interação respondendo a um questionário. Fico feliz de saber que o assunto está sendo mais pesquisado na academia brasileira, porém, por outro lado, eu me questiono "por que fazer essa pesquisa via questionário se existem tantos outros métodos interessantes de pesquisa no design de interação?"

Na maioria dos casos, o tema da pesquisa não justifica o instrumento. O questionário é uma ferramenta para pesquisa com grandes amostragens, na casa das centenas de participantes. Os convites que recebo é para pesquisas sobre assuntos tão específicos que apenas umas poucas pessoas poderão responder. E da maneira como o convite é feito ? impessoal, enviado para uma lista de discussão, sem uma promessa de compartilhar resultados ? eu já consigo prever que a taxa de retorno será muito menor do que uma centena.

Se a amostragem é pequena, faz mais sentido fazer uma entrevista pessoalmente, por telefone, ou por Skype. Uma única entrevista é capaz de ir muito mais a fundo no assunto do que algumas dezenas de questionários respondidos. É claro que não terá a mesma diversidade do que os questionários, mas de que adianta ter diversidade se não há aprofundamento?

Além da entrevista, existem uma porção de outros métodos que podem ser usados para pequenas amostragens: etnografia, sondas culturais, história oral, etc. Um dos diferenciais do design de interação é justamente ir a campo, encontrar o usuário, compreender o seu contexto. Por que deveria ser diferente na pesquisa acadêmica sobre o assunto?

Das duas uma: ou o pesquisador não dispõe de recursos para ir a campo ou o orientador acadêmico não considera os métodos de pesquisa de design de interação científicos o suficiente. O questionário é um instrumento que pode ser elaborado no conforto do escritório com ferramentas que geram dados estatísticos automaticamente. Os gráficos e porcentagens fazem a pesquisa parecer mais científica do que ela realmente é, pois com pequenas amostragens, não dá pra generalizar e dizer que é válido para uma grande população.

Uma pesquisa via questionário é mais fácil de organizar, permite maior controle do orientador e gera resultados que parecem mais científicos. Porém, de um modo geral, ela não ajuda a clarificar o fenômeno estudado. Se a pesquisa é sobre difusão das práticas de design de interação no mercado (um tema que sou frequentemente convidado apesar de estar na academia no momento), de que adianta saber quantas pessoas estão fazendo testes de usabilidade? Existem muitas outras práticas de design de interação que, inclusive, não constam na literatura acadêmica. O rabiscoframe, por exemplo, é um híbrido de wireframe com protótipo de papel que é bem característico dos estúdios brasileiros.

Em 2005 eu já havia alertado para não confundir teste de usabilidade com projeto centrado no usuário. Uma coisa não implica na outra. Acontece muito de uma empresa querer uma avaliação no final de um projeto que não foi centrado no usuário. Também acontece de haver projetos centrados no usuário em que o teste de usabilidade não é organizado.

Enviar questionários para confirmar hipóteses tais como "as empresas não permitem que os profissionais utilizem todos os métodos que conhecem" ou "faltam recursos de tempo e dinheiro para involver usuários no projeto" é perda de tempo. Uma métrica dessas não vai ajudar nem a academia a aperfeiçoar a produção de métodos nem tampouco ajudar os profissionais de mercado a conseguir mais recursos.

Mais interessante do que mensurar a aplicação de métodos acadêmicos na prática (teste de usabilidade surgiu na academia), é estudar os métodos criados pela prática e as adaptações feitas nos métodos acadêmicos para situações de poucos recuross. Isso sim gera conhecimento útil não só para a academia, como também para os próprios profissionais de mercado.

Eu não acho que a pesquisa via questionário seja de todo ruim. Eu mesmo já utilizei em vários projetos. Numa consultoria para o Flogão, a gente enviou um questionário para todos os usuários e recebemos 900 respostas. O resultado nos surpreendeu: a customização de cores era a funcionalidade mais amada pelos usuários. Na minha pesquisa de mestrado sobre a comunidade BrOffice.org, utilizamos os dados na pesquisa feita no registro do produto, mais de 3 mil respostas. Em ambos os projetos, o questionário não foi o único instrumento de pesquisa, sendo triangulado com entrevistas e etnografia virtual.

Outro projeto com questionário que desenvolvi no mestado foi a pesquisa "O Orkut mudou minha vida". Montei um questionário piloto, aperfeiçoei as questões, validei em mensageiros instantâneos, e ainda envolvi os respondentes como participantes pesquisadores. Ficou tudo documentado aqui no Usabilidoido e no artigo resultante.

Se você está pensando em utilizar questionários para o seu TCC ou dissertação de mestado, pense duas vezes. Se o problema é falta de tempo, faça algumas entrevistas. Você economiza tempo no planejamento, que não precisa ser tão rigoroso quanto no questionário. Se o problema é vergonha/falta de prática de conversar com pessoas estranhas, faça uma etnografia virtual. Leia o que já foi dito nas comunidades virtuais, listas de email, etc. Se o problema é o orientador que exige dados quantitativos, argumente, defenda a prática essencialmente qualitativa do design de interação. Se você não fizer isso, quem irá fazer?

• Resultado da pesquisa com nossos leitores
• Vamos melhorar o usabilidoido
• 5º Ergodesign * parte I

Você merece.

Assine nosso conteúdo e receba as novidades!

Atualizado com o Movable Type.

Alguns direitos reservados por Frederick van Amstel.

Apresentação do autor | Website internacional | Política de Privacidade | Contato