Blog de acompanhamento ao projecto de 3º ano de NTC, no ano lectivo de 2010/2011.
09
Jun 11

 Formato dos Testes


De forma a começar os testes de usabilidade, foi primeiro necessário decidir qual o formato que iria ser usado. Após alguma deliberação, o grupo optou então por usar um guião cognitivo, seguido de um curto inquérito escrito pós-teste.

Guião e Inquérito


De seguida foi decida a melhor forma de analisar. Para esse feito, fez-se recurso de um programa de captura de ecrã para gravar os testes, juntamente com o áudio. Juntamente com cada um dos utilizadores estavam presentes dois membros do grupo: um para dar apoio em qualquer questão ou dificuldade encontrada, outro para ir anotando as observações em uma grelha de análise, que mais tarde foi complementada com uma análise mais completa recorrendo aos vídeos capturados.

 

Grelha de análise



Execução

Os testes foram executados com alguns contratempos, o primeiro de não ter havido sala disponível para o dia em que haviam sendo agendados, o segundo de termos apenas conseguido assegurar um utilizadores experiente, pelo que tivemos de usar cinco utilizadores novatos. Aqui devemos ainda agradecer à Bárbara Macedo que nos conseguiu arranjar utilizadores suficientes para termos efectivamente seis utilizadores teste.

Um outro factor importante a ter em consideração foi o facto de termos agendado os testes para a sexta-feira antes da data de entrega dos mesmos ter sido alterada, sendo nos impossível remarcar. Assim tivemos menos tempo para angariar utilizadores e assegurar as melhores condições para realizar os testes, para além de corrigir problemas encontrados anteriormente.


Resultados e Análise Final

Tendo concluído os testes foi então possível analisar os vídeos, juntamente com os inquéritos e as observações registadas durante os mesmos. A estratégia utilizada foi a de medir o tempo demorado em cada passo contra o tempo demorado por um utilizador padrão. Seguido de uma análise da quantidade de erros dada em cada passo. Com estes dois pontos esperou-se conseguir identificar as áreas problemáticas na utilização da aplicação. Por fim iria-se fazer uma análise cruzada das respostas ao inquérito, juntamente com observações registadas na grelha e em vídeo.

 




Neste gráfico podemos então ver o tempo demorado pelo utilizador padrão, seguindo o mesmo guião que foi dado aos utilizadores de teste.




Neste gráfico encontram-se representados os tempos demorados em cada passo pelos seis utilizadores. É importante notar que os passos 3, 5 e 7 implicam desenho, pelo que variam conforme o tempo que cada utilizador dedicou a criar o desenho.

Nesta fase não se detectou nenhum problema grave, apesar de se notarem dificuldades com o 4º passo e o 8º passo que se verifica ser por uma certa falta de feedback.

 

 

O gráfico acima mostra os erros dados por cada utilizador em cada um dos passos, assumindo-se como erros não se ter preenchido um campo essencial ou navegar para secções contrárias às indicadas pelo guião quando tentando concretizar um dos passos.

Assim conseguiu detectar-se problemas em dois dos passos, nos quais vários utilizadores deram vários erros. Os passos em que houve problemas foram o oitavo e o nono. Após a análise notou-se que os erros no 8º passo passavam por uma falha em notar o campo de captcha que era necessário preencher, enquanto que no 9º passo, adeviam de uma combinação de falta de feedback com, novamente, o campo te captcha, para além de uma falta de familiaridade com o funcionamento dos fórums.


Conclusão

Tendo finalizado os testes e a sua análise, pode-se concluir que a maioria dos problemas encontrados eram derivados, no site em geral, de uma falta de feedback que por vezes confundia os utilizadores, relativamente a se tinham tido efeito as suas acções ou para onde ir a seguir.
Por outro lado, as dificuldades com a ferramenta de desenho em si originavam não de problemas de feedback mas de uma falta de adaptação, sendo que procuravam atalhos e as ferramentas onde se esperaria de os encontrar em ferramentas de desenho vectorial locais como o Illustrator. Um facto curioso é a falta de familiaridade com fórums e a utilização do logo do site como link que redirecciona para a homepage, assumindo apenas a existência dessa funcionalidade o utilizador experiente.
Um outro bug que persistiu ao longo dos testes foi a falha ao gravar, ocasionalmente e bastante aleatoriamente recusando-se a salvar uma imagem ou alteração.


Soluções

Para corrigir os problemas é então necessário aumentar a quantidade de feedback devolvida pela aplicação. Dar maior destaque a mensagens de erro e sucesso, esconder todos os elementos não necessários quando não em uso e tornar o captcha mais visível (algo que desde então já foi corrigido, sendo trocado por um com maior visibilidade).

Quanto ao bug de salvar estamos de momento a assumir estar resolvido, após termos colocado os quatro membros do grupo a criar imagens, utilizando diversos browsers, sistemas operativos e perfis novos e antigos, sem conseguir voltar a reproduzir o erro. Uma possibilidade no entanto é o problema não estar localizado no site em si ou na aplicação, mas sim no servidor.

O fórum também se revelou problemático devido à falta de familiaridade das pessoas, pelo que a solução poderá passar por criar um pequeno guia de utilização do mesmo, duas ou três linhas no topo, para dar alguma direcção e melhorar a legenda visto um dos erros notado foi a tentativa de clicar na legenda em vez das linhas de discussão.

A falta de familiaridade dos utilizadores com a funcionalidade do logo ser um link para a homepage também pode ser contornado, colocando um link mais visível para a página principal.

Por fim é necessário procurar resolver um bug encontrado na ferramenta de desenho, em que por vezes recusa-se a trocar a cor sem antes se clicar na palette, algo já vindo com a API do svg-edit, mas que podemos tentar resolver.


Implementações Futuras

Um dos campos do inquérito era referente a sugestões para aplicação. Uma das sugestões que se destacou era a possibilidade de criar uma resposta a um desenho, com um novo desenho, algo diferente de uma derivação, quase como competição entre os dois. É um conceito interessante e que futuramente talvez possa ser adicionado à aplicação.

Outra sugestões interessantes incluem um destaque para o melhor desenho do mês/semana (talvez uma nova criação nesse tempo que angarie o maior número de votos) e expandir a biblioteca de formas pré definidas incluídas na ferramenta de desenho.


Junho 2011
Dom
Seg
Ter
Qua
Qui
Sex
Sab

1
2
3
4

5
6
7
8
9
10
11

12
13
14
15
16
17
18

19
20
21
22
23
24
25

26
27
28
29
30


arquivos
pesquisar blog
 
blogs SAPO