31/07 - Um exemplo de utilização do MEDS como método de avaliação de software

O Método de explicitação do discurso adjacente é um método qualitativo exploratório desenvolvido para a pesquisa em psicologia clinica e assim como os outros métodos tem a abertura, investigação aprofundada em contexto, amostras pequenas e a flexibilidade de procedimentos e técnicas. O método se difere pelo registro explicito de que trabalha com material discursivo, aliado a uma concepção de que a língua em contexto desempenha um importante papel na construção social da esfera do psicológico.

Um importante trabalho feito usando o método foi a investigação realizada por Abreu e Nicolaci-da-Costa sobre como os professores do ensino médio estavam lidando com a entrada da internet em seu trabalho docente. Como os professores ainda mostravam resistência ao uso da internet os pesquisadores optaram por realizar entrevistas presenciais.

Entrevistas on-line também podem ser feitas, desde que seja atendida a condição de que o entrevistado e entrevistador estejam familiarizados com o ambiente da entrevista.

31/07 - Reflexões sobre Observação de Usuários

Um dos métodos de avaliação de software é a observação do usuário e interpretação de suas ações.
No segundo trabalho da disciplina, fizemos uma avaliação onde observávamos o comportamento e dificuldades do usuário na realização de alguma tarefa.
No meu caso a estudante de direito Fernanda Marques, tentou criar um grupo no Facebook, onde apenas ela poderia ser membro. A tarefa não pode ser concluída no Facebook sem que se faça uma "gambiarra", pois a rede social não permite a criação de grupo sem que se adicione no minimo uma pessoa além do criador.
Na avaliação a estudante não conseguiu completar a tarefa, uma das ações mais feitas fela usuária foi a tentativa de concluir a tarefa alterando a privacidade do grupo, com a expectativa que desse certo e também a tentativa de adiciona-la no grupo. Foi feita também uma consulta a ajuda fornecida pelo Facebook sem sucesso. Após inúmeras tentativas a estudante desistiu da tarefa.
A tarefa na verdade se trata de um desafio, pois não tem solução obvia. Mas a avaliação usando observação de usuários não precisa ser feita apenas com "pegadinhas" e pode ser muito mais útil do que outros tipos de avaliações, uma vez que algumas tarefas triviais para certos usuários, podem se transformar em desafios para outros e mostra para os avaliadores problemas que as vezes ele nunca seria capaz de ver por si só.

O que aprendi sobre: Os Métodos Preditivos de Avaliação

Foram estudados cinco métodos de avaliações de sistemas interativos. Esses métodos visam avaliar a usabilidade e acessibilidade sistemas. A seguir é feita uma reflexão sobre cada método estudado.

Avaliação Heurística - Essa avaliação busca erros de usabilidade, é um método quantitativo. Um grupo de avaliadores faz individualmente a analise da aplicação baseada em heurísticas. Ao final das avaliações individuais o grupo se reúne para discutir as avaliações feitas. O método é barato e rápido de ser aplicado.

Walkthrough Cognitivo - Esse método avalia  a facilidade de aprendizado do usuário, é um método qualitativo. São definidas algumas tarefas que são quebradas em passos. O avaliador analisa cada passo como se fosse um usuário, com o objetivo de realizar cada passo corretamente e ver se  eles conduzem ao cumprimento da tarefa com sucesso. É considerado um método caro e que leva um alto tempo para ser executado.

Avaliação com Desconto - Tem como principal objetivo identificar quaisquer problemas relacionados com interfaces de usuário. Nesse método um é dada uma tarefa a um usuário e ele é observado ao interagir com a interface, o usuário compartilha com os avaliadores todos os seus pensamentos e estes não podem interferir no processo. É um método qualitativo e de baixo custo.

Inspeção Semiótica - Esse método busca problemas de comunicabilidade, é um método qualitativo. A avaliação é feita através da inspeção dos signos. Pode ser feita por uma pessoa ou em grupo, é considerado um método barato.

Keystroke Level Model -  É um método que testa a eficiência do usuário ao realizar uma determinada tarefa, medindo a facilidade de aprendizado, é um método quantitativo. Dados os passos para a conclusão da tarefa, os passos são analisados a partir de uma tabela com uma estimativa de tempo para cada tarefa de interação entre o usuário e a maquina.

Dos métodos estudados os que mais me chamaram atenção foram os que envolveram a observação do usuário realizando uma tarefa.

The Tyranny of Evaluation - Resenha

"User interface design is, in no small part, art, as much as it is science or engineering."

Querer avaliar uma interface apenas quantitativamente não nos dará uma boa avaliação, uma vez que, para que uma avaliação desse tipo seja eficaz, é preciso ter o controle de todas as variáveis.
Neste caso, as variáveis são os usuários, que possuem diferentes opiniões e gostos sobre uma interface que de certa forma pode ser vista como uma arte, por ser uma área muito subjetiva. E como é possível avaliar numericamente uma arte? E como é possível obter uma avaliação verdadeiramente absoluta?

Avaliações não tão objetivas em artigos, vem criando um problema na área de exatas que é a não aceitação desses artigos pelos revisores. Henry Lieberman diz que, avaliações exatas em cima de métodos e dados subjetivos é uma tarefa difícil de se fazer, mas nem por isso devem ser descartadas. Acho que uma boa avaliação tem tanto uma parte quantitativa quanto qualitativa, acredito que uma complementa a outra.