Pesquisa de usabilidade para o site da Secretaria de Estado de Fazenda do Estado de Minas Gerais
Função
Product Designer
User Research
Prototyping
Ferramentas
Figma
Notion
Slack
Duração
1 ano
Contexto
Divulgar informação é um serviço básico que o governo deve oferecer ao cidadão para informa-lo sobre suas necessidades com o Estado. Dessa forma, para permitir que a pessoas cumpram suas obrigações utilizando os sistemas do Estado, é necessário avaliar se tais sistemas são de fácil utilização e atendem a população. Este projeto é uma pesquisa em parceria com o Governo de Minas Gerais examinando o site da Secretaria de Estado de Fazenda.
Objetivo
Avaliar o sistema e identificar problemas de usabilidade utilizando SUS (Escala de Usabilidade do Sistema), UEQ (Questionário da Experiência do Usuário) e a Avaliação Heurística;
Comparar resultados obtidos;
Propor sugestões de melhorias para o sistema.
Pesquisa
Métodos utilizados
Analise Heurística: técnica que possui o propósito de encontrar problemas de usabilidade a partir da revisão do sistema usando os princípios de usabilidade. A avaliação conta com níveis de severidade sendo eles:
0 não representa problemas de usabilidade;
1 representa um problema estético;
2 representa um pequeno problema;
3 representa um grande problema;
4 representa um problema extremo o qual impede concluir uma tarefa.
UEQ: pesquisa utilizada para medir a experiência do usuário, é composto por 26 perguntas com o objetivo de entender sua atratividade, transparência, eficiência e confiabilidade. Após a coleta das respostas os valores são inseridos em uma planilha Excel que calcula o resultado da aplicação.
SUS: teste que busca apontar tarefas dentro do sistema onde as pessoas encontram mais dificuldade para concluir. Utiliza-se de tarefas a serem feitas dentro do sistema (teste de usabilidade) e um questionário que possui critérios de satisfação, efetividade e eficiência.
Como foi feito
A execução do UEQ foi fundamentada em
Aplicação feita pelo Google Forms;
Análise média de pontuação por categoria;
Análise por qualidade hedônica;
Análise por qualidade pragmática;
Distribuição de respostas.
Para a Analise Heurística foi feito:
Indicação da página ou momento problemático do fluxo;
Descrição do problema encontrado;
Atribuição do nível de severidade do problema;
Recomendação de uma hipóteses de solução.
Para a aplicação do SUS foi realizado:
Teste de usabilidade não monitorado com três tarefas;
Aplicação feita pelo Google Forms;
Análise dos resultados de acordo com as respostas.
Resultados
Questionário da Experiência do Usuário - UEQ
Os resultados da aplicação do questionário UEQ geraram o gráfico que compara as respostas obtidas com um conjunto de dados que contém informações de 21.165 pessoas de 468 estudos sobre diferentes produtos (software de negócios, páginas e lojas da web, redes sociais, etc). Para cada atributo avaliado (Atratividade, Transparência, Eficiência, Controle, Estimulação e Inovação) representados no eixo X, a média da pontuação final das respostas é analisada dentro de uma escala entre -3 e +3, sendo -3 “extremamente ruim” e +3 “extremamente boa”, representadas pelo eixo Y.
As médias obtidas para as categorias Atratividade, Transparência, Eficiência, Controle, Estimulação e Inovação foram, respectivamente, -0,89, -0,69, -0,30, -0,10, -0,80 e -2,08. Esses valores estão representados no gráfico por meio da linha azul acinzentada, sendo necessário destacar que não é possível visualizar o valor da categoria Inovação porque o mesmo se encontra abaixo do limite inferior do gráfico disponibilizado pelos autores. Além disso, as métricas de Qualidade Hedônica e Qualidade Pragmática também foram calculadas e apresentam o valor de -1,44 e -0,36, respectivamente.
Avaliação Heurística
A Avaliação Heurística possibilitou identificar algumas violações das diretrizes sendo elas:
Contexto e navegação (1): na página inicial, são disponibilizados links que redirecionam o usuário para páginas específicas. Tais links estão abreviados e o seu significado não pode ser identificado sem o conhecimento prévio do usuário. Por exemplo, existem links disponibilizados como “IPVA”e “ICMS”na área de “Tributos”. Atribuiu-se o valor de 2 para a nota de severidade do problema identificado.
Contexto e navegação (2): pode-se destacar um problema encontrado em diversas páginas do site, que utilizam excessivamente a funcionalidade de redirecionar o usuário para outra aba do navegador. Dessa forma, o valor de severidade é de valor 3;
Carga de informação: No momento em que o site é aberto pela primeira vez, uma janela pop-up abre pedindo para que o usuário siga a Secretaria no Instagram. Isso fere a diretriz porque a atenção do cidadão deve estar focada nos serviços da página e não em banners publicitários. Janelas pop-up são intrusivas e quebram o controle da página, portanto, foi atribuído o valor 2 para nota de severidade;
Erros: Ao tentar realizar a consulta de informações de IPVA, caso o usuário não preencha o campo de CPF, por exemplo, o erro de campo obrigatório é dado em formato de pop-up, o que fere essa diretriz. Desse jeito, foi atribuído a nota de 3.
Autonomia: Não foram encontradas violações dessa diretriz além da janela publicitária citada acima na diretriz relacionada à carga de informação, que reflete em ambas. Como a violação já foi citada anteriormente, não foram consideradas mais nesse ponto;
Erros: Ao tentar realizar a consulta de informações de IPVA, caso o usuário não preencha o campo de CPF, por exemplo, o erro de campo obrigatório é dado em formato de pop-up, o que fere essa diretriz. Desse jeito, foi atribuído a nota de 3.
Redação: Não foram encontradas violações da diretriz de redação, uma vez que o site segue bem a mesma. As informações são dadas de forma clara nas páginas específicas e utilizam da forma correta da gramática;
Consistência e familiaridade: apesar de alguns itens relacionados à essa heurística terem sido considerados positivos, como a utilização do logotipo no canto superior esquerdo e a funcionalidade de busca no canto superior direito, foram encontrados alguns problemas. É preciso citar o fato do site não utilizar links na cor azul e no estilo de texto sublinhado (como grande parte de outros sites na Internet), o que pode confundir os usuários e impossibilitar os mesmos de encontrarem a informação desejada. Dessa forma, o valor atribuído para a nota de severidade foi de 3.
SUS
Teste de usabilidade
Tarefa 1: obteve 37 acertos de 71 respostas, resultando em uma taxa de acerto de 52,11% a qual é considerada baixa visto que se trata de um site governamental
Tarefa 2: obteve 22 acertos de 71 respostas, resultando em uma taxa baixa de 30,99%.
Tarefa 3: obteve 28 acertos de 71 respostas, resultando em 39,43% de acerto.
Respostas SUS
Após a realização dos cálculos das respostas do SUS, a média de pontuação obtida foi de 47,5. O resultado indica que a usabilidade do sistema analisado é considerada como péssima (ou de nota F).
Analisando o resultado
É necessário destacar que 71 usuários representa uma amostra pequena em comparação ao tamanho de possíveis usuários dentro do Estado de Minas Gerais, o que deve ser considerado como um alerta, mas não uma verdade absoluta.
Os dados da realização das tarefas foram complementados pela comparação dos resultados obtidos no questionário SUS:
41 dos 71 usuários discordam da afirmação “Eu achei o sistema fácil de usar”, bem como 48 discordam que “Eu imagino que as pessoas aprenderão como usar esse sistema rapidamente”;
Por outro lado, 46 dos 71 respondentes discordam da afirmação “Eu precisei aprender várias coisas novas antes de conseguir usar o sistema”, o que demonstra que o site utiliza de convenções que auxiliam seu uso mesmo não sendo frequente. Isso é reforçado nas respostas da afirmação “Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos para usar o sistema”, visto que 43 dos 71 respondentes também discordam da mesma.
Dessa forma, foi concluído que o sistema analisado possui diversos pontos de atenção que impacta na realização de tarefas por parte dos usuários, mas que podem ser melhorados. Assim como no SUS, os resultados do questionário UEQ ajudam essa percepção, pois o resultado da Qualidade Pragmática (aspectos relacionados à resolução de tarefas, representados por estimulação e inovação) foi de -0,36, o que na escala de -3 a +3 não representa um valor crítico, apesar de demonstrar a necessidade de melhoria. Na Qualidade Hedônica (aspectos não relacionados à resolução de tarefas, representados por transparência, eficiência e confiabilidade) o resultado foi de -1,44, reforçando a confiança dos resultados obtidos no SUS, ou seja, os pontos de melhoria levantados não refletem apenas na eficiência ao completar as tarefas, mas também em aspectos que influenciam nessa realização.
Recomendações para melhoria
Com base na análise dos resultados obtidos, foi possível sugerir melhorias para o site com o objetivo de facilitar sua utilização, buscando um impacto positivo na realização de tarefas por parte dos usuários. Sendo eles:
Links como “IPVA” e “ICMS” na área de “Tributos” na página inicial podem contar com um componente conhecido por tooltip, que destaca o significado do termo quando o ponteiro do mouse estiver parado em cima do texto.
Evitar que links sejam abertos em novas abas para garantir maior fluidez na experiência do usuário.
Banners publicitários podem ser utilizados conforme a necessidade da Secretaria, mas recomenda-se que não estejam em forma de pop-ups, e sim incluídos no site de forma que a navegação do usuário não seja interrompida.
Não utilizar pop-ups para demonstrar erros de preenchimento dos formulários, optar por textos auxiliares abaixo dos campos, de forma que a experiência seja mais linear e inclusiva.
Revisar as páginas que contém links importantes para que o estilo de texto e formatação siga o padrão adotado na internet e em outros sites governamentais, seguindo a coloração azul e sublinhada. Dessa forma permite que o cidadão utilize de conhecimentos prévios durante sua navegação, entregando uma sensação de maior entendimento.
Considerações finais
Os resultados obtidos mostram que o sistema analisado possui diversos pontos de atenção que impactam na realização de tarefas por parte dos usuários, mas que podem ser melhorados. É necessário destacar que as respostas foram captadas de forma voluntária, sem controle da atividade pelos pesquisadores, podendo não retratar a realidade de forma absoluta. Finalmente, foram realizadas recomendações de melhoria como a adição de componentes de interface que explicam melhor o conteúdo, bem como na padronização do estilo de links e remoção de pop-ups excessivos.
Pesquisa de usabilidade para o site da Secretaria de Estado de Fazenda do Estado de Minas Gerais
Função
Product Designer
User Research
Prototyping
Ferramentas
Figma
Notion
Slack
Duração
1 ano
Contexto
Divulgar informação é um serviço básico que o governo deve oferecer ao cidadão para informa-lo sobre suas necessidades com o Estado. Dessa forma, para permitir que a pessoas cumpram suas obrigações utilizando os sistemas do Estado, é necessário avaliar se tais sistemas são de fácil utilização e atendem a população. Este projeto é uma pesquisa em parceria com o Governo de Minas Gerais examinando o site da Secretaria de Estado de Fazenda.
Objetivo
Avaliar o sistema e identificar problemas de usabilidade utilizando SUS (Escala de Usabilidade do Sistema), UEQ (Questionário da Experiência do Usuário) e a Avaliação Heurística;
Comparar resultados obtidos;
Propor sugestões de melhorias para o sistema.
Pesquisa
Métodos utilizados
Analise Heurística: técnica que possui o propósito de encontrar problemas de usabilidade a partir da revisão do sistema usando os princípios de usabilidade. A avaliação conta com níveis de severidade sendo eles:
0 não representa problemas de usabilidade;
1 representa um problema estético;
2 representa um pequeno problema;
3 representa um grande problema;
4 representa um problema extremo o qual impede concluir uma tarefa.
UEQ: pesquisa utilizada para medir a experiência do usuário, é composto por 26 perguntas com o objetivo de entender sua atratividade, transparência, eficiência e confiabilidade. Após a coleta das respostas os valores são inseridos em uma planilha Excel que calcula o resultado da aplicação.
SUS: teste que busca apontar tarefas dentro do sistema onde as pessoas encontram mais dificuldade para concluir. Utiliza-se de tarefas a serem feitas dentro do sistema (teste de usabilidade) e um questionário que possui critérios de satisfação, efetividade e eficiência.
Como foi feito
A execução do UEQ foi fundamentada em
Aplicação feita pelo Google Forms;
Análise média de pontuação por categoria;
Análise por qualidade hedônica;
Análise por qualidade pragmática;
Distribuição de respostas.
Para a Analise Heurística foi feito:
Indicação da página ou momento problemático do fluxo;
Descrição do problema encontrado;
Atribuição do nível de severidade do problema;
Recomendação de uma hipóteses de solução.
Para a aplicação do SUS foi realizado:
Teste de usabilidade não monitorado com três tarefas;
Aplicação feita pelo Google Forms;
Análise dos resultados de acordo com as respostas.
Resultados
Questionário da Experiência do Usuário - UEQ
Os resultados da aplicação do questionário UEQ geraram o gráfico que compara as respostas obtidas com um conjunto de dados que contém informações de 21.165 pessoas de 468 estudos sobre diferentes produtos (software de negócios, páginas e lojas da web, redes sociais, etc). Para cada atributo avaliado (Atratividade, Transparência, Eficiência, Controle, Estimulação e Inovação) representados no eixo X, a média da pontuação final das respostas é analisada dentro de uma escala entre -3 e +3, sendo -3 “extremamente ruim” e +3 “extremamente boa”, representadas pelo eixo Y.
As médias obtidas para as categorias Atratividade, Transparência, Eficiência, Controle, Estimulação e Inovação foram, respectivamente, -0,89, -0,69, -0,30, -0,10, -0,80 e -2,08. Esses valores estão representados no gráfico por meio da linha azul acinzentada, sendo necessário destacar que não é possível visualizar o valor da categoria Inovação porque o mesmo se encontra abaixo do limite inferior do gráfico disponibilizado pelos autores. Além disso, as métricas de Qualidade Hedônica e Qualidade Pragmática também foram calculadas e apresentam o valor de -1,44 e -0,36, respectivamente.
Avaliação Heurística
A Avaliação Heurística possibilitou identificar algumas violações das diretrizes sendo elas:
Contexto e navegação (1): na página inicial, são disponibilizados links que redirecionam o usuário para páginas específicas. Tais links estão abreviados e o seu significado não pode ser identificado sem o conhecimento prévio do usuário. Por exemplo, existem links disponibilizados como “IPVA”e “ICMS”na área de “Tributos”. Atribuiu-se o valor de 2 para a nota de severidade do problema identificado.
Contexto e navegação (2): pode-se destacar um problema encontrado em diversas páginas do site, que utilizam excessivamente a funcionalidade de redirecionar o usuário para outra aba do navegador. Dessa forma, o valor de severidade é de valor 3;
Carga de informação: No momento em que o site é aberto pela primeira vez, uma janela pop-up abre pedindo para que o usuário siga a Secretaria no Instagram. Isso fere a diretriz porque a atenção do cidadão deve estar focada nos serviços da página e não em banners publicitários. Janelas pop-up são intrusivas e quebram o controle da página, portanto, foi atribuído o valor 2 para nota de severidade;
Erros: Ao tentar realizar a consulta de informações de IPVA, caso o usuário não preencha o campo de CPF, por exemplo, o erro de campo obrigatório é dado em formato de pop-up, o que fere essa diretriz. Desse jeito, foi atribuído a nota de 3.
Autonomia: Não foram encontradas violações dessa diretriz além da janela publicitária citada acima na diretriz relacionada à carga de informação, que reflete em ambas. Como a violação já foi citada anteriormente, não foram consideradas mais nesse ponto;
Erros: Ao tentar realizar a consulta de informações de IPVA, caso o usuário não preencha o campo de CPF, por exemplo, o erro de campo obrigatório é dado em formato de pop-up, o que fere essa diretriz. Desse jeito, foi atribuído a nota de 3.
Redação: Não foram encontradas violações da diretriz de redação, uma vez que o site segue bem a mesma. As informações são dadas de forma clara nas páginas específicas e utilizam da forma correta da gramática;
Consistência e familiaridade: apesar de alguns itens relacionados à essa heurística terem sido considerados positivos, como a utilização do logotipo no canto superior esquerdo e a funcionalidade de busca no canto superior direito, foram encontrados alguns problemas. É preciso citar o fato do site não utilizar links na cor azul e no estilo de texto sublinhado (como grande parte de outros sites na Internet), o que pode confundir os usuários e impossibilitar os mesmos de encontrarem a informação desejada. Dessa forma, o valor atribuído para a nota de severidade foi de 3.
SUS
Teste de usabilidade
Tarefa 1: obteve 37 acertos de 71 respostas, resultando em uma taxa de acerto de 52,11% a qual é considerada baixa visto que se trata de um site governamental
Tarefa 2: obteve 22 acertos de 71 respostas, resultando em uma taxa baixa de 30,99%.
Tarefa 3: obteve 28 acertos de 71 respostas, resultando em 39,43% de acerto.
Respostas SUS
Após a realização dos cálculos das respostas do SUS, a média de pontuação obtida foi de 47,5. O resultado indica que a usabilidade do sistema analisado é considerada como péssima (ou de nota F).
Analisando o resultado
É necessário destacar que 71 usuários representa uma amostra pequena em comparação ao tamanho de possíveis usuários dentro do Estado de Minas Gerais, o que deve ser considerado como um alerta, mas não uma verdade absoluta.
Os dados da realização das tarefas foram complementados pela comparação dos resultados obtidos no questionário SUS:
41 dos 71 usuários discordam da afirmação “Eu achei o sistema fácil de usar”, bem como 48 discordam que “Eu imagino que as pessoas aprenderão como usar esse sistema rapidamente”;
Por outro lado, 46 dos 71 respondentes discordam da afirmação “Eu precisei aprender várias coisas novas antes de conseguir usar o sistema”, o que demonstra que o site utiliza de convenções que auxiliam seu uso mesmo não sendo frequente. Isso é reforçado nas respostas da afirmação “Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos para usar o sistema”, visto que 43 dos 71 respondentes também discordam da mesma.
Dessa forma, foi concluído que o sistema analisado possui diversos pontos de atenção que impacta na realização de tarefas por parte dos usuários, mas que podem ser melhorados. Assim como no SUS, os resultados do questionário UEQ ajudam essa percepção, pois o resultado da Qualidade Pragmática (aspectos relacionados à resolução de tarefas, representados por estimulação e inovação) foi de -0,36, o que na escala de -3 a +3 não representa um valor crítico, apesar de demonstrar a necessidade de melhoria. Na Qualidade Hedônica (aspectos não relacionados à resolução de tarefas, representados por transparência, eficiência e confiabilidade) o resultado foi de -1,44, reforçando a confiança dos resultados obtidos no SUS, ou seja, os pontos de melhoria levantados não refletem apenas na eficiência ao completar as tarefas, mas também em aspectos que influenciam nessa realização.
Recomendações para melhoria
Com base na análise dos resultados obtidos, foi possível sugerir melhorias para o site com o objetivo de facilitar sua utilização, buscando um impacto positivo na realização de tarefas por parte dos usuários. Sendo eles:
Links como “IPVA” e “ICMS” na área de “Tributos” na página inicial podem contar com um componente conhecido por tooltip, que destaca o significado do termo quando o ponteiro do mouse estiver parado em cima do texto.
Evitar que links sejam abertos em novas abas para garantir maior fluidez na experiência do usuário.
Banners publicitários podem ser utilizados conforme a necessidade da Secretaria, mas recomenda-se que não estejam em forma de pop-ups, e sim incluídos no site de forma que a navegação do usuário não seja interrompida.
Não utilizar pop-ups para demonstrar erros de preenchimento dos formulários, optar por textos auxiliares abaixo dos campos, de forma que a experiência seja mais linear e inclusiva.
Revisar as páginas que contém links importantes para que o estilo de texto e formatação siga o padrão adotado na internet e em outros sites governamentais, seguindo a coloração azul e sublinhada. Dessa forma permite que o cidadão utilize de conhecimentos prévios durante sua navegação, entregando uma sensação de maior entendimento.
Considerações finais
Os resultados obtidos mostram que o sistema analisado possui diversos pontos de atenção que impactam na realização de tarefas por parte dos usuários, mas que podem ser melhorados. É necessário destacar que as respostas foram captadas de forma voluntária, sem controle da atividade pelos pesquisadores, podendo não retratar a realidade de forma absoluta. Finalmente, foram realizadas recomendações de melhoria como a adição de componentes de interface que explicam melhor o conteúdo, bem como na padronização do estilo de links e remoção de pop-ups excessivos.
Pesquisa de usabilidade para o site da Secretaria de Estado de Fazenda do Estado de Minas Gerais
Função
Product Designer
User Research
Prototyping
Ferramentas
Figma
Notion
Slack
Duração
1 ano
Contexto
Divulgar informação é um serviço básico que o governo deve oferecer ao cidadão para informa-lo sobre suas necessidades com o Estado. Dessa forma, para permitir que a pessoas cumpram suas obrigações utilizando os sistemas do Estado, é necessário avaliar se tais sistemas são de fácil utilização e atendem a população. Este projeto é uma pesquisa em parceria com o Governo de Minas Gerais examinando o site da Secretaria de Estado de Fazenda.
Objetivo
Avaliar o sistema e identificar problemas de usabilidade utilizando SUS (Escala de Usabilidade do Sistema), UEQ (Questionário da Experiência do Usuário) e a Avaliação Heurística;
Comparar resultados obtidos;
Propor sugestões de melhorias para o sistema.
Pesquisa
Métodos utilizados
Analise Heurística: técnica que possui o propósito de encontrar problemas de usabilidade a partir da revisão do sistema usando os princípios de usabilidade. A avaliação conta com níveis de severidade sendo eles:
0 não representa problemas de usabilidade;
1 representa um problema estético;
2 representa um pequeno problema;
3 representa um grande problema;
4 representa um problema extremo o qual impede concluir uma tarefa.
UEQ: pesquisa utilizada para medir a experiência do usuário, é composto por 26 perguntas com o objetivo de entender sua atratividade, transparência, eficiência e confiabilidade. Após a coleta das respostas os valores são inseridos em uma planilha Excel que calcula o resultado da aplicação.
SUS: teste que busca apontar tarefas dentro do sistema onde as pessoas encontram mais dificuldade para concluir. Utiliza-se de tarefas a serem feitas dentro do sistema (teste de usabilidade) e um questionário que possui critérios de satisfação, efetividade e eficiência.
Como foi feito
A execução do UEQ foi fundamentada em
Aplicação feita pelo Google Forms;
Análise média de pontuação por categoria;
Análise por qualidade hedônica;
Análise por qualidade pragmática;
Distribuição de respostas.
Para a Analise Heurística foi feito:
Indicação da página ou momento problemático do fluxo;
Descrição do problema encontrado;
Atribuição do nível de severidade do problema;
Recomendação de uma hipóteses de solução.
Para a aplicação do SUS foi realizado:
Teste de usabilidade não monitorado com três tarefas;
Aplicação feita pelo Google Forms;
Análise dos resultados de acordo com as respostas.
Resultados
Questionário da Experiência do Usuário - UEQ
Os resultados da aplicação do questionário UEQ geraram o gráfico que compara as respostas obtidas com um conjunto de dados que contém informações de 21.165 pessoas de 468 estudos sobre diferentes produtos (software de negócios, páginas e lojas da web, redes sociais, etc). Para cada atributo avaliado (Atratividade, Transparência, Eficiência, Controle, Estimulação e Inovação) representados no eixo X, a média da pontuação final das respostas é analisada dentro de uma escala entre -3 e +3, sendo -3 “extremamente ruim” e +3 “extremamente boa”, representadas pelo eixo Y.
As médias obtidas para as categorias Atratividade, Transparência, Eficiência, Controle, Estimulação e Inovação foram, respectivamente, -0,89, -0,69, -0,30, -0,10, -0,80 e -2,08. Esses valores estão representados no gráfico por meio da linha azul acinzentada, sendo necessário destacar que não é possível visualizar o valor da categoria Inovação porque o mesmo se encontra abaixo do limite inferior do gráfico disponibilizado pelos autores. Além disso, as métricas de Qualidade Hedônica e Qualidade Pragmática também foram calculadas e apresentam o valor de -1,44 e -0,36, respectivamente.
Avaliação Heurística
A Avaliação Heurística possibilitou identificar algumas violações das diretrizes sendo elas:
Contexto e navegação (1): na página inicial, são disponibilizados links que redirecionam o usuário para páginas específicas. Tais links estão abreviados e o seu significado não pode ser identificado sem o conhecimento prévio do usuário. Por exemplo, existem links disponibilizados como “IPVA”e “ICMS”na área de “Tributos”. Atribuiu-se o valor de 2 para a nota de severidade do problema identificado.
Contexto e navegação (2): pode-se destacar um problema encontrado em diversas páginas do site, que utilizam excessivamente a funcionalidade de redirecionar o usuário para outra aba do navegador. Dessa forma, o valor de severidade é de valor 3;
Carga de informação: No momento em que o site é aberto pela primeira vez, uma janela pop-up abre pedindo para que o usuário siga a Secretaria no Instagram. Isso fere a diretriz porque a atenção do cidadão deve estar focada nos serviços da página e não em banners publicitários. Janelas pop-up são intrusivas e quebram o controle da página, portanto, foi atribuído o valor 2 para nota de severidade;
Erros: Ao tentar realizar a consulta de informações de IPVA, caso o usuário não preencha o campo de CPF, por exemplo, o erro de campo obrigatório é dado em formato de pop-up, o que fere essa diretriz. Desse jeito, foi atribuído a nota de 3.
Autonomia: Não foram encontradas violações dessa diretriz além da janela publicitária citada acima na diretriz relacionada à carga de informação, que reflete em ambas. Como a violação já foi citada anteriormente, não foram consideradas mais nesse ponto;
Erros: Ao tentar realizar a consulta de informações de IPVA, caso o usuário não preencha o campo de CPF, por exemplo, o erro de campo obrigatório é dado em formato de pop-up, o que fere essa diretriz. Desse jeito, foi atribuído a nota de 3.
Redação: Não foram encontradas violações da diretriz de redação, uma vez que o site segue bem a mesma. As informações são dadas de forma clara nas páginas específicas e utilizam da forma correta da gramática;
Consistência e familiaridade: apesar de alguns itens relacionados à essa heurística terem sido considerados positivos, como a utilização do logotipo no canto superior esquerdo e a funcionalidade de busca no canto superior direito, foram encontrados alguns problemas. É preciso citar o fato do site não utilizar links na cor azul e no estilo de texto sublinhado (como grande parte de outros sites na Internet), o que pode confundir os usuários e impossibilitar os mesmos de encontrarem a informação desejada. Dessa forma, o valor atribuído para a nota de severidade foi de 3.
SUS
Teste de usabilidade
Tarefa 1: obteve 37 acertos de 71 respostas, resultando em uma taxa de acerto de 52,11% a qual é considerada baixa visto que se trata de um site governamental
Tarefa 2: obteve 22 acertos de 71 respostas, resultando em uma taxa baixa de 30,99%.
Tarefa 3: obteve 28 acertos de 71 respostas, resultando em 39,43% de acerto.
Respostas SUS
Após a realização dos cálculos das respostas do SUS, a média de pontuação obtida foi de 47,5. O resultado indica que a usabilidade do sistema analisado é considerada como péssima (ou de nota F).
Analisando o resultado
É necessário destacar que 71 usuários representa uma amostra pequena em comparação ao tamanho de possíveis usuários dentro do Estado de Minas Gerais, o que deve ser considerado como um alerta, mas não uma verdade absoluta.
Os dados da realização das tarefas foram complementados pela comparação dos resultados obtidos no questionário SUS:
41 dos 71 usuários discordam da afirmação “Eu achei o sistema fácil de usar”, bem como 48 discordam que “Eu imagino que as pessoas aprenderão como usar esse sistema rapidamente”;
Por outro lado, 46 dos 71 respondentes discordam da afirmação “Eu precisei aprender várias coisas novas antes de conseguir usar o sistema”, o que demonstra que o site utiliza de convenções que auxiliam seu uso mesmo não sendo frequente. Isso é reforçado nas respostas da afirmação “Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos para usar o sistema”, visto que 43 dos 71 respondentes também discordam da mesma.
Dessa forma, foi concluído que o sistema analisado possui diversos pontos de atenção que impacta na realização de tarefas por parte dos usuários, mas que podem ser melhorados. Assim como no SUS, os resultados do questionário UEQ ajudam essa percepção, pois o resultado da Qualidade Pragmática (aspectos relacionados à resolução de tarefas, representados por estimulação e inovação) foi de -0,36, o que na escala de -3 a +3 não representa um valor crítico, apesar de demonstrar a necessidade de melhoria. Na Qualidade Hedônica (aspectos não relacionados à resolução de tarefas, representados por transparência, eficiência e confiabilidade) o resultado foi de -1,44, reforçando a confiança dos resultados obtidos no SUS, ou seja, os pontos de melhoria levantados não refletem apenas na eficiência ao completar as tarefas, mas também em aspectos que influenciam nessa realização.
Recomendações para melhoria
Com base na análise dos resultados obtidos, foi possível sugerir melhorias para o site com o objetivo de facilitar sua utilização, buscando um impacto positivo na realização de tarefas por parte dos usuários. Sendo eles:
Links como “IPVA” e “ICMS” na área de “Tributos” na página inicial podem contar com um componente conhecido por tooltip, que destaca o significado do termo quando o ponteiro do mouse estiver parado em cima do texto.
Evitar que links sejam abertos em novas abas para garantir maior fluidez na experiência do usuário.
Banners publicitários podem ser utilizados conforme a necessidade da Secretaria, mas recomenda-se que não estejam em forma de pop-ups, e sim incluídos no site de forma que a navegação do usuário não seja interrompida.
Não utilizar pop-ups para demonstrar erros de preenchimento dos formulários, optar por textos auxiliares abaixo dos campos, de forma que a experiência seja mais linear e inclusiva.
Revisar as páginas que contém links importantes para que o estilo de texto e formatação siga o padrão adotado na internet e em outros sites governamentais, seguindo a coloração azul e sublinhada. Dessa forma permite que o cidadão utilize de conhecimentos prévios durante sua navegação, entregando uma sensação de maior entendimento.
Considerações finais
Os resultados obtidos mostram que o sistema analisado possui diversos pontos de atenção que impactam na realização de tarefas por parte dos usuários, mas que podem ser melhorados. É necessário destacar que as respostas foram captadas de forma voluntária, sem controle da atividade pelos pesquisadores, podendo não retratar a realidade de forma absoluta. Finalmente, foram realizadas recomendações de melhoria como a adição de componentes de interface que explicam melhor o conteúdo, bem como na padronização do estilo de links e remoção de pop-ups excessivos.