1
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Avaliações de Usuários do Aplicativo “gov.br”
como Base para Análise de Usabilidade
User Reviews of the "Gov.br" App as a Basis for Usability Analysis
Clarissa Evelin Pereira (1), Cleber Morais (2)
Paulo Henrique Souto Maior Serrano (3)
(1) Universidade Federal da Paraíba (UFPB), Brasil, clarissaevp@gmail.com
(2) cleber.morais@academico.ufpb.br
(3) paulo.serrano@academico.ufpb.br
Resumo
Este artigo apresenta uma análise sobre a usabilidade do aplicativo “Gov.br”, baseada nos comentários
deixados pelos usuários na Google Play Store, visando identificar áreas de melhoria na experiência
oferecida ao usuário. A questão central do estudo é como as opiniões expressas pelos usuários podem
contribuir para o aperfeiçoamento do aplicativo. Trata-se de uma pesquisa descritiva que utiliza como base
as heurísticas de usabilidade presentes na literatura científica. Os resultados mostram que os comentários
dos usuários destacam problemas significativos, como erros no funcionamento, dificuldades de exibição e
tarefas excessivamente complexas. As sugestões apresentadas reforçam a necessidade de simplificar os
processos, aumentar a acessibilidade e personalizar as funcionalidades. Comentários com notas
intermediárias (entre 2 e 4 estrelas) se mostraram particularmente úteis para identificar questões específicas
e propor soluções. A análise dessas opiniões se revela uma abordagem eficaz para avaliar e melhorar a
usabilidade de aplicativos móveis governamentais. O estudo destaca a relevância de uma abordagem
fundamentada em dados para orientar o desenvolvimento de interfaces centradas no usuário.
Palavras-chave: Usabilidade; Aplicativos Governamentais; Avaliações de Usuários; Experiência do
Usuário (UX)
2
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Abstract
This article presents an analysis of the usability of the "Gov.br" app, based on user comments left on the
Google Play Store, aiming to identify areas for improvement in the user experience. The central question
of the study is how user feedback can contribute to enhancing the application. This is a descriptive study
grounded in usability heuristics found in the scientific literature. The results show that user comments
highlight significant issues, such as functionality errors, display difficulties, and overly complex tasks. The
suggestions emphasize the need to simplify processes, increase accessibility, and personalize features.
Comments with intermediate ratings (between 2 and 4 stars) proved particularly useful for identifying
specific issues and proposing solutions. The analysis of these opinions emerges as an effective approach
for evaluating and improving the usability of government mobile applications. The study underscores the
relevance of a data-driven approach to guide the development of user-centered interfaces.
Keywords: Usability; Government Applications; User Reviews; User Experience (UX)
1 Introdução
O lançamento de aplicativos móveis ocorreu em todas as esferas de governo, seja federal,
estadual ou municipal. Eles desempenham um papel crucial na modernização dos serviços
governamentais, visto que podem ser acessados de forma contínua, a qualquer momento e lugar.
Por permitir que os cidadãos relatem problemas de maneira mais eficiente, fortalece os canais de
comunicação entre Estado e sociedade (Aguiar, 2012). Entre esses aplicativos, destaca-se o
“Gov.br”, uma plataforma que busca centralizar e simplificar o acesso a diversos serviços públicos
disponibilizados pelo governo brasileiro. Nesse contexto, verifica-se o reconhecimento da
importância desses aplicativos na qualidade da prestação de serviços e na aproximação entre o
governo e os cidadãos que os utilizam.
Este estudo objetiva analisar as interações nos comentários do aplicativo “Gov.br” para
entender como tais comentários podem representar informações importantes no processo de
avaliação da usabilidade. A avaliação foi realizada com base em parâmetros qualitativos e em
dados quantitativos extraídos dos comentários na Play Store. Ao examinar como as opiniões e
experiências expressas nos comentários podem contribuir para a usabilidade, busca-se entender de
que forma essas interações podem ser aproveitadas no aprimoramento da experiência dos usuários
e na definição de novos requisitos.
Os comentários do aplicativo “Gov.br” são uma fonte de dados aberta sobre a experiência
real dos usuários. Esses dados serão relacionados, na medida do possível, com as Heurísticas de
3
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Nielsen (1994), com as Oito Regras de Ouro de Shneiderman (2010) e com as SMArphone’s
uSability Heuristics de Inostroza et al. (2016), para que desse modo os comentários sejam
classificados segundo fundamentos teóricos de usabilidade.
Ao explorar as interações nos comentários dos usuários, foi possível identificar áreas de
melhoria e apresentar uma hierarquização quanto à prioridade dos problemas relatados, como a
quantidade expressiva de notificações de bug, falhas de exibição, problemas que impediam
completamente o uso do aplicativo e outras questões de usabilidade, que impediam uma
experiência satisfatória e eficiente ao usuário. A conexão estabelecida entre os feedbacks dos
usuários e as diretrizes de UX permite uma abordagem estruturada, baseada em evidências para a
avaliação da usabilidade de aplicativos móveis governamentais.
Este artigo está estruturado da seguinte forma: na seção 2, é apresentada a revisão de
literatura sobre interação online, avaliação de usabilidade e usabilidade em aplicativos móveis. A
seção 3 apresenta o detalhamento da metodologia utilizada na pesquisa, o processo de seleção da
amostra e os procedimentos realizados para a análise dos comentários sobre o aplicativo “Gov.br”.
Na seção 4 é apresentada a análise das avaliações entre 2 e 4 estrelas, com base na integração de
heurísticas de usabilidade. A seção 5 apresenta a discussão dos resultados obtidos e as
considerações sobre as constatações trazidas na análise. A seção 6, expõe as considerações finais
e sugestões para pesquisas futuras.
2 Revisão da Literatura
2.1 Interações mediadas por usuários
As interações em plataformas digitais podem ser entendidas utilizando-se um viés
sociológico através do conceito de “comunidades na internet”. Alguns teóricos utilizam os termos
“comunidades virtuais” ou “comunidades mediadas por computador” (Rheingold, 1993). Outros
optam por “rede social on-line” (Rainie, 2012). Howard Rheingold, em 1993, foi o primeiro a
difundir o conceito de comunidade virtual como um agrupamento cultural que ocorre de forma
sistemática no ciberespaço. Ele caracteriza essas comunidades como grupos de pessoas que
interagem regularmente no ambiente virtual, compartilham valores, interesses e metas, além de se
4
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
apoiarem mutuamente. Rainie (2012) apresenta o conceito de “rede social on-line” como uma
flexibilidade maior ao conceito de “comunidade virtual”. A rede social on-line permite outros
modos de comunicação que não presume uma relação igualitária entre os participantes. E, no meio
digital atual, essa representação é muito comum nos modelos de comunicação on-line: a relação
entre as pessoas que comentam e os mediadores não é igualitária. Esse desnível de poder não se
encaixa no conceito de “comunidade”, mas é possível de ser representado como uma rede social.
A interação nessas redes sociais não se limita apenas aos membros entre si, mas também
envolve os desenvolvedores das plataformas e os usuários, criando entre eles uma relação social.
Essa interação pode incluir feedback, suporte técnico e, até mesmo, a cocriação de conteúdo, de
acordo com a proposta do mediador da interface. Desse modo, isto pode contribuir para o
fortalecimento da rede. A metáfora da rede, tão presente nos estudos sobre a internet, destaca a
natureza sociotécnica dessas interações, nas quais os perfis individuais podem formalizar suas
conexões por meio de recursos diversos, isto é, seguir, curtir, comentar e compartilhar. Nesse
contexto, as plataformas on-line se apropriam das lógicas de conexão e as ampliam como parte de
uma estratégia comercial em particular, para incentivar os usuários a deixarem indicadores de suas
relações e preferências (D’Andréa, 2020, p. 17).
A interação dos usuários nas avaliações possibilita um entendimento sobre a percepção de
usabilidade do aplicativo a partir das queixas e questionamentos em diferentes dispositivos e
contextos de uso. Esta interação social pode levar a ajustes técnicos que melhoram a
compatibilidade e a estabilidade dos aplicativos. Ao implementar melhorias baseadas no feedback
dos usuários e comunicar essas mudanças de forma clara nas notas de atualização, os
desenvolvedores demonstram que as opiniões dos usuários estão sendo consideradas, incentivando
um ciclo de feedback positivo e melhoria contínua. Durante a análise dos comentários dos usuários,
foi investigada a possibilidade de existência dessa estrutura de comunidade nas interações e se há
um envolvimento ativo dos desenvolvedores com os comentários.
Essas dinâmicas de interação também são moldadas pelas características das plataformas
(Rainie, 2012). No caso dos comentários, em sites de notícias, por exemplo, eles podem representar
uma extensão do conteúdo principal, possibilitando debates e discussões sobre os temas abordados.
Em plataformas de mídia social, como Instagram, Twitter ou YouTube, os comentários podem
5
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
variar em termos de tom e conteúdo, ao abranger desde feedback positivo até críticas construtivas
ou negativas. Em lojas virtuais de aplicativos, como a Play Store, Amazon e App Store, os
comentários e avaliações são informações que influenciam diretamente nas decisões de download,
compra e uso dos aplicativos.
Aspectos específicos da experiência do usuário, como a usabilidade, as funcionalidades, o
desempenho e o suporte ao cliente podem representar a satisfação geral dos usuários, destacando
os aspectos que estão sendo bem recebidos pela comunidade. A moderação dos comentários
também desempenha um papel social na dinâmica das interações on-line, visto que o modo como
eles são monitorados e regulados afeta o ambiente de comunicação, influenciando a qualidade e
quantidade das interações e o comportamento dos usuários envolvidos.
2.2 Usabilidade
Dentre as características dos produtos tecnológicos, a usabilidade é considerada um
elemento que avalia o quão fácil é utilizar as interfaces do usuário com base em elementos
específicos de qualidade (Shneiderman, 2010). Esses elementos são conjuntos de diretrizes,
princípios e medidas que auxiliam na identificação de problemas tangíveis na interação entre o
usuário e o sistema (Nielsen, 1995). Nesse sentido, os pesquisadores exploram a eficácia dessas
técnicas de análise nas aplicações em contextos específicos com ênfase na identificação de
problemas comuns de usabilidade e na proposição de diretrizes de design para melhorar a
experiência do usuário.
Nielsen (1994) definiu a usabilidade em cinco componentes de qualidade: (1)
aprendizagem, que se refere à facilidade de realizar tarefas básicas ao encontrar o design pela
primeira vez; (2) eficiência, que diz respeito à rapidez na execução de tarefas após aprender o
design; (3) memorabilidade, que se relaciona com a facilidade de recuperar a habilidade de uso
após um período sem utilização; (4) erros, que aborda a gravidade dos erros e a facilidade de
recuperação deles e a (5) satisfação, que avalia o quão agradável é usar o design.
Shneiderman (1998) apresenta uma série de princípios de design conhecidos como as “Oito
Regras de Ouro de Design de Interfaces”. Estes princípios fornecem orientações sobre como
integrar elementos fundamentais à interface de forma mais eficaz para aprimorar a usabilidade.
6
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Posto que, essas regras são semelhantes às heurísticas de Nielsen, a distinção reside na abordagem
contextual do uso de diálogos na interface. Esses diálogos ressaltam a importância de oferecer aos
usuários uma sequência clara de ações e feedback adequada quando um conjunto de atos é
concluído.
O surgimento dos dispositivos móveis apresenta novos desafios a serem considerados em
termos de usabilidade. Pesquisas conduzidas por Gong e Tarasewich (2004) indicam que quatro
das diretrizes de Shneiderman podem ser facilmente adaptadas para dispositivos móveis. Estas
adaptações incluem: permitir que usuários usem atalhos, forneçer feedback informativo, projetar
diálogos para facilitar o encerramento e apoiar o locus interno de controle. Portanto, as regras
propostas por Shneiderman tornam-se atrativas para serem aplicadas na avaliação de usabilidade
do aplicativo selecionado.
Segundo Biel et al. (2010), uma avaliação de usabilidade deve focar nos problemas de uso
com base em erros humanos e de aplicação. Entre as técnicas utilizadas para verificação, estão a
avaliação da interface do usuário em um protótipo, para determinar problemas importantes de
interação e usabilidade visível; análise de cenários para identificar cenários adequados que
descrevem requisitos de usabilidade e interações; e a técnica de caso de uso para avaliar
componentes, interface e padrões de design. O estudo de Biel et al. (2010) propôs dimensões de
análise que incluem: utilidade, erro, compreensibilidade, facilidade de aprendizado, satisfação e
intuitividade.
Raita e Oulasvirta (2011) apresentam um aspecto interessante da avaliação de usabilidade:
o estudo empírico testou a dimensão da expectativa. Para usabilidade objetiva, foram medidas a
taxa de sucesso e a conclusão da tarefa, enquanto a usabilidade subjetiva utilizou aspectos
específicos da tarefa e pós-experimento. O estudo indicou que as expectativas do usuário
influenciam fortemente a classificação de usabilidade, ao ponto de ofuscar um bom desempenho.
Isso sugere que a avaliação não apenas revela problemas de usabilidade, mas também mostra como
os futuros usuários experimentarão e perceberão o produto. Nesse contexto, a dimensão de
usabilidade destacada por este estudo é a atratividade.
Baharuddin et al. (2013) identificam dez aspectos de usabilidade relevantes no contexto
móvel, derivados de uma análise sistemática de estudos empíricos sobre a usabilidade móvel. Esses
7
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
aspectos devem ser enfatizados durante a concepção e avaliação de um produto. São eles: eficácia,
eficiência, satisfação, utilidade, estética, facilidade de aprendizado, simplicidade, intuitividade,
compreensibilidade e atratividade.
Além disso, destacam quatro fatores contextuais que devem ser compreendidos e
priorizados para determinar quais aspectos de usabilidade serão considerados no processo de
design e avaliação de produtos: usuário (incluindo perfil e informações demográficas), ambiente
(considerando que a tecnologia pode ser utilizada em diferentes contextos), tecnologia
(considerando as vantagens e desvantagens de cada dispositivo) e a tarefa ou a atividade que o
usuário realiza usando o produto que deve ser examinado, atentando aos seus objetivos e à
complexidade das ações a serem executadas.
No modelo People At the Centre of Mobile Application Development (PACMAD) de
usabilidade móvel, proposto por Harrison et al. (2013), são identificados fatores que afetam o
design de aplicações móveis. Entre esses fatores, destaca-se o usuário, o qual engloba a experiência
prévia do usuário e as habilidades motoras, influenciando diretamente na forma como ele interage
com a aplicação.
A tarefa que o usuário realiza e o contexto de uso, incluindo o ambiente físico e o contexto
de uso da aplicação, são elementos-chave a serem considerados no processo de desenvolvimento.
Os autores também ressaltam a importância de atributos que refletem a usabilidade da aplicação e
podem ser utilizados como critérios de avaliação, eficácia, eficiência, satisfação e outros.
As heurísticas SMASH, desenvolvidas por Inostroza et al. (2016), apresentam pontos de
análise semelhantes aos das heurísticas de Nielsen. Cada heurística SMASH é acompanhada por
uma explicação detalhada específica do contexto móvel, logo, auxilia na compreensão de
problemas além do escopo das heurísticas de Nielsen.
Esses fatores e dimensões de usabilidade foram priorizados no desenvolvimento desta
pesquisa, resultando em uma análise abrangente. Ao integrar os conceitos e as diretrizes de Nielsen
(1994), Shneiderman (2010), Baharuddin et al. (2013), Harrison et al. (2013) e Inostroza et al.
(2016) pretende-se identificar e classificar indícios de problemas de usabilidade através dos
comentários dos usuários que interagem com o app “Gov.br”. Essa interação foi analisada
8
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
observando-se os fatores contextuais, as expectativas do usuário e os atributos específicos da
interface móvel em questão.
2.3 Trabalhos relacionados
Ao revisar estudos anteriores, é possível identificar que as pesquisas sobre Experiência do
Usuário (UX) têm sido realizadas por meio de investigações ou questionários (Maia e Furtado,
2016; Quiñones et al., 2018). Esses métodos têm a vantagem dos avaliadores conseguirem
identificar padrões na resposta ao uso do sistema, permitindo que os sujeitos respondam por conta
própria, sem a intervenção de um avaliador. No entanto, podem não abranger uma lista completa
de critérios de avaliação (Rivero; Conte, 2017). Além disso, Rhiu e Yun (2018) sugerem que
métodos de observação, como pesquisas de campo, questionários e métodos baseados em diários
(DRM), podem não ser adequados em estudos que visam compreender a experiência do usuário
em produtos inteligentes ou produtos criados com abordagens orientadas pela tecnologia.
Esse tipo de produto está sujeito a mudanças rápidas, conforme a utilização dos usuários e
como eles estão sendo ou não capazes de utilizar de forma plena as funções fornecidas, ou as
necessidades que não foram consideradas durante a fase de desenvolvimento (Rhiu e Yun, 2018).
Son e Kim (2023), defendem que a análise dos comentários de usuários oferece ao público uma
visão sobre a experiência geral do aplicativo, qualidade, facilidade e funcionalidade. Para os
desenvolvedores, esses comentários fornecem feedback sobre bugs, problemas de desempenho,
recursos desejados e oportunidades de melhoria, auxiliando na orientação dos futuros
desenvolvimentos e atualizações.
Avaliar a UX pode ser um processo caro e demorado, exigindo especialistas treinados ou
inúmeros usuários para executar tarefas (Hedegaard e Simonsen, 2014). Neste contexto, a
disponibilização das fontes abertas de resenhas, tais como avaliações dos usuários nas plataformas
de aplicativo, como a Play Store ou App Store, tornam-se uma alternativa para analisar a qualidade
dos aplicativos mobile e identificar os fatores que melhoram ou deterioram a experiência dos
utilizadores, uma vez que são um diretório centralizado para os aplicativos mobiles, facilitando a
instalação e a obtenção de atualizações (Goul et al., 2012).
9
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Além de serem escritos de forma voluntária por usuários, esses comentários podem incluir
informações sobre problemas técnicos, sugestões de recursos ausentes, pedidos de aprimoramentos
e relatos de experiências. Esses dados qualitativos podem ter um papel significativo nas escolhas
dos novos usuários e representar uma fonte relevante para os desenvolvedores.
Por meio da análise dos relatos voluntários dos usuários, os desenvolvedores podem
identificar quais aspectos de problemas ou de acertos estão sendo mencionados e podem investigar
de que forma esses aspectos impactam na experiência do usuário, considerando, por exemplo, a
classificação da avaliação e a análise do sentimento expresso. Esses dois indicadores refletem a
percepção geral dos usuários sobre o aplicativo (Rodrigues et al., 2017).
Utilizando essas informações, os profissionais podem priorizar ações específicas durante o
desenvolvimento, dando ênfase aos aspectos que apresentam uma relação evidente com as
avaliações mais altas ou mais baixas (Nakamura et al., 2019). Esses fatores podem ser direcionados
para aprimorar o aplicativo e para a criação de uma estratégia competitiva mais eficiente no
mercado (Simmons; Hoon, 2016). Além disso, a quantidade de dados disponíveis os torna uma
fonte de informações que profissionais e pesquisadores podem empregar para detectar padrões,
tendências e elementos que influenciam a experiência do usuário em diversos softwares móveis,
algo difícil de obter por meio de estudos empíricos (Nakamura et al., 2022).
3 Metodologia
O presente estudo caracteriza-se como descritivo (Gil; Vergara, 2015) por investigar as
interações presentes nos comentários das classificações e resenhas do aplicativo “Gov.br” para
avaliar a usabilidade no contexto mobile. Este trabalho adotou o percurso metodológico proposto
por Silva et al. (2018), o qual consiste no agrupamento de heurísticas pertencentes a fontes
distintas. Essa abordagem permitirá uma análise abrangente e integrada, combinando diferentes
perspectivas teóricas para fornecer uma discussão significativa sobre a usabilidade.
As heurísticas de usabilidade de Nielsen (1994) fornecem diretrizes fundamentais para o
design de interfaces centradas no usuário. Para complementar, as Oito Regras de Ouro de
Shneiderman (2010) enfatizam a importância da consistência, atalhos, feedback imediato e
10
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
diálogos concisos. Enquanto isso, as SMArtphone's uSability Heuristics de Inostroza et al. (2016)
reforçam conceitos como visibilidade do status do sistema, correspondência com o mundo real,
controle do usuário e a prevenção de erros, além de introduzir elementos como personalização,
eficiência de uso e ergonomia física.
Essas heurísticas orientam coletivamente o desenvolvimento de interfaces eficazes e
amigáveis aos usuários, o quadro 1 destaca as principais heurísticas selecionadas para a análise e
identifica se uma diretriz específica pertence a mais de uma referência.
Quadro 1 – Heurísticas para a realização da análise
Nº
Heurística
Nielsen
8 Golden
Rules
SMASH
1
Visibilidade do status do sistema
x
x
x
2
Correspondência entre o sistema e o mundo
real
x
x
x
3
Controle e liberdade do usuário
x
x
x
4
Consistência e padrões
x
x
x
5
Prevenção de erros
x
x
x
6
Reconhecimento em vez de memorização
x
x
7
Flexibilidade e eficiência de uso
x
8
Estética e design minimalista
x
9
Ajuda e documentação
x
x
x
10
Interação física e ergonômica
x
Fonte: Os autores
Para a seleção das heurísticas utilizadas nesta análise, foram considerados critérios de
abrangência, relevância e complementaridade. A abordagem metodológica de Silva et al. (2018)
orientou o agrupamento de heurísticas provenientes de diferentes fontes, permitindo uma visão
integrada da usabilidade. As heurísticas de Nielsen (1994) foram escolhidas por serem amplamente
reconhecidas e por fornecerem uma base sólida para o design de interfaces centradas no usuário.
As Oito Regras de Ouro de Shneiderman (2010) foram incluídas devido à sua ênfase em aspectos
cruciais como consistência, atalhos, feedback imediato e diálogos concisos, fundamentais para
uma interação eficiente.
11
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
De forma adicional, as heurísticas SMArtphone's uSability Heuristics (SMASH) de
Inostroza et al. (2016) foram selecionadas para abordar aspectos específicos da usabilidade em
dispositivos móveis, como personalização, eficiência de uso e ergonomia física. A combinação
dessas heurísticas oferece um conjunto de diretrizes que cobrem uma ampla gama de aspectos de
usabilidade, assegurando que a análise seja abrangente e detalhada. A seleção dessas heurísticas
garante que os pontos críticos de usabilidade sejam adequadamente abordados, proporcionando
uma avaliação fundamentada.
Em relação à escolha do objeto de estudo, foi considerada a relevância da solução, sendo o
“Gov.br” o aplicativo com mais de cem milhões de downloads, mais de 8 milhões de avaliações
registradas na Play Store (1) e por tratar-se de um importante canal de acesso a serviços
governamentais. Como o objetivo do estudo é a avaliação da usabilidade móvel, a amostra
escolhida para a análise inclui apenas os comentários e notas que estão na categoria “telefone”.
A abordagem qualitativa foi escolhida como base de interpretação dos dados. Os métodos
qualitativos requerem habilidades para observar, registrar e analisar interações reais entre pessoas,
bem como entre pessoas e sistemas (Liebscher, 1998). Essa abordagem foi escolhida por se tratar
de um fenômeno complexo, de natureza social, no qual o entendimento do contexto social e
cultural é significativo.
A coleta dos dados foi realizada por meio de um script automatizado que reuniu as
informações públicas dos aplicativos disponíveis na plataforma Google Play Store. Essa
ferramenta facilita o processo de coleta de grandes volumes de avaliações e comentários
diretamente da Google Play Store, possibilitando acesso aos dados públicos em uma estrutura
adequada para análises. Desse modo, foi possível rodar o script em 27/02/2024 e obter os dados
dos comentários do “Gov.br”, com os campos “nome de usuário”, “score” das avaliações, “número
de downloads”, “versão” utilizada, data do comentário e a resposta dos desenvolvedores.
O resultado desta coleta foi a extração de 16.915 comentários, abrangendo desde a versão
3.2.23 até a versão 3.5.2009 do aplicativo “Gov.br". Essa amostra permite uma análise abrangente
das interações dos usuários em mais de uma versão do aplicativo.
12
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Para investigar os dados, foi empregada a técnica de análise de conteúdo com base na
Qualitative Content Analysis (QCA) de Schreier (2012) por oferecer uma abordagem estruturada
e sistemática para a análise de dados qualitativos, permitindo a identificação e interpretação de
padrões e temas emergentes nos textos analisados. Nessa direção, a amostra inclui conteúdos
autênticos, redigidos por indivíduos reais, possibilitando uma avaliação rigorosa e precisa. A
política de publicação de comentários do Google inclui regras de moderação para remover
conteúdos ofensivos, falsos ou que violem políticas de privacidade e direitos autorais, o que, de
certo modo, também representa um recorte a essa amostra.
Embora sejam dados públicos, foram descartados os campos “nome de usuário” e “foto de
perfil”, uma vez que não eram essenciais para a análise. Após coletados, os comentários foram
estruturados e preparados para avaliação. Para a categorização, foram considerados aspectos como
a data de publicação, o tamanho do texto, a existência ou ausência da resposta dos desenvolvedores
e a diversidade de opiniões expressas pelos usuários.
Uma estratégia de filtragem foi implementada para remover comentários com poucas
palavras que não contribuem significativamente para a análise. Esses comentários e outros, que
geralmente consistem em expressões curtas como “muito bom” ou “muito ruim”, ofereceram
pouco valor informativo ou detalhes sobre a experiência do usuário. Portanto, optou-se por
removê-los da análise para direcionar nosso foco para interações mais elucidativas. Embora esses
comentários possam refletir uma resposta geral à experiência do usuário, a exclusão pode permitir
uma análise prescritiva e significativa dos aspectos que impactam verdadeiramente a usabilidade
e a satisfação do usuário.
Logo após, foram realizadas análises descritivas para examinar a distribuição das
classificações, identificando padrões gerais nos comentários. Essas classificações foram
enquadradas em notificações de bug, sugestões de feature e problemas de usabilidade com base na
junção das Heurísticas de Nielsen (1994), as Oito Regras de Ouro de Shneiderman (2010) e as 12
heurísticas específicas do contexto móvel, as SMArtphone's uSability Heuristics de Inostroza et al.
(2016). Esse percurso foi adotado a partir da metodologia utilizada por Silva et al. (2018) com o
agrupamento de heurísticas pertencentes a fontes distintas.
13
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Um critério comparativo entre os comentários extremos e os moderados foi estabelecido,
com o intuito de avaliar a relevância e profundidade dos comentários. Esse critério foi definido
após a análise de uma subamostra de comentários extremos, aqueles com notas 1 ou 5. Muitos
desses comentários, assim como os de poucas palavras, não agregam conteúdo à análise ou por ser
muito eufórico, ou extremamente irritado/frustrado com a plataforma. Dessa forma, foram
descartados os comentários com sentimentos extremos, tanto positivos como negativos da amostra
com avaliações 1 ou 5. Este critério permitiu uma análise estruturada dos feedbacks construtivos,
destacando a importância dos comentários moderados na identificação de áreas específicas para
melhoria.
A segmentação de acordo com as notas atribuídas pelos usuários foi realizada para
selecionar os comentários intermediários, aqueles entre 2 e 4 estrelas, resultando em 1.041
comentários considerados mais propensos a conter críticas construtivas e sugestões detalhadas
sobre problemas de usabilidade e possíveis melhorias.
Figura 1 – Gráfico de funil sobre a filtragem dos dados
Fonte: Os autores
Por meio da Análise de Conteúdo Qualitativa (QCA), foi possível organizar e interpretar
os comentários de forma mais detalhada. As categorias relevantes relacionadas às heurísticas de
usabilidade foram identificadas e refinadas ao longo do processo de análise. Essa segmentação
permitiu examinar aspectos específicos de cada comentário, facilitando a identificação de padrões
e a comparação entre eles.
14
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
As abordagens utilizadas reduziram a quantidade de dados a serem processados e geraram
novas percepções ao agrupar informações concretas sobre categorias mais amplas. Foram
investigados especificamente aspectos relacionados às heurísticas de usabilidade selecionadas,
como “visibilidade do status do sistema”, “correspondência entre o sistema e o mundo real”,
“controle e liberdade do usuário”. Buscou-se avaliar, também, a capacidade desses comentários
em elucidar problemas de usabilidade e o impacto na experiência do usuário (UX).
4 Análise das avaliações
O dataset composto por 1.041 comentários constitui um conjunto robusto para análise. A
distribuição das classificações reflete diferentes níveis de satisfação dos usuários: 676 comentários
receberam 2 estrelas, indicando insatisfação moderada; 379 comentários foram avaliados com 3
estrelas, representando uma percepção intermediária de qualidade; e 323 comentários obtiveram 4
estrelas, sinalizando uma satisfação relativamente alta, embora com margens para melhorias.
Apenas 37 comentários foram respondidos pelos desenvolvedores, o que corresponde a menos de
5% do total.
As heurísticas, baseadas em princípios de usabilidade, que orientaram a análise foram
detalhadas no quadro 1. A categoria “Prevenção de erros” (categoria 5) foi a mais evocada,
refletindo uma preocupação significativa com falhas de desempenho e erros sistêmicos.
Comentários, como os exibidos nos quadros 2, apontam problemas técnicos recorrentes, como
bugs e falhas de segurança. A identificação de sete ocorrências relacionadas à palavra “bug” e
suas variações, como “bugado”, destaca que, apesar de não ser o volume mais expressivo, esses
problemas têm impacto crítico no uso do aplicativo, sendo relatados de forma explícita pelos
usuários.
15
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Quadro 2 – Avaliações duas estrelas sobre erro de segurança e notificação de erros
Comentário
Avaliação
Versão
Data/Hora
BUG de Segurança: Ativar o leitor biométrico
não serve pra nada. Se vc cancela a leitura da
digital clicando na tecla de voltar, pulando a
etapa da verificação biométrica, o aplicativo
autoriza a entrada do mesmo jeito. Pensa se esse
fosse um aplicativo de banco.
2
3.5.2009
22/02/2024 12:47:49
O desenvolvedor ainda tropeça em erros bobos:
existe o leitor de QR na tela inicial, porém ao
abrir o app já vai pedindo a digital para entrar,
tem que cancelar. É até preferível que não peça a
digital automaticamente pois às vezes o app é
simplesmente lento para aparecer, nisso a pessoa
já tocou no botão entrar com gov, que faz é abrir
a página de login, ao invés de pedir a biometria.
Isso junto ao login que fica expirando completa
a irritação.
2
3.5.81
23/02/2024 15:52:46
Fonte: Google Play Store
(1)
O primeiro comentário do quadro 2 apresenta a insatisfação do usuário ao expor uma falha
de segurança relacionada à funcionalidade de autenticação biométrica, que permitiria o acesso ao
aplicativo mesmo após a interrupção do processo de verificação.
No quadro 2, o segundo comentário detalha uma falha no fluxo de autenticação, relatando
que o sistema exige autenticação biométrica de forma inadequada, impactando a experiência de
uso. Esse tipo de erro, embora possa parecer simples, pode prejudicar a fluidez e usabilidade do
sistema, gerando frustração.
Outro ponto na análise foi a frequência elevada de comentários em que os usuários afirmam
não conseguir realizar certas tarefas no aplicativo, o que também reflete problemas nas categorias
de “Flexibilidade e eficiência de uso” (categoria 7) e “Prevenção de erros” (categoria 5). Foram
contabilizadas 212 ocorrências combinadas de menções a “não consigo” e “nao consigo”; 46
comentários com a palavra “dificuldade”, demonstrando que muitos usuários enfrentam barreiras
para executar tarefas essenciais.
16
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Quadro 3 – Avaliação duas estrelas sobre o processo de verificação
Comentário
Avaliação
Versão
Data/Hora
É péssimo o método de entrada em duas etapas do app,
já fiz de tudo pra acessar minha conta e não consigo
porque não chega o código de acesso, mesmo com
todas a notificações liberadas do app, já segui todas as
instruções pra quem está com essa dificuldade, mas
muitas delas não faz nem sentido já que eu preciso ter
assesso ao app pra faze-la. NÃO TEM COMO
ACESSAR O "acesso.gob.br/segurança" porque precisa
estar logado pra isso. Vocês precisam dar mais opções
para receber o código, todo app tem.
2
3.5.81
13/02/2024 10:59:55
Fonte: Google Play Store
(1)
Os problemas relacionados ao processo de verificação e reconhecimento facial, conforme
apresentado no quadro 3, apresentaram recorrências na análise, o que revela uma deficiência no
processo de verificação em duas etapas que impede o acesso dos usuários ao aplicativo. Outro
problema dessa natureza foi relatado quando o usuário trocou de aparelho celular. O que sugere
possíveis falhas de compatibilidade ou configuração entre diferentes dispositivos.
Alguns usuários comentaram sobre a necessidade de melhorias na interface do aplicativo.
Entre os principais pontos de reclamação, as avaliações sugeriam alterações que variavam desde
funcionalidades básicas, como o fluxo de login, até ajustes em recursos mais avançados, como a
simplificação da navegação e o design de componentes visuais, conforme apresentado no quadro
4.
Quadro 4 – Avaliações três estrelas sobre simplificação de navegação e sobre o processo de verificação
Comentário
Avaliação
Versão
Data/Hora
Deveria haver um menu mais simples e com todas as
informações necessárias sobre os serviços oferecidos
3
3.5. 2009
14/02/2024
11:47:31
Estou bem chateada, faz tempo que não consiga ver
minhas consultas agendadas, hoje mesmo apareceu pra
mim que meu filho tem uma consulta, aí pede pra ir pro
aplicativo, aí você entra no minha saúde e não aparece
agendamento nenhum!!
3
3.5. 2009
22/02/2024
15:22:46
Fonte: Google Play Store
(1)
Um menu mais simples e completo apresentado como sugestão no quadro 4 indica que a
atual navegação é complexa. Esse feedback aponta para a necessidade de melhoria na estrutura do
17
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
menu, o que poderia facilitar a navegação e melhorar a experiência do usuário. A frustração com
a funcionalidade de agendamento do aplicativo indica uma falha na sincronização ou na
atualização das informações, prejudicando a confiabilidade do aplicativo para gerenciar e exibir
agendamentos de maneira eficaz.
A análise revelou ainda problemas na categoria “Ajuda e documentação” (Categoria 9),
opções de personalização (categoria 3) e a melhoria da acessibilidade para diferentes grupos de
usuários (categoria 10) com apenas 32 comentários mencionando “ajuda” e 3 referindo-se a
“suporte”. A frequência dessas menções sugere que o suporte oferecido pode ser inadequado para
resolver os problemas encontrados pelos usuários, conforme apresentado no comentário um do
quadro 5, que destaca dificuldades de acessibilidade para usuários de leitores de tela.
Quadro 5 – Avaliações três estrelas e duas estrelas sobre simplificação de navegação e sobre o processo
de verificação
Comentário
Avaliação
Versão
Data/Hora
Depois de 9 tentativas consegui, mas notei que há um
conflito do app com o meu leitor de tela: no caso é o
talk Beck, foi preciso desliga-lo para confirmar o
número de contato. (02/02/2024: há uma dificuldades
claras para selecionar campos de senha e código para
quem usa leitores de tela em tudo que o acesso use
login com o app gov . luxo é simplicidade eficiente
complexidade é excesso de incertezas.
3
n consta
02/02/2024 16:13:40
Infelizmente não consigo avaliar de modo positivo não
consigo obter no aparelho código de acesso, nem e-
mail nem torpedo, não tenho sucesso nas solicitações
de ajuda para regularização
2
3.5.2009
22/02/2024 07:02:00
Fonte: Google Play Store
(1)
As sugestões dos usuários oferecem feedbacks para o desenvolvimento futuro do
aplicativo, destacando oportunidades para aprimorar a experiência do usuário. Dificuldades de
login e acesso ao aplicativo (categoria 3), confusão na navegação da interface (categoria 3), falta
de feedback adequado (categoria 5) e complexidade excessiva em certas tarefas (categoria 6), este
último, exemplificado no comentário 2 do quadro 5, representam pontos que alguns usuários
consideram dignos de melhoria e mesmo que possam ser provocados por falhas externas ao
aplicativo “Gov.br” podem ser investigados por seus desenvolvedores a partir de sua recorrência.
18
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Os problemas mais recorrentes identificados na análise estão relacionados à categoria de
“Prevenção de erros” e “Flexibilidade e eficiência de uso”, conforme evidenciado pelos exemplos
práticos dos comentários analisados. A dificuldade com a leitura de QR codes e falhas no processo
de verificação indicam deficiências nas funcionalidades do aplicativo que impactam diretamente
a experiência do usuário. Erros técnicos como bugs de segurança e problemas de compatibilidade
revelam a necessidade de ajustes no sistema.
5 Discussões sobre a análise
A estrutura de avaliações da plataforma Google Play Store apresenta limitações em termos
de interação social, o que impede que sejam plenamente caracterizadas como uma comunidade
virtual nos termos propostos por Rheingold (1993). Conforme o conceito de “rede social on-line”
de Rainie (2012), as interações nesta plataforma são assimétricas, o sistema de avaliação da
plataforma não pressupõe a avaliação contínua dos aplicativos e a possibilidade de resposta é
limitada apenas aos desenvolvedores, vetando a participação de outros usuários nos comentários
de seus pares, exceto pelo que é propiciado pelo contador de “polegar pra cima” acionado pelo
usuário que “Marca como útil” outra avaliação. Essa dinâmica restringe a colaboração mútua entre
usuários, destacando o caráter mecânico das interações.
A taxa de resposta dos desenvolvedores é de menos de 5%, o que sugere uma interação
limitada entre a equipe de desenvolvimento e a base de usuários. Essa limitação pode indicar que
algumas avaliações não estão sendo consideradas no processo de desenvolvimento das
atualizações do aplicativo e uma lacuna no feedback contínuo compromete o ciclo de melhoria
recomendado por D’Andréa (2020), onde as plataformas deveriam incentivar conexões mais
robustas e fomentar a construção coletiva de soluções.
A heurística de “Prevenção de erros” destacou-se como a categoria mais evocada, conforme
destacam Nielsen (1994) e Inostroza et al. (2016). Falhas relacionadas a bugs e segurança, como
dificuldades no sistema de autenticação biométrica e na verificação em duas etapas, foram
frequentemente citadas. Essas questões evidenciam a importância de aprimorar as práticas de
19
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
design centradas no usuário (Shneiderman, 1998), com foco em reduzir erros e oferecer feedback
claro aos usuários.
A recorrência de problemas relacionados à “Flexibilidade e eficiência de uso” ressalta que
muitos usuários enfrentam dificuldades para completar tarefas, conforme evidenciado pelos 212
comentários mencionando esse tipo de problema. A complexidade na realização de algumas tarefas
afeta negativamente a usabilidade, tornando a experiência de utilização menos eficiente para uma
parcela da base de usuários. Segundo Gong e Tarasewich (2004), essas dificuldades são
amplificadas em contextos móveis, o que reforça a necessidade de adaptar diretrizes clássicas de
usabilidade às características específicas de dispositivos móveis.
A categoria “Ajuda e documentação”, que recebeu 32 menções, aponta lacunas nos
mecanismos de suporte, alinhando-se às observações de Baharuddin et al. (2013), que destacam a
necessidade de simplicidade e compreensibilidade no acesso à assistência. A ausência de
documentação clara e acessível compromete a autonomia dos usuários, impactando negativamente
a experiência geral.
A análise sugere que as avaliações dos usuários dos aplicativos na Google Play podem
trazer bons resultados e um melhor direcionamento no processo de identificação e resolução de
problemas de usabilidade. O aplicativo “Gov.br” apresentou necessidades de otimizações com
ênfase nas áreas de prevenção de erros, simplificação da navegação e aumento da acessibilidade.
A criação de um ambiente mais participativo, conforme propõe Rainie (2012), poderia fortalecer
a relação entre usuários e desenvolvedores, otimizando o ciclo de feedback.
6 Conclusões
Analisar os 1041 comentários dos usuários na Google Play Store sobre o aplicativo
“Gov.br” revelou-se uma abordagem eficaz para apontar categorias de avaliação de problemas de
usabilidade nos aplicativos móveis, esse conjunto de dados representam informações úteis para o
aprimoramento da experiência do usuário. Ao integrar as heurísticas de usabilidade propostas por
Nielsen (1994), Shneiderman (1998) e Inostroza et al. (2016), foi possível identificar padrões e
tendências capazes de orientar recomendações específicas para o desenvolvimento dos sistemas.
20
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Problemas técnicos, como bugs e falhas de segurança, que comprometem diretamente a
confiança e a experiência do usuário, problemas no sistema de autenticação biométrica e o
processo de verificação em duas etapas foram citados como áreas que necessitam de atenção. A
usabilidade do “Gov.br” também questionada em razão da complexidade de algumas tarefas. Os
usuários apontaram que simplificar os fluxos de navegação, ajustar as funcionalidades de login e
aumentar a personalização do aplicativo podem melhorar a experiência geral.
Os comentários dos usuários revelaram também a influência do contexto sociotécnico das
plataformas, como discutido por D’Andréa (2020). A ausência de interação significativa entre
desenvolvedores e usuários pode ser vista como um obstáculo ao fortalecimento de uma “rede
social on-line” mais funcional e participativa, como descrito por Rainie (2012).
Aplicar as heurísticas de usabilidade junto a avaliação e classificação dos comentários dos
usuários no aplicativo “Gov.br” revelou-se uma abordagem relevante no processo de identificação
de falhas. Aprofundar o entendimento das experiências relatadas possibilita uma abordagem
prática e fundamentada para o desenvolvimento de aplicativos. É importante incorporar o ciclo de
feedback no fluxo de trabalho reforçando o design centrado no usuário e o compromisso com uma
experiência mais inclusiva e acessível para todos os usuários e, no caso do “Gov.br”, para todos
os cidadãos.
Destaca-se algumas limitações dessa abordagem de pesquisa, uma vez que algumas
avaliações podem ser provocadas por aplicativos de terceiros, como o caso dos softwares leitores
de tela e outras avaliações podem conter uma sobreposição na classificação junto às categorias,
algo que não foi considerado na avaliação. A inclusão de técnicas de Processamento de Linguagem
Natural (PLN) para realizar a classificação automatizada pode ser mais eficiente e ampliar a
compreensão dos feedbacks dos usuários, inclusive permitindo uma avaliação longitudinal,
comparando diferentes versões e permitindo a avaliação da eficácia das atualizações e as mudanças
na percepção dos usuários.
Uma outra prática que não entrou no escopo desta pesquisa, foi a avaliação dos pontos
questionados pelos usuários dentro do próprio aplicativo, o que poderia corroborar a
correspondência das avaliações com problemas de usabilidade observáveis, identificados pela
análise especializada. Em pesquisas futuras, essa prática pode validar ainda mais os resultados e
21
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
expandir a aplicabilidade das heurísticas em ambientes móveis, alinhando-se aos modelos
propostos por Harrison et al. (2013).
Aplicar as heurísticas de usabilidade junto a avaliação e classificação dos comentários dos
usuários no aplicativo “Gov.br” revelou-se uma abordagem relevante no processo de identificação
de falhas. Aprofundar o entendimento das experiências relatadas possibilita uma abordagem
prática e fundamentada para o desenvolvimento de aplicativos. É importante incorporar o ciclo de
feedback no fluxo de trabalho reforçando o design centrado no usuário e o compromisso com uma
experiência mais inclusiva e acessível para todos os usuários e, no caso do “Gov.br”, para todos
os cidadãos.
Notas
(1) Dados de 14/10/2024 identificados no próprio site do aplicativo “Gov.Br” na loja Google Play, URL disponível
em: https://play.google.com/store/apps/details?id=br.gov.meugovbr&pcampaignid=web_share
Referências
Aguiar, Everson L. Governança eletrônica móvel no Brasil:situação atual e perspectivas. In: XVII
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública,
Cartagena, Colombia, 30 oct. - 2 Nov. 2012
Baharuddin, R.; Singh, D.; Razali, R. Usability dimensions for mobile applications - a review. Research
Journal of Applied Sciences, Engineering and Technology, v. 5, n. 6, p. 2225-2231, 2013.
Biel, Bettina; Grill, Thomas; Gruhn, Volker. Exploring the benefits of the combination of a software
architecture analysis and a usability evaluation of a mobile application. The Journal of Systems and
Software, v. 83, p. 2031–2044, 2010. Disponível em: https://www.sciencedirect.com.
D'Andréa, C. Pesquisando plataformas online: conceitos e métodos. 1. ed. Salvador: EDUFBA, 2020.
Gil, Antonio Carlos; Vergara, Sylvia Constant. Tipo de pesquisa. Universidade Federal de Pelotas. Rio
Grande do Sul, p. 31, 2015.
Gong J, Tarasewich P. Guidelines for handheld mobile device interface design. InProceedings of DSI
2004 Annual Meeting 2004 Nov 20 (Vol. 3751, p. 3756).
22
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Goul, M.; Marjanovic, O.; Baxley, S.; Vizecky, K. Managing the enterprise business intelligence app
store: Sentiment analysis supported requirements engineering. In: Proceedings of the 2012 45th
Hawaii International Conference on System Sciences, HICSS ’12. IEEE Computer Society, USA,
2012. p. 4168-4177. http://dx.doi.org/10.1109/HICSS.2012.421.
Harrison, R.; Flood, D.; Duce, D. Usability of mobile applications: literature review and rationale for a
new usability model. Journal of Interaction Science, v. 1, n. 1, p. 1, 2013.
doi: http://dx.doi.org/10.1186/2194-0827-1-1.
Hedegaard, S.; Simonsen, J. G. Mining until it hurts: automatic extraction of usability issues from online
reviews compared to traditional usability evaluation. In: Proceedings of the 8th Nordic Conference
on Human-Computer Interaction Fun, Fast, Foundational - NordiCHI ’14. ACM Press, Helsinki,
Finland, 2014. p. 157-166. http://dx.doi.org/10.1145/2639189.2639211.
Inostroza, R.; Rusu, C.; Roncagliolo, S.; Rusu, V.; Collazos, C. A. Developing SMASH: A set of
SMArtphone’s uSability Heuristics. Computer Standards & Interfaces, v. 43, p. 40-52, 2016. DOI:
http://dx.doi.org/https://doi.org/10.1016/j.csi.2015.08.007.
Liebscher, P. Quantity with quality? teaching quantitative and qualitative methods in an lis master’s
program. Graduate School of Library and Information Science. University of Illinois, 1998.
Maia, C. L. B.; Furtado, E. S. A systematic review about user experience evaluation. In: International
Conference of Design, User Experience, and Usability. Springer, Cham, 2016. p. 445-455.
Nakamura, W. T.; de Oliveira, E. H. T.; Conte, T. Negative emotions, positive experience: What are we
doing wrong when evaluating the UX? In: Extended Abstracts of the 2019 CHI Conference on
Human Factors in Computing Systems - CHI EA ’19. ACM Press, Glasgow, Scotland Uk, 2019. p.
1-6. http://dx.doi.org/10.1145/3290607.3313000.
Nakamura, W. T.; Oliveira, E. C.; Oliveira, E. H. T.; Redmiles, D.; Conte, T. What factors affect the UX
in mobile apps? A systematic mapping study on the analysis of app store reviews. Journal of
Systems and Software, v. 193, p. 111462, 2022. ISSN 0164-1212.
Nielsen, Jakob. Usability Inspection Methods. In: Conference Companion on Human Factors in
Computing Systems (CHI ’94). ACM, New York, NY, USA, 1994, p. 413–414. DOI:
http://dx.doi.org/10.1145/259963.260531.
Nielsen, Jakob. Ten usability heuristics for user interface design. 1995.
Quiñones, Daniela; Rusu, Cristian; Rusu, Virginica. A methodology to develop usability/user experience
heuristics. Computer standards & interfaces, v. 59, p. 109-129, 2018.
Raita, E.; Oulasvirta, A. Too good to be bad: Favorable product expectations boost subjective usability
ratings. Int. Comp., v. 23, n. 4, p. 363-371, 2011.
Rainie, L. Networked: the new social operating system. Cambridge: MIT Press, 2012.
23
PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto Maior. Avaliações de Usuários do
Aplicativo “gov.br” como Base para Análise de Usabilidade. Brazilian Journal of Information Science:
research trends, vol.18, publicação contínua, 2024, e024037. DOI: 10.36311/1981-1640.2024.v18.e024037.
Rivero L, Conte T. A systematic mapping study on research contributions on UX evaluation technologies.
InProceedings of the XVI Brazilian symposium on human factors in computing systems 2017 Oct
23 (pp. 1-10).
Rheingold, H. The Virtual Community: homesteading at the electronic frontier, 1993.
Rhiu, I., Lee, Y., Choi, I., Yun, M. H., & Nam, C. S. Toward usability evaluation for brain–computer
interfaces. In: Brain–Computer Interfaces Handbook. 1. ed. CRC Press, 2018. Cap. 22. eBook
ISBN: 9781351231954.
Rodrigues, P.; Silva, I. S.; Barbosa, G. A. R.; Coutinho, S.; Mourão, F. Beyond the stars: Towards a novel
sentiment rating to evaluate applications in web stores of mobile apps. In: Proceedings of the 26th
International Conference on World Wide Web Companion, WWW ’17 Companion. International
World Wide Web Conferences Steering Committee, Republic and Canton of Geneva. CHE, 2017.
p. 109-117. http://dx.doi.org/10.1145/3041021.3054139.
Schreier, Madeleine. Qualitative Content Analysis in Practice. Thousand Oaks: SAGE Publications,
2012.
Shneiderman, Ben. 2010. Designing the user interface: strategies for effective human-computer
interaction. Pearson Education - India.
Silva Junior, Déogenes P. da; Oliveira, Carolina Moreira; Galvão, Ludmilla F. Oliveira; Rodrigues,
Jonata da Silva; Puska, Alisson Andrey. Investigando heurísticas de usabilidade no contexto móvel
de um app de saúde. In: IHC 2018, Anais Estendidos do XVII Simpósio Brasileiro sobre Fatores
Humanos em Sistemas Computacionais, Competição de Avaliação – Pós-graduação, Outubro 22–
26, 2018, Belém, Brasil. Universidade Federal do Paraná, Curitiba, Brasil, 2018.
Simmons, Andrew.; Hoon, Leonard. Agree to disagree: on labelling helpful app reviews. In Proceedings
of the 28th Australian Conference on Computer-Human Interaction (OzCHI ‘16). Association for
Computing Machinery, New York, NY, USA, 2016, 416–420.
https://doi.org/10.1145/3010915.3010976.
Son, Youngdoo; Kim, Wonjoon. Development of methodology for classification of user experience (UX)
in online customer review. Journal of Retailing and Consumer Services, v. 71, p. 103210, 2023.
Copyright: © 2024 PEREIRA, Clarissa Evelin; MORAIS, Cleber; SERRANO, Paulo Henrique Souto
Maior This is an open-access article distributed under the terms of the Creative Commons CC Attribution-
ShareAlike (CC BY-SA), which permits use, distribution, and reproduction in any medium, under the
identical terms, and provided the original author and source are credited.
Submetido: 14/10/2024 Accepted: 25/11/2024
