| 1
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
DO GERENCIALISMO AO CONSTRUTIVISMO: uma revisão histórica
da participação social nas avaliações de políticas públicas
FROM MANAGERIALISM TO CONSTRUCTIVISM: a historical review of
social participation in public policy evaluations
Nicole Stephanie Florentino de Sousa Carvalho
1
Gil Célio de Castro Cardoso
2
Antônio Jackson Alcântara Frota
3
Paulo Torres Junior
4
RESUMO: A pesquisa apresenta o itinerário de construção das principais perspectivas de avaliação de
políticas públicas, enfatizando suas especificidades no processo de incorporação do debate político no
Brasil, trazendo, por fim, a avaliação construtivista de 4ª geração como uma alternativa aos métodos
hegemônicos, que se apresenta como uma ferramenta apta para investigar a realidade, tendo na
participação social seu elemento fundante de investigação. Justifica-se na necessidade de se apresentar
novos formatos do fazer avaliativo, a partir de um paradigma voltado à realidade do sujeito inserido
dentro da política. A metodologia utilizada foi a indutiva, tendo como ênfase o método histórico
descritivo e a pesquisa bibliográfica. Nas considerações finais, são apresentadas impressões acerca desse
fazer avaliativo, relacionando sua relevância para a compreensão das realidades avaliadas.
Palavras-chave: Avaliação de políticas públicas. Construtivismo. Avaliação de 4ª geração.
ABSTRACT: The research presents the itinerary of construction of the main perspectives for the
evaluation of public policies, emphasizing their specificities in the process of incorporating the political
debate in Brazil, bringing, finally, the 4th generation constructivist evaluation as an alternative to
hegemonic methods. It presents itself as an apt tool to investigate reality, having in social participation
its founding element of investigation. It is justified in the need to present new formats of evaluative
1
Doutoranda em regime de cotutela em Desenvolvimento e Meio Ambiente (PRODEMA) pela Universidade
Federal do Ceará (UFC) e em Economía (Economía y Empresa) pela Universidad de Santiago de Comportela
(USC) (Espanha), endereço postal: Campus do Pici, Bloco 902 - CEP 60455-970 - Fortaleza – CE, ORCID:
https://orcid.org/0000-0002-2779-4969, e-mail: nicolecarvalho@ufc.br.
2
Doutor em Ciências Sociais (Desenvolvimento Regional) pela Universidade Federal do Rio Grande do Norte e
em Economia (Economia e Empresa) pela Universidad Autónoma de Madrid, professor associado da
Universidade de Brasília, exercendo lotação provisória na Universidade Federal do Ceará, endereço postal: Ac.
Público, 856 - Pici, Fortaleza - CE, 60020-181, Brasil, ORCID: https://orcid.org/0000-0002-0264-995X, e-mail:
gil.celio@ufc.br.
3
Doutor em Administração de Empresas pela Universidade de Fortaleza (UNIFOR), pesquisador, tendo
desenvolvido estágio de pós-doutoramento em Avaliação de Políticas Públicas na Universidade Federal do
Ceará, endereço postal: Ac. Público, 856 - Pici, Fortaleza - CE, 60020-181, Brasil, ORCID:
https://orcid.org/0000-0002-1885-4173, e-mail: jacksonfrota2014@gmail.com
4
Doutorando em Administração pela Universidade Estadual do Ceará - PPGA/UECE, professor substituto da
Universidade Estadual do Ceará, endereço postal: Av. Dr. Silas Munguba, 1700 - Campus do Itaperi Fortaleza,
CE, CEP: 60.714.903, ORCID: https://orcid.org/0000-0002-8332-1955, e-mail: ptorres.junior@uece.br
| 2
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
doing, based on a paradigm focused on the reality of the subject inserted in politics. The methodology
used was inductive, with emphasis on the historical descriptive method and bibliographic research. In
the final considerations, impressions are presented about this evaluative activity, relating its relevance
to the understanding of the evaluated realities.
Keywords: Public policies. University. Cientific magazine. Article.
1 INTRODUÇÃO
As políticas públicas, compreendidas como o “Estado em ação” (Gobert; Muller, 1987),
perpassam os diferentes sistemas - sociais, econômicos, institucionais, políticos, ambientais etc.
- que compõem e integram uma sociedade. Nesse sentido, o Estado torna-se um agente de
condução de grande relevância para, a partir de políticas públicas e incentivos à participação
popular, direcionar a mitigação de diferentes problemáticas que tocam os sistemas e a vida em
sociedade, também funcionando como um garantidor dos direitos difusos e do bem-estar social
(Cenci; Bendi, Fischer, 2011).
Sob essa perspectiva, compreende-se que o entendimento a respeito das políticas
públicas deve ir além da apreensão do poder público intervindo em favor dos interesses comuns.
A ação do Estado deve partir da percepção da realidade social em questão, em que por meio
dela, são integradas maneiras de conduzir respostas aos problemas sociais. Desse modo, as
políticas públicas não devem ser compreendidas simplesmente como um mecanismo técnico e
neutro desenvolvido por especialistas. Mas sim, assimiladas como um recorte do real,
viabilizando a orientação acertada sobre os problemas sociais e a devida designação política
para o alcance de suas soluções, concebendo uma intervenção social eficiente (Morais, 2017).
Para que as políticas públicas atendam as demandas das sociedades e se direcionem de
modo acertado, usualmente são articuladas por meio de um ciclo. Segundo Assis et al. (2012),
o ciclo da política pública é um dos mecanismos mais conhecidos de simplificação do processo
de produção de políticas em uma série de etapas sequenciais. Nesse sentido, Lotta (2019) revela
que o ciclo de uma política pública é pautado em quatro fases: agenda, formulação,
implementação e avaliação. Segundo a autora, o ciclo apresentado comporta-se como
ferramenta de grande importância para o entendimento dos processos decisórios que se
deflagram das políticas públicas.
A primeira fase do ciclo – a agenda – repercute da definição dos temas emergentes a
serem tratados pelo Estado (Lotta, 2019). Este momento demanda grande sensibilidade dos
gestores para o entendimento dos diferentes contextos sociais que emergem de uma sociedade.
| 3
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
Isso porque, para que uma política pública cumpra com devido êxito o seu papel, deve orientar-
se, como enfatizado por Morais (2017), pela percepção acertada de uma realidade social, a fim
de, a partir daí, encaminhar soluções eficientes para os problemas que surgem daquele contexto.
Assim, para a construção da agenda, a identificação dos temas e objetivos prioritários deve
preceder o conhecimento amplo e adequado do contexto social demandante da ação do Estado.
A fase de formulação constitui a segunda etapa do ciclo e se estabelece quando as
políticas públicas começam a tomar forma, sendo elaboradas, planejadas e decididas com base
nos objetivos previamente identificados na agenda (Lotta, 2019). O processo de formulação
pode caracterizar-se como incremental ou radical. Uma formulação incremental tem como
ponto de partida políticas, programas ou projetos que já existem, estabelecendo a partir destes,
acréscimos ou decréscimos em seus modos de ação. Já a formulação radical, geralmente, parte
de situações que demandam soluções imediatas comprometendo maior utilização de recursos e
menor tempo (Capella, 2018).
Quando as políticas que foram formuladas se concretizam, tornando-se realidade, tem-
se a terceira fase do ciclo, que é a implementação. Este é o momento em que os mecanismos de
ação estatal somados as ações de burocratas tornam-se fundamentais no processo. Neste ponto,
é possível perceber se o que foi formulado e colocado no papel, de fato, transformou-se em
política pública, a fim de atender a realidade pela qual foi demandada (Hill; Varone, 2016).
A quarta fase do ciclo corresponde à avaliação, em que se vislumbra perscrutar os
resultados alcançados com a implementação; verificando-se seus impactos e sugestões de
mudanças (Pinto, 2008). Lotta (2019) ainda acrescenta que esta fase busca a compreensão dos
diferentes instrumentos utilizados e as várias dimensões dos resultados verificados (eficiência,
eficácia, efetividade etc.), além de envolver a relação dos atores participantes do processo e os
mecanismos de feedback. Neste sentido, Capella (2018) enfatiza que, apesar de ser relevante a
utilização de critérios de avaliação que envolvam a eficiência de uma política, existem
limitações nestes critérios, sendo necessário elencar outros fatores avaliativos, como a
igualdade, a equidade, a justiça, a liberdade, e os diferentes contextos da comunidade alvo da
política.
Por conseguinte, a avaliação, quarta fase do ciclo da política pública, incide como um
processo fundante para a percepção acertada das intenções governamentais e seus reais efeitos
sobre as sociedades. A literatura sobre o tema tem destacado a importância de considerar outros
| 4
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
fatores avaliativos, que vão além dos critérios pragmáticos, voltados essencialmente para a
eficiência técnica de uma política. A inclusão, nos processos avaliativos, de dimensões como
igualdade, equidade, justiça, liberdade, sustentabilidade e outros diferentes contextos da
comunidade alvo da política, é uma maneira de democratização de seus alcances. A
compreensão dessas questões parte da concepção que se funde das diferentes perspectivas
avaliativas, que deverão adequar-se aos multiformes contextos demandantes de sua aplicação.
Dessa forma, a construção deste artigo seu deu em vista da relevância de melhor
compreender a avaliação no âmbito das políticas públicas, partindo da necessidade de perscrutar
a aplicação de metodologias construtivistas, que têm por sua essência a relação conjunta
articulada entre o cenário político observado, o contexto demandante e as mudanças sociais que
são provocadas. Esse processo visa dar voz ativa à experiência de todos os agentes envolvidos
de modo direto ou que são indiretamente afetados pelos resultados da política pública.
Assim, a problemática de pesquisa proposta neste estudo partiu da seguinte questão: a
avaliação construtivista de quarta geração pode ser uma alternativa aos métodos hegemônicos
positivistas? A fim de responder ao sugerido problema, o presente artigo tem por objetivo
apresentar como este modelo de avaliação pode ser uma alternativa aos métodos hegemônicos
positivistas. Como premissas necessárias para o alcance deste objetivo, foi evidenciado o
itinerário de construção das principais perspectivas de avaliação de políticas públicas,
destacando as especificidades do Brasil quanto às orientações que têm sobressaído neste campo.
2 METODOS E MATERIAIS
Como abordagem metodológica, utilizou-se da pesquisa indutiva, que tem como
finalidade direcionar a compreensão para causas e fenômenos, através dos resultados de
observações prévias que foram verificadas. (Suertegaray, 2005). Partindo dessa perspectiva,
primou-se pelo método histórico que tem como premissa, por meio do estudo histórico, explicar
estruturas e acontecimentos, sobretudo, concepções políticas, econômicas e sociais (Goldman,
1994). Dessa maneira, o trabalho estruturou-se quanto aos seus objetivos como uma pesquisa
bibliográfica descritiva, fundamentando-se em descrever criticamente, a partir da abordagem
metodológica escolhida, os fenômenos que foram verificados a respeito dos temas em estudo.
A pesquisa teve origem na análise dos normativos mais destacados em língua portuguesa
e inglesa que abordam as categorias de análise relacionadas ao problema em estudo. Foram
| 5
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
examinados artigos e outros trabalhos acadêmicos apresentados em periódicos classificados nos
estratos A1, A2, B1, B2 e B3 do Qualis Capes. A coleta de material foi realizada principalmente
por meio de plataformas como Google Scholar, Scientific Electronic Library Online (SciELO)
e repositórios acadêmicos online de universidades brasileiras.
A seleção desse conjunto de estudos publicizados, abrange, basicamente, três dimensões
importantes da temática em questão, são elas: 1) Avaliação de políticas públicas; 2) Perspectivas
avaliativas de políticas públicas; as quais destacam o marco teórico e a trajetória de
desenvolvimento das principais perspectivas de avaliação, enfatizando as particularidades do
contexto brasileiro em relação às diretrizes que se sobressaem no campo da avaliação de
políticas públicas; e, 3) Perspectiva avaliativa construtivista de quarta geração, que responde ao
objetivo proposto no presente artigo (Figura 1).
Figura 1: Desenho metodológico da pesquisa bibliográfica
Fonte: elaborado pelos autores (2023)
3 ALGUMAS QUESTÕES TEÓRICAS SOBRE AVALIAÇÃO
A avaliação no âmbito das políticas e/ou programas fundamentou-se a partir dos anos
de 1960 nos Estados Unidos, originando-se das estratégias políticas para enfrentar a pobreza.
Sua gênese pautou-se na criação de modelos que permitissem mensurar o grau de sucesso ou
de fracasso da desenvoltura das instituições estatais, seguindo uma perspectiva positivista, com
| 6
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
a ênfase puramente quantitativa e neutra, descartando as variáveis contextuais. Durante a
década de 1970 o pragmatismo na avaliação é reforçado, direcionando a tomada de decisões do
que se refere às políticas e programas sob o prisma de técnicas avaliativas quantitativas, fazendo
oposição às incipientes perspectivas de valorização qualitativa. Somente a partir da década de
1990, é que se fortalecem as correntes avaliativas que buscam a integração de técnicas aos
multiformes contextos demandantes das políticas e/ou programas (SILVA et al., 2015).
No Brasil, a avaliação se expandiu entre o final dos anos de 1980 e a década de 1990,
partindo de uma exigência e controle da sociedade civil por meio dos movimentos sociais.
Nesse sentido, a avaliação era considerada necessária para otimizar a aplicação dos recursos
econômicos, evitando restrições na aplicação das despesas sociais. Além disso, devido às
críticas à má utilização do dinheiro público, as instituições financiadoras passaram a requerer a
avaliação das políticas e/ou programas como uma condição de acesso ao financiamento. Desse
modo, a avaliação tinha por finalidade aferir a eficiência do uso dos recursos, e assim
dimensionar o grau de eficácia dos objetivos propostos e alcançados (Arcoverde, Albuquerque,
2016; Trevisan, Bellen, 2008).
Segundo Rodrigues (2008), a dependência do Brasil às agencias financiadoras
internacionais - destacando-se o Banco Internacional para a Reconstrução e o Desenvolvimento
(BIRD) e Banco Interamericano de Desenvolvimento (BID) - que passaram a ser mais rigorosas
em relação aos critérios na formulação de sistemas de monitoramento e avaliação para os
projetos que financiam, corroborou para o direcionamento hegemônico das perspectivas
avaliativas positivistas. Nesse sentido, sobressaem-se o viés gerencialista e a percepção técnica
da avaliação, cujo papel é mensurar, acompanhar e “avaliar” o sucesso das reformas
administrativas que possuem essencialmente valores neoliberais. Essa perspectiva avaliativa
inicializada no contexto brasileiro, ainda na década de 1980, pouco se alterou com transcurso
dos anos. Prestes (2012) reforça que apesar dos avanços no campo da avaliação de políticas
públicas, com a concepção de novas metodologias, as limitações conceituais dos procedimentos
iniciados nos anos de 1960 persistem.
As concepções teóricas e metodológicas a respeito da avaliação no âmbito das políticas
públicas desencadeadas desde a sua propositiva gênese, a partir dos anos 1960, direcionou a
formulação de diferentes perspectivas avaliativas. Partindo desse pressuposto, Arcoverde e
Albuquerque (2016) organizaram as opiniões de diversos estudiosos que abordam a importância
da avaliação. Os diferentes pontos de vista podem ser verificados no Quadro 1:
| 7
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
Quadro 1: Algumas concepções de avaliação de acordo com vários autores
Cohen, E.; Franco,
R. p. 73 apund
Ander-Egg, 1984,
p. 20
“A avaliação é um modo de verificar a racionalidade, medindo o cumprimento –
ou perspectiva de cumprimento – dos objetivos e metas previamente
estabelecidos, e a capacidade para alcançá-los”.
Aguiar; Ander-
Edd, 1994, p. 31
“Uma forma de pesquisa social aplicada, sistemática, planejada e dirigida;
destinada a identificar obter e proporcionar de maneira válida e confiável dados
e informações suficientes e relevantes para apoiar um juízo sobre o mérito e o
valor dos diferentes componentes de um programa (tanto em fase de
diagnóstico, programação ou execução), ou de um conjunto de atividades
específicas que se realizam, foram realizadas ou se realizarão, com propósito de
produzir efeitos e resultados concretos; comprovando a extensão e o grau em
que se deram essas conquistas, de forma tal que é inteligente realizá-la entre
cursos de ação, ou para solucionar problemas e promover o conhecimento”.
Franco, 1971, p. 3
“Avaliar é fixar o valor de uma coisa e para ser feita precisa, requer um
procedimento pelo qual se compara aquilo a ser avaliado com um critério ou
padrão determinado”.
Demo, 1971, p. 1
“Refletir é também avaliar, e avaliar é também planejar, estabelecer objetivos
etc. Daí os critérios de avaliação que condicionam seus resultados estejam
sempre subordinados a finalidades e objetivos previamente estabelecidos para
qualquer prática, seja ela educativa, social, política ou outra”.
Minayo, 2005, p.
23
“Conjunto de atividades técnico-científicas ou técnico-operacionais que buscam
atribuir valor de eficiência, eficácia e efetividade a processos de intervenção em
sua implantação, implementação e resultados”.
Brandão; Silva,
2008
“A avaliação é a disciplina que se dedica a medir, descrever e julgar objetos e
fenômenos. Cada avaliação será permeada por esses três elementos essenciais
que se manifestam com diferentes intensidades: a) medição, relacionada ao ato
objetivo e muitas vezes quantitativo de medir as coisas, as variações e as
mudanças; b) descrição, que diz respeito ao ato de representar um objeto ou
fenômeno, caracterizando-o em sua integralidade e multiplicidade e, assim,
tendendo a operar pela via da linguagem qualitativa; c) julgamento, elemento
que dá identidade à avaliação, à medida que explica que os processos de
avaliação podem determinar o mérito e a relevância de um objeto ou
fenômeno”. (Citado por FINKLER; DELL’AGLIO, 2013, p. 128).
Fonte: Arcoverde e Albuquerque, 2016, p. 30-31.
A partir do Quadro 1, constata-se que existem diversas definições de avaliação. Em
algumas, direcionam-se a valorização de dimensões teleológicas e processuais, à medida que
outras valorizam mais os aspectos metodológicos. Nesse sentido, é percebido que “com efeito,
não há avaliação neutra de políticas públicas” (Arcoverde; Albuquerque, 2016, p. 27). Isso
direciona à importância do questionamento no que se refere ao potencial da avaliação como um
mecanismo para tornar palpável a intensidade das demandas no campo da viabilização das
políticas na sociedade.
Dessa maneira, a teoria-metodológica que se deflagra no processo de construção e
concepção da avaliação das políticas públicas direciona para o entendimento das principais
perspectivas avaliativas que se destacam nesse interim. Na condução do percurso histórico,
consolidaram-se a divisão de quatro gerações de modelos de avaliação, admitindo-se na
| 8
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
atualidade, o acréscimo de um novo paradigma avaliativo experimental, intitulado pós-
construtivista.
4 AS PRINCIPAIS PERSPECTIVAS AVALIATIVAS DE POLÍTICAS PÚBLICAS
Segundo Souza (2006), a avaliação de políticas públicas envolve o reconhecimento da
existência de subsistemas na consolidação dessas políticas, permitindo ao sistema político
decisório lidar com as questões de forma paralela. Isso implica ajustes com base na experiência
de implementação e avaliação das políticas existentes. No contexto dessas avaliações, quatro
gerações permeiam o processo de desenvolvimento histórico das perspectivas avaliativas de
políticas públicas, conforme delineado por Couto, Carrieri e Ckagnazaroff (2019); Guba e
Linconl (1989); Meirelles, Hypolito e Kantorski (2012), elas se caracterizam como:
a primeira geração é pautada na medição, ou seja, parte da ideia básica da
aplicação de testes, como provas escolares, por exemplo. Utilizam-se
mecanismos de mensuração de indicadores determinados para medir o
desempenho e a efetividade de uma política ou programa, possuindo abrangência
puramente quantitativa;
a segunda geração tem como pressuposto a descrição dos pontos fortes e fracos
objetivados com a política e/ou programa. O gestor assume o papel de descritor,
e a medição passa a ser apenas um dos instrumentos a ser observado durante o
processo avaliativo;
a terceira geração volta-se, essencialmente, para o juízo de valor, em que o
julgamento do avaliador a respeito da validade ou não de uma política, programa
ou ação passa a ser o centro da perspectiva. A avaliação perde o caráter neutro
das duas gerações anteriores, levando o gestor, a partir das diretrizes técnicas, a
emitir um juízo de valor sobre os efeitos e produtos do objeto em avaliação;
a quarta geração, identificada como construtivista, se distancia das perspectivas
anteriores, visando dar voz ativa à experiência de todos os atores que estão
envolvidos e são direta ou indiretamente afetados pelos resultados da política
e/ou programa. Dessa maneira, é inserida de forma complementar a dimensão
qualitativa nos processos avaliativos, tendo em vista as múltiplas realidades que
perscrutam os objetivos das políticas e/ou programas.
| 9
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
Além das quatro gerações apresentadas, tem se estruturado no campo da avaliação de
políticas públicas a perspectiva avaliativa experimental reconhecida como pós-construtivista.
Destacam-se para compreensão desta concepção as experiências em avaliação de políticas
públicas, partindo do entendimento da teoria do texto e do contexto, proposta por Lejano
(2012), e dos eixos da avaliação em profundidade apresentados por Rodrigues (2008). Ambas
as experiências têm como base a valorização da complexidade e da multidimensionalidade que
permeiam todo o contexto inerente ao desenvolvimento, aplicação e resultados de uma política
pública, bem como de todos os atores políticos participantes desse processo.
A experiência proposta por Lejano (2012) surge da compreensão da necessidade de
novas abordagens que promovam o diálogo com a complexidade das situações políticas. O autor
entende que este processo não é linear e apresenta a percepção de múltiplas facetas, lados e
ondulações. Derroga que as hipóteses surgirão de um processo cíclico, devendo a teoria e a
prática emergir de um contexto. Assim, a visão do autor fundamenta-se na experiência,
estabelecendo uma conexão entre a política, denominada como texto, e o campo, que é
identificado como contexto. Texto e contexto se fundem, a fim de fomentar análises profundas
das multiformes circunstâncias sociais.
A proposta de avaliação em profundidade de Rodrigues (2008), foi motivada, segundo
a autora, pela constatação da ineficiência dos modelos positivistas de análise e da necessidade
de realização de pesquisas com maior amplitude para a formulação e implementação de uma
política, considerando os multiformes contextos: social, cultural, político, econômico e
ambiental. Para isso, pressupõe-se uma análise que perpassa a esfera institucional, de relação
de poderes, de valores e de interesses, envoltos em todos os processos avaliativos que os
permeiam. Esta proposta, multidisciplinar por essência, possui prevalência de pesquisa
qualitativa com observância de qualidade antropológica, embora não se limite a essa
abordagem, utilizando-se de dados estatísticos para uma melhor apreensão da realidade
avaliada.
Para uma avaliação em profundidade de uma política pública, Rodrigues (2008)
apresenta o encaminhamento de quatro eixos, os quais podem ser observados no Quadro 2:
Quadro 2: Os quatro eixos da Avaliação em Profundidade
Primeiro eixo
Análise de conteúdo – Nesse eixo é realizada a observação da formulação da
política ou programa, quanto aos seus objetivos e critérios; sua base
conceitual que se refere aos seus valores de informação e conceitos centrais; e
| 10
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
sua coerência que é guiada pela observância da não contradição entre as bases
estruturais.
Segundo eixo
Análise do contexto de formulação da política – Essa dimensão ocorre no
levantamento de dados embasados nas circunstâncias políticas e
socioeconômicas envoltas a realidade estudada. Isso propiciará uma análise de
relação das ações locais, com outras políticas de cunho nacional e
internacional consideradas no contexto abordado.
Terceiro eixo
Análise de trajetória institucional – Nesse caso, o intuito é obter uma
percepção quanto ao grau de coerência e dispersão do programa ao longo de
seu itinerário pelas vias institucionais. A análise de trajetória institucional
também se fundamenta em realizar uma pesquisa de campo que perscrutem
entrevistas com diferentes representantes da instituição envolvidos na
formulação e implantação da política, a fim de perceber os aspectos culturais
envoltos na relação de ação do poder público com as demandas sociais.
Quarto eixo
Espectro temporal e territorial – Essa dimensão se pauta em confrontar os
objetivos e propostas das políticas com as particularidades e a historicidade do
local estudado, compreendendo sua configuração temporal e territorial.
Fonte: Adaptado pelos autores com dados de Rodrigues (2008).
Dessa forma, o Quadro 2 apresenta as bases necessárias que deverão ser aplicadas
simultaneamente pelos avaliadores de políticas públicas para efetivar a experiência pós-
construtivista da avaliação em profundidade, proposta por Rodrigues (2008). A metodologia
avaliativa, inspirada pela experiência de Lejano (2012), que ao partir do contexto – o campo –
numa análise compreensiva, chega ao texto – a política – e, consequentemente, a uma
interpretação abrangente e democrática do contexto em estudo, faz emergir uma nova
perspectiva de avaliação, em que é rompida a percepção da avaliação como “medida” e firmado
o seu sentido como “compreensão”.
O fortalecimento das perspectivas pós-construtivistas é de suma importância para o
fomento de questionamentos aos parâmetros hegemônicos em uso pelas agências multilaterais,
também à forma como o campo acadêmico brasileiro direciona a reprodução dos modelos
formuladores sem a percepção crítica das perspectivas generalizantes, reconhecidas como
aplicáveis a qualquer país ou circunstância, tendo a prevalência de paradigmas positivistas de
análises, com a dominância das variáveis economicistas (Rodrigues, 2008).
5 A PERSPECTIVA AVALIATIVA CONSTRUTIVISTA DE QUARTA GERAÇÃO
Nas três primeiras gerações de avaliação, a delimitação da pesquisa, juntamente com a
escolha dos parâmetros e dados a serem utilizados, eram previamente definidas e, as demais
especificações, estabelecidas por meio de negociações entre clientes e avaliadores. Sob essa
ótica, o processo avaliativo pode ser considerado como uma sistematização interativa de
negociação conduzido por grupos de interesses. Neste contexto, a quarta geração, denominada
| 11
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
“construtivista”, emerge de um paradigma de investigação que é alternativo à perspectiva
científica positivista-funcionalista, possuindo também outras denominações como
“Interpretativismo” e “Hermenêutica”. A sua essência parte da relação configurada entre o
cenário político observado, o contexto demandante e as mudanças sociais que são provocadas
(Couto; Carrieri, Ckagnazaroff, 2019).
Em relação ao início da elaboração de uma avaliação, Guba e Lincoln (1989) enfatizam
que todo processo avaliativo deve começar pela identificação de um método para determinar
quais aspectos serão abordados e quais dados serão coletados. Dessa forma, na primeira
geração, os dados coletados originam-se de escolhas individuais de instrumentos de medida e
algumas variáveis podem ser identificadas. Na segunda geração, os dados coletados partem da
observância da similaridade encontrada entre o desempenho e o objeto proposto, também, como
na primeira geração, algumas variáveis podem ser identificadas. Na terceira geração, se tem a
percepção de que os modelos é que vão requerer informações próprias, de acordo com as suas
necessidades da avaliação.
Orientando-se pela perspectiva de Guba e Linconl, os autores Couto, Carrieri e
Ckagnazaroff (2019) ressaltam que na quarta geração sua centralidade parte da oposição aos
métodos positivistas que pressupõem relações de causa e efeito entre os fenômenos. Nesse
sentido, tem-se a prevalência do cerne sobre o significado humano da vida social e, assim, o
pesquisador passa a ter o dever de trazê-lo à tona, buscando compreender, explicar e interpretar
as relações e atividades humanas que significam o meio no qual estão inseridas. No Quadro 3
a síntese das principais características do modelo avaliativo de quarta geração é apresentada:
Quadro 3: Quadro das características da Quarta Geração de Avaliação
Característica do Modelo
Definição Conceitual da Característica
Metodologia Interativa
Métodos e técnicas de pesquisa são selecionados e utilizados segundo a
realidade empírica do estudo e de forma combinada
Realidade Dinâmica
O contexto e os objetos estão em movimento, com fatos e fenômenos
conectados e em mutação.
Interpretação Dinâmica
A interpretação deve se dar dentro de uma visão sistêmica, buscando-se
a compreensão das redes de interações, que vai se aprofundando
conforme o estudo
Visão Sistêmica
O processo de conhecimento é dinâmico e interligado, ou seja, as
partes só podem ser compreendidas dentro do todo; os dados devem ser
contextualizados à luz das teorias pertinentes.
Definição Expandida de
Stakeholder
Os participantes das pesquisas não são apenas formuladores e gestores
do programa, mas também destinatários e outros membros da
comunidade que possuam interesse nos resultados da avaliação.
| 12
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
Relação Interativa
O avaliador e os stakeholders devem possuir uma relação interativa,
interdependente e intersubjetiva, indo além da mera coleta de dados
"neutra".
Participação Intensa
Os stakeholders devem poder indicar quais são os próximos passos da
avaliação, bem como quais serão as próximas ações e dados que serão
utilizados.
Relevância dos Dados
As construções subjetivas e sociais têm a mesma relevância que a
coleta e análise das informações mensuráveis (quantitativas).
Repertório Metodológico
Expandido
Devem ser misturados os métodos qualitativos e quantitativos, bem
como adicionado o arsenal estatístico existente.
Fonte: Couto, Carrieri e Ckagnazaroff, 2019, p. 46.
A partir da observância do Quadro 3, é possível destacar as bases em que se
fundamentam a condução de uma avaliação construtivista. São elas: a verdade da investigação
parte de um consenso entre os diversos atores sociais; os dados não podem ser analisados de
maneira puramente objetiva, pois carregam valores; a relação de causa e efeito, de modo geral,
não convém, exceto por parte de alguns atores evolvidos; a compreensão dos fenômenos insurge
do contexto em que são estudados; as intervenções são dinâmicas, e afetam o contexto; a
mudança não pode ser mensurada porque não é linear; a avaliação produz informações em que
os fatos e valores são conectados e, assim, os avaliadores devem estabelecer parceria com as
partes interessadas na criação dos dados, orientando, dessa forma, um processo de negociação
que se concretiza em consensos (Guba; Lincoln, 1989).
Assim, os autores Guba e Lincoln (1989, 2001) argumentam que a abordagem
construtivista é adequada para facilitar o diálogo entre todas as partes envolvidas na política
e/ou programa, incluindo legisladores, executores, beneficiários e avaliadores. Nesse sentido,
ontologicamente, eles refutam a existência de uma realidade objetiva, reforçando, em vez disso,
que a realidade é formada pelas diferentes construções sociais. Segundo os autores, até mesmo
a ciência é uma construção. Epistemologicamente, a perspectiva construtivista direciona que os
achados de uma pesquisa existem, sobretudo, por causa da interação entre o observador e o
observado, o que tangencia os fatos que emergem da investigação. Metodologicamente,
partindo dos traços ontológicos e epistemológicos apresentados, a perspectiva rejeita a
abordagem métrica, de controle e manipulativa que caracteriza a ciência, substituindo-a pelo
caráter hermenêutico dialético que parte da realidade construída de maneira contextualizada,
interativa e sofisticada.
Queiroz e Barbosa-Lima (2007) ressaltam que esse tipo de avaliação visa o diálogo e a
participação dos atores sociais envolvidos no contexto de determinada política. Dessa maneira,
ao adotar esse princípio avaliativo no campo das políticas públicas, permite-se uma maior
| 13
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
liberdade de percepção ao pesquisador a partir do campo. Assim, o estudo dos fenômenos
sociais tornar-se-ão mais consistentes, fundamentando-se em uma maior riqueza de
informações e participação social. A efetivação metodológica desse processo pode ser
observada por meio da aplicação do chamado Círculo Hermenêutico Dialético (CHD), que foi
desenvolvido pelos autores Guba e Linconl (1989).
5.1 Círculo Hermenêutico Dialético (CDH)
O CHD, apresentado Guba e Lincoln (1989), consiste em levar a uma articulação dos
atores sociais, por meio de um contínuo “vai-e-vem”, que permite a captação da realidade em
estudo, por meio de uma análise que se formula no encontro entre os grupos de pesquisados.
Nessa direção, segundo Oliveira (2001), o CHD pauta-se em uma relação constante entre o
pesquisador e os entrevistados, tratando-se de um processo dialético, que supõe constante
diálogo, perscrutando análises, críticas, construções e reconstruções coletivas. Por conseguinte,
pela contínua relação entre entrevistados e pesquisador, é possibilitado chegar ao mais próximo
da realidade, o que é chamado pelos autores Guba e Lincoln de “consenso”. Na Figura 2 o CHD
é ilustrado:
Figura 2: Círculo Hermenêutico Dialético
Fonte: Guba e Linconl, 1989, p. 152
| 14
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
Para entender o CHD ilustrado na Figura 2 e sua aplicação no cenário da avaliação de
políticas públicas, conforme proposto pelos seus idealizadores Guba e Lincoln (1989), inicia-
se com a organização de quatro elementos:
O primeiro elemento, aporta-se na preocupação inicial que o
pesquisador/avaliador deve proceder para a escolha dos respondentes da
pesquisa, que devem ser, necessariamente, indivíduos que possuem algum tipo
de envolvimento com a política pública em estudo, representando os diferentes
grupos de interesses. Tal escolha deve estar em conformidade com o tipo de
avaliação que se deseja realizar, que deverá ser, necessariamente, participativa
(se formativa, participativa, se de processos ou de resultados, ex-post, ex-ante
etc). Vale ressaltar, que a representatividade não é relevante nesta metodologia,
pois a interação proposta parte de propósitos diferentes daqueles demandados
de uma avaliação tradicional, assim, as amostras são selecionadas
intencionalmente.
O segundo elemento a ser observado no CHD, fundamenta-se na interação
contínua de coleta e análise de dados que ocorre no curso da investigação. Cabe
ao pesquisador, durante as primeiras entrevistas, analisá-las antes de prosseguir
para o grupo de interesse seguinte, atentando para a descoberta de informações
que pareçam relevantes para o objetivo da pesquisa.
O terceiro elemento baseia-se na consolidação dos resultados que surgem a
partir das construções feitas pelos próprios entrevistados. A coleta de dados,
bem como as análises, devem acontecer de forma concomitante, gerando
agendas complexas e estáveis para encaminhar a coleta de dados subsequente.
As análises deverão ser orientadas por instrumentos auxiliares (referencial
teórico, estudos documentais etc.).
O quarto elemento, trata da formulação do design emergente da pesquisa, o
qual é estruturado a partir das construções dos atores sociais participantes da
investigação. Dessa forma, não é possível ser específico em relação a uma
temática se esta não é parte dos anseios, preocupações e problemas dos
avaliados.
| 15
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
Segundo Oliveira (2001), o resultado das várias interações que emergem do CHD é um
relato de caso. Vale destacar que o relato gerado pelo CHD é diferente daqueles relatos técnicos,
que normalmente deflagram-se de estudos positivistas. Não se trata da impressão da realidade,
nem advém de generalizações que tenham aplicações em outros contextos que se presumem
similares. Pauta-se, em uma construção do pesquisador que não se fundamenta em julgamentos,
conclusões ou recomendações, a não ser aquelas orientadas pelos respondentes. Nesse sentido,
um relato de caso se caracteriza por uma descrição que não somente clarifica o contexto, mas
leva o leitor a experimentá-lo, fazendo-o não apenas perceber o estado das coisas, mas também
as motivações subjacentes, raciocínios e sentimentos que advêm da investigação.
Realizado o relato de caso, imputa-se a busca pela resposta de duas questões centrais:
(a) existe consenso dentro dos grupos em relação aos pontos colocados a respeito da política
pública? e (b) existe consenso entre os diferentes grupos em relação aos pontos colocados a
respeito da política pública? A partir dessas referências, motiva-se sanar as divergências
internas dentro dos grupos, bem como, as divergências existentes nos grupos de interesses
distintos. A observância das ponderações dessas questões visa dialogar sobre as pendências e
inconsistências das análises, caso existam. A partir desse ponto, um relatório final será
elaborado, buscando articular a análise dos pontos de consenso destacados e, ao mesmo tempo,
estabelecer uma agenda para novas avaliações referentes aos pontos controversos que
permaneceram sem solução aparente. Caso necessário, o processo poderá ser reiniciado (Couto;
Carrieri, Ckagnazaroff, 2019; Guba; Linconl, 2001).
Os autores Couto, Carrieri e Ckagnazaroff (2019), partindo das orientações de Guba e
Lincoln (2001), montaram um roteiro explicitando as principais questões que devem ser
levantadas em relação à avaliação de políticas públicas, que serão apresentadas no Quadro 4, a
seguir. Segundo os autores, as informações devem ser sistematizadas em fichas, a fim de
facilitar a análise geral dos dados obtidos em cada rodada de entrevistas - mecanismo para o
pesquisador conhecer melhor a respeito das contribuições de cada respondente ao longo do
processo, além de fomentar uma aprendizagem incremental a partir de cada entrevista.
Quadro 4: Roteiro de Tópicos do Círculo Hermenêutico Dialético
Questões a serem avaliadas nas entrevistas
1 Relação do Stakeholder com a Política Pública
1.1 Investigar histórico do contato do stakeholder com a política pública
1.2 Investigar o conhecimento do stakeholder sobre o contexto antes e depois da política pública
1.3 Investigar a opinião pessoal do stakeholder sobre o impacto da política pública
2 Análise da Política versus Teoria de Base
| 16
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
2.1 Investigar sobre possíveis diálogos entre as categorias teóricas e a política pública (o que é)
2.2 Investigar sobre visões críticas da política pública em relação às categorias (o que não é bom)
2.3 Investigar sobre as sugestões de melhoria em relação à política (o que pode melhorar)
3 Indícios empíricos que sustentam as construções
3.1 Investigar que tipo de indicador/estatística corrobora ou refuta as construções obtidas
3.2 Investigar sobre onde mais informações podem ser obtidas para testar as construções coletadas
3.3 Investigar sobre quem são stakeholders/personagens importantes para a avaliação
Fonte: Couto, Carrieri e Ckagnazaroff, 2019, p. 50.
A partir da observância do roteiro proposto no Quadro 4, as fichas de cada registro
devem apresentar, respectivamente: (a) identificação do respondente seguida de uma breve
contextualização do seu lugar de fala no que trata a sua relação com a política pública; (b) um
resumo das principais evidências encontradas sobre as categorias teóricas as quais foram
previamente levantadas; (c) articulação de dados complementares (qualitativos ou
quantitativos) que encaminhe ou refute as construções, a fim de mostrar respaldo em outras
fontes empíricas; (d) resenha do que a entrevista acrescenta ou diverge em relação às entrevistas
anteriores. Dessa forma, as fichas serão meios de fomento de dados importantes para a
composição do relatório final.
Assim, conhecido o método inerente à perspectiva construtivista de quarta geração, bem
como sua aplicação metodológica vislumbrada a partir do CHD de Guba e Linconl (1989),
destaca-se a importância da realização de uma avaliação participativa, que perscrute elementos
que estão para além das propostas positivistas.
Isso se deve pelo fato de que, ao se proceder com uma avaliação que não se limita a
indicadores estatísticos, legitima-se a participação social no processo de construção de políticas
públicas, vez que, ao serem apontados fatores, elementos e características pelos próprios atores
sociais que vivenciam a política encetada, restam evidentes seus resultados e efeitos, sejam
estes esperados ou não.
Vale ressaltar, contudo, que a sua implementação não é algo de simples executividade,
frente a óbices que se interpõem entre o pesquisador e o processo avaliativo. Segundo
Kantorsky et al. (2009), em decorrência da utilização do processo hermenêutico-dialético
inerente ao método construtivista e que, por si só, demanda tempo e recursos, são observadas a
geração de grandes volumes de dados que acabam por não serem analisados em sua
integralidade. Essa conclusão também é retirada das observações de House e Howe (1999) que
indicam a dificuldade em se captar, de maneira objetiva, os diversos interesses subjacentes aos
| 17
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
posicionamentos apresentados pelos diversos grupos de interesse, durante os processos de
captação de informação.
Outra dificuldade está relacionada ao fato de que o método avaliativo não considera o
desequilíbrio de forças entre os grupos de interesses, ou, dos stakeholders (Duarte, 2004;
Furtado; Laperièrre, 2012; Silva; Borges, 2021), uma vez que desconsideram as relações de
submissão intersubjetivas entre referidos grupos; além da necessidade de uma dimensão
formativa entre os avaliadores e grupos de interesse, afim de que “possam aprimorar sua
capacidade de análise, possibilitando o aprofundamento na discussão e delimitação dos temas
oriundos da avaliação” (Kantorsky et al, p. 353, 2009).
A existência de instrumento de efetiva participação social - como reuniões, assembleias,
conselho gestor local, associações de usuários, entre outros – possibilita a redução de algumas
dessas questões, propiciando uma maior facilidade no levantamento de problemas da sua
realidade, discutindo e problematizando os mesmos à luz do paradigma psicossocial. Contudo,
é preciso que o avaliador/pesquisador esteja atento à outras dificuldades que se apresentam no
transcurso de sua trajetória avaliativa, conforme algumas acima mencionadas.
6 CONSIDERAÇÕES FINAIS
Diante do exposto, faz-se necessário compreender que em um contexto político onde os
recursos orçamentários para fins sociais são escassos e reduzidos, a avaliação de políticas
públicas surge como uma ferramenta de controle e julgamento eficiente da gestão pública.
Assim, sob o manto de uma abordagem eminentemente positivista, o que se observa é que os
processos avaliativos de políticas e programas públicos tem se voltado a operacionalizar
controles orçamentários a partir de indicadores pré-estabelecidos, direcionados para o
atendimento de exigências das instituições de fomento econômico internacional, sem, contudo,
preocupar-se com o contexto no qual a política pública está inserida e quais são os seus
resultados in loco.
Assim, sob o prisma de um novo paradigma construtivista, responsivo em sua essência,
em que se baseia a construção de um processo avaliativo hermenêutico onde não há espaços
para verdades absolutas ou respostas universais, surge a possibilidade de se implementar um
modelo avaliativo onde reinvindicações, preocupações e questões de stakeholders; servem
como direcionamento para uma atuação estatal efetiva.
| 18
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
O referido processo avaliativo, distancia-se dos modelos tidos por gerencialistas
trazendo como pano de fundo a chamada para questões relacionadas ao contexto e a realidade
dos atores envolvidos nas políticas públicas e tomando como base fundamentos de origem
participativa, em que se enaltece o fazer avaliativo através do conflito entre a realidade e o
desejado.
Isso é o resultado da compreensão de avaliação por Guba e Lincoln (1989) já que, para
os autores, a avaliação é compreendida como um processo sociopolítico, conjunto e
colaborativo, de ensino-aprendizagem, contínuo, recorrente e divergente, emergente, com
resultados imprevisíveis que negam o real absoluto e convergem para um relativismo
responsivo e compartilhado de concessão de poder baseado na compreensão e na ação, cujo
resultado não é generalizável mas, que pertence a uma realidade específica.
Portanto, para os construtivistas, a função do avaliador se firma como um colaborador,
aprendiz, instrutor, modelador de realidades e um aprendiz de agente de mudanças (Guba,
Lincoln, 1989).
Por fim, para além de uma postura evidenciada pela ausência de responsabilidade pelo
avaliador, em que direitos são privados e valores olvidados, o método construtivista de quarta
geração propõe a realização de uma análise interpretativa dos fenômenos sem desconsiderar a
visão de mundo do investigador, que está permeada por um conjunto de crenças e valores, onde
o que está sob análise não é a descoberta, mas a realidade dos atores sociais envolvidos a partir
de suas próprias vozes.
REFERÊNCIAS
ARCOVERDE, A. C. B.; ALBUQUERQUE, C. M. P. Avaliação de impactos: da teoria à
práxis. 1ª. ed. Recife: Editora UFPE, 2016.
ASSIS, M. P. et al. Avaliação de políticas ambientais: desafios e perspectivas. Saúde e
Sociedade, São Paulo, v. 21, supl. 3, p. 7-20, 2012.
CAPELLA, A. C. N. Formulação de Políticas Públicas. Brasília: Enap, 151 p. 2018.
| 19
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
CENCI, A. R.; BEDIN, G. L.; FISCHER, R. S. Do liberalismo ao intervencionismo: o Estado
como protagonista da (des)regulação econômica. Revista da Academia Brasileira de Direito
Constitucional. Curitiba, v. 3, n. 4, p. 77-97, 2011. Disponível em:
https://www.abdconstojs.com.br/index.php/revista/article/view/32/29. Acesso em: 25 de
setembro de 2020.
COUTO, F. F.; CARRIERI, A. P.; CKAGNAZAROFF, I. B. Participação na avaliação de
políticas públicas: a pesquisa construtivista e quarta geração de avaliação. Revista Gestão e
Planejamento, Salvador, v. 20, p. 36-55, 2019. Disponível em:
https://revistas.unifacs.br/index.php/rgb/article/view/5141. Acesso em: 25 de setembro de
2020.
DUARTE, R. Entrevistas em pesquisas qualitativas. Educar, n. 24, p. 213-225, 2004.
FURTADO, J. P.; LAPERRIÈRE, H. Parâmetros e paradigmas em meta-avaliação: uma
revisão exploratória e reflexiva. Ciência & Saúde Coletiva, v. 17, n. 3, p. 695-705, 2012.
Disponível em: https://www.scielo.br/j/csc/a/jpWHQCWR6RtDzkZDcFrL6qv/?lang=pt.
Acesso em: 19 de setembro de 2020.
GOBERT, MULLER In, VAZ., L.G.D.; políticas públicas. Revista nova Atenas de educação
e tecnologia. Revista eletrônica do departamento. Acadêmico de ciência da saúde Educação
física e esportes – Biologia – Segurança do trabalho. v. 10, n. 01, p. 47, 2007.
GOLDMAN, P. Searching For History in Organizational Theory: Comment on Kieser.
Organization Science. v. 5, n. 4, 1994.
GUBA, E. G.; LINCOLN, Y. S. Fourth generation evaluation. Newbury Park, CA: Sage,
1989.
GUBA, E. G.; LINCOLN, Y. S. Guidelines and Checklist for Constructivist (a.k.a. Fourth
Generation) Evaluation. Evaluation Checklist Project, p. 1-15, 2001.
HILL, M. J.; VARONE, F. The public policy process. 7th ed. London: Routledge, 2016.
HOUSE, E.; HOWE, K. R. Values in evaluation and social research. London: Sage, 1999.
KANTORSKI, L. P. et al. Avaliação de quarta geração: contribuições metodológicas para
avaliação de serviços de saúde mental. Interface (Botucatu), Botucatu, v. 13, n. 31, p. 343-
355, 2009.
LEJANO, R. P. Parâmetros para análise de políticas públicas: a fusão de texto e contexto.
Campinas: Editora Arte Escrita, 2012, p. 191-293.
| 20
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
LOTTA, G. Teorias e Análises sobre Implementação de Políticas Públicas no Brasil.
Brasília: Enap, 324 p, 2019.
MEIRELLES, M. C. P.; HYPOLITO, Á. M.; KANTORSKI, L. P. Avaliação de quarta
geração: reciclagem de dados. Journal of Nursing Health, v. 2, n. 1, p. 63-74, 2012.
MORAIS, N. Quantas vozes compõem uma política? In: CHACON, I. SKIBICK, M.;
FREITAS, I. M. (Orgs.). Gestão e Políticas Públicas no Brasil contemporâneo. Sobral, CE:
Edições UVA, p. 47-62, 2017.
OLIVEIRA, M. M. D. Metodologia Interativa: Um Processo Hermenêutico-Dialético.
Interfaces Brasil/Canadá, v.1, n. 1, p. 67-78, 2001.
PINTO, I. C. M. Mudanças nas Políticas Públicas: a perspectiva do ciclo de política. Revista
de Políticas Públicas, v. 12, n. 1, p. 27-36, 2008. Disponível em:
https://www.redalyc.org/pdf/3211/321127273003.pdf. Acesso em: 25 de setembro de 2020.
PRESTES, E. M. T. A avaliação de políticas sociais: questões teóricas, metodológicas e
políticas. Revista Lusófona de Educação, Lisboa, n. 22, p. 85-101, 2012.
QUEIROZ, G. R. P. C.; BARBOSA-LIMA, M. D. C. A. Conhecimento Científico, seu Ensino
e Aprendizagem: A Atualidade do Construtivismo. Ciência & Educação, v. 3, n. 3, p. 273-
291, 2007.
RODRIGUES, L. C. Propostas para uma avaliação em profundidade de políticas públicas
sociais. Revista de Avaliação de Políticas Públicas. UFC, n.1, p. 7-15, 2008. Disponível em:
https://repositorio.ufc.br/bitstream/riufc/22510/1/2008_art_lcrodrigues.pdf. Acesso em: 25 de
setembro de 2020.
SILVA, J. P. F.; BORGES, R. S. G. Avaliação de quarta geração: uma análise das
potencialidades e limitações baseada na experiência de avaliação do Programa Água para
Todos. Revista de Pesquisa em Políticas Públicas, [S. l.], n. 1, 2020.
SILVA, S. A. M. et al. Residencia en políticas públicas: una experiencia innovadora de
formación. Cadernos de Pesquisa, v. 45, n. 157, p.588-611, 2015. Disponível em:
https://www.scielo.br/j/cp/a/vJ7z3ySCnzTvJxkRDdPK5mn/abstract/?lang=pt. Acesso em: 19
de setembro de 2020.
SOUZA, C. Políticas Públicas: uma revisão da literatura. Sociologias, Porto Alegre, v. 8, n.
16, p. 20-45, 2006.
| 21
RIPPMar, v. 9, 2023. Publicação Contínua.
DOI: https://doi.org/10.36311/2447-780X.2023.v9.e023005
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License
SUERTEGARAY, D. M. Notas sobre Epistemologia em Geografia. Florianópolis: UFSC,
2005.
TREVISAN, A. P.; BELLEN, H. M. V. Avaliação de políticas públicas: uma revisão teórica de
um campo em construção. Revista de Administração Pública, Rio de Janeiro, v. 42, n. 3,
p.529-550, 2008. Disponível em:
https://www.scielo.br/j/rap/a/bCWckwnwwrvF8Pb9kDtjDgy/?format=pdf&lang=pt. Acesso
em: 28 de setembro de 2020.
Submetido em: 19/07/2023.
Aprovado em: 23/10/2023.
