Rubricas Avaliativas Marco de análise das iniciativas de enfrentamento aos efeitos da Covid-19
O GIFE convida os
investidores sociais, que
desenvolveram iniciativas de
enfrentamento aos impactos
da Covid-19, a um processo de reflexão e autoanálise
Desde o início da pandemia de Covid-19 vivemos um cenário mundial desafiador. Especialmente no Brasil, diversas iniciativas nos campos do investimento social foram colocadas de pé em um curto espaço de tempo. Nesse sentido, o GIFE, por meio do Projeto Emergência Covid-19 e da Agenda de avaliação, convida os atores da filantropia a desenvolver um processo de reflexão sobre as ações que foram desenvolvidas para enfrentamento aos efeitos da pandemia.
Para ajudar nesse processo, foi eleita a metodologia Rubricas Avaliativas, com as devidas flexibilizações no método para viabilizar a sua autoaplicação. A metodologia não pretende fazer uma avaliação propriamente dita, mas possibilitar uma autoanálise sobre as expectativas de qualidade, ajudando as organizações a refletir, chegar a conclusões e inspirar adequações nas iniciativas em curso ou mesmo qualificar as futuras.
Refletindo sobre uma iniciativa pelo método de Rubricas Avaliativas
A metodologia de Rubricas Avaliativas é uma ferramenta que possibilita alinhar as expectativas sobre a qualidade de uma iniciativa por meio de critérios específicos, de forma clara e objetiva. Para esse exercício, as Rubricas Avaliativas foram reunidas em 5 grupos conforme sua natureza, evidenciando os diferentes aspectos sob os quais cada iniciativa deve ser pensada.
As Rubricas Avaliativas propostas são abrangentes, reunindo os elementos principais de cada natureza, contudo é possível que ações desenvolvidas pela organização não estejam contempladas ou que o nível de exigência e de pertinência de cada rubrica tenha que ser adaptado.
Para que as Rubricas estejam alinhadas com as iniciativas e suas expectativas de qualidade, selecione apenas aquelas que refletem as características da iniciativa em questão. Cada rubrica ajuda a refletir, concluir e traçar estratégias em direção aos objetivos e metas das iniciativas emergenciais criadas para enfrentamento da COVID-19.
Para iniciar a autoanálise da sua iniciativa, escolha abaixo a pergunta que melhor representa o critério sobre o qual deseja refletir
Veja o passo a passo de como preencher as Rubricas Avaliativas
As rubricas propostas podem ser utilizadas e preenchidas dentro ou fora da plataforma online. Na plataforma, o usuário tem a possibilidade de, primeiro, gerar um relatório preliminar só com suas rubricas de interesse e, depois, ir salvando suas respostas para cada rubrica, ao final o sistema emite um relatório que consolida os resultados da iniciativa. Além disso, futuramente o GIFE poderá promover a conexão entre organizações que se mostrem interessadas na troca de experiências e aprendizagens. Fora da plataforma o caminho será o mesmo, porém a iniciativa deverá encontrar outros mecanismos para registro das informações. Os passos apresentados a seguir referem-se ao caminho que deverá ser percorrido dentro da plataforma.
Veja abaixo o passo a passo rápido para a aplicação das Rubricas Avaliativas em sua iniciativa. Para resultados ainda melhores, clique aqui para baixar um guia completo sobre o tema. Se ainda tiver dúvidas sobre como preencher, escreva para [email protected].
As Rubricas Avaliativas
A metodologia de Rubricas Avaliativas é uma ferramenta que possibilita avaliar as expectativas de qualidade de uma iniciativa por meio de critérios específicos, de forma clara e objetiva. Para esse exercício, as Rubricas Avaliativas foram agrupadas conforme sua natureza, evidenciando os diferentes aspectos sob os quais cada iniciativa deve ser pensado.
Cada rubrica ajuda a refletir, concluir e traçar estratégias em direção aos objetivos e metas das iniciativas emergenciais criadas para enfrentamento da COVID-19.
Importância
As Rubricas Avaliativas representam uma oportunidade para compartilharmos e consolidarmos, enquanto setor, um conjunto de aprendizagens entre as diferentes organizações, especialmente nesse momento de tanta transformação, bem como para refletirmos coletivamente sobre os aprendizados que podem se consolidar e se tornar permanentes para o campo.
A quem se destinam
As Rubricas Avaliativas são indicadas para os investidores sociais que desenvolveram iniciativas de enfrentamento aos impactos da Covid-19, especialmente para aqueles que não tenham previsto outras estratégias de reflexão sobre as iniciativas ou não que contem com processos de monitoramento ou avaliação.
O Instrumento foi desenhado de modo a permitir sua aplicação pelos gestores e equipes de projeto das organizações, sem a necessidade do acompanhamento de um especialista em avaliação, ainda que seja positivo para o processo caso a organização possa contar esse apoio.
Quando utilizar
As Rubricas Avaliativas podem ser utilizadas em diferentes estágios da implementação das iniciativas e essa decisão cabe a cada organização, que deve saber o momento correto para realizar o processo. A partir da leitura das rubricas é possível ter clareza sobre esse momento. A proposta é analisar algo que aconteceu e que já gerou resultados (positivos ou negativos). Caso a iniciativa ainda não tenha gerado resultados, o melhor é esperar mais um pouco. No entanto, o simples exercício de leitura das Rubricas Avaliativas pode, por si só, inspirar adequações nas iniciativas que estão em curso ou mesmo qualificar iniciativas futuras.
O que esperar da utilização
Ainda que abrangentes e buscando atender e compreender a complexidade do momento da pandemia, as Rubricas são genéricas e não pretendem ser exaustivas, portanto não se trata de um processo de avaliação. Além disso:
• Não são indicadores e não substituem indicadores que as organizações possam ter definido para o acompanhamento e avaliação das iniciativas.
Para além de saber se uma iniciativa teve resultado ou não, seu uso pode contribuir para reflexão que leve à tomada de decisão e à aprendizagem interna:
• O que será feito a partir das conclusões a que se chegou?
• O que aprendemos com essa iniciativa?
• O que vale a pena repetir em outras oportunidades?
• O que pode ser melhorado?
Limitações da metodologia
A metodologia Rubricas Avaliativas tem algumas limitações, listadas a seguir, mas é importante lembrar que se trata de um instrumento que poderá levar as organizações a fazerem uma autoanálise, uma reflexão mais profunda sobre as ações, iniciativas e projetos emergenciais criados para enfrentar os impactos da pandemia de COVID-19.
RUBRICAS AVALIATIVAS GENÉRICAS
Normalmente as Rubricas Avaliativas são desenvolvidas de forma customizada para um projeto/programa específico. Além disso, o próprio processo de construção das Rubricas Avaliativas costuma envolver a participação dos principais interessados no processo de reflexão. Nesse caso, em função da diversidade de organizações e de iniciativas foram construídas Rubricas Avaliativas genéricas. Houve um grande esforço em elaborar Rubricas Avaliativas de resultados para 18 resultados diferentes, mas, mesmo assim, algumas especificidades de cada iniciativa podem não ter sido contempladas. Por outro lado, tem-se em mãos uma ferramenta que pode apoiar inúmeras organizações a refletirem sobre suas iniciativas de enfrentamento aos efeitos da Covid-19.
FALTA DE EXPERIÊNCIA PRÉVIA COM O USO DAS RUBRICAS AVALIATIVAS
A metodologia de Rubricas Avaliativas pode ser usada por qualquer profissional. Não é preciso um avaliador externo para a sua utilização. No entanto, a falta de experiência prévia com a metodologia pode demandar mais tempo do grupo para o seu entendimento e aplicação. Com o tempo a utilização vai ficando mais fluída.
JULGAMENTO MUITO DURO OU MUITO SUAVE
Todo processo de análise se baseia em julgamentos e por mais evidências que existam para subsidiá-los, a subjetividade também é inerente a esse processo. Na metodologia proposta o julgamento é feito por um conjunto de pessoas que tem o envolvimento direto com o desenho, a implementação da iniciativa ou os resultados da iniciativa. A falta de um avaliador externo ou um facilitador experimentado nesse tipo de processo pode dar margem a julgamentos excessivamente duros ou excessivamente suaves. Apesar de ser um processo de muita aprendizagem, é importante estar atento a esse ponto.
IMPORTANTE!
Para facilitar a leitura e reduzir o volume de texto das Rubricas Avaliativas foi utilizado como padrão o gênero masculino.
Definições de termos chave utilizados
Antes de listar as definições dos termos-chave é preciso dizer que não existe uma régua única para os conceitos que estão incluídos nas Rubricas Avaliativas. Cada uma delas e cada uma das iniciativas implementadas possui um contexto específico, que reflete no que será entendido como alta qualidade, grande maioria, alta relevância etc. É o processo de diálogo e aprofundamento sobre o contexto que possibilitará a compreensão de cada conceito na sua especificidade.
INICIATIVA
Refere-se a um esforço temporário que contempla um conjunto de ações com prazos e recursos predefinidos. As definições iniciais podem ser alteradas durante a implementação dado que na emergência, com frequência, surgem novas necessidades e oportunidades de melhoria e ampliação do escopo. O termo pode ser relativo a um portfólio de ações ou projetos como também a uma ação ou projeto específico. As rubricas são mais adequadas para iniciativas mais robustas e não ações pontuais.
ESTRATÉGIA DA ORGANIZAÇÃO PARA COVID-19
A estratégia da organização para o enfrentamento dos efeitos da Covid-19 reflete o plano elaborado para endereçar os desafios da pandemia. Essa estratégia pode ter estreita relação com a estratégia original da organização (definida antes da pandemia) ou pode ter características de ações para atendimento a emergência que não estavam contempladas nas políticas de investimento da organização.
CONTRIBUIU FORTEMENTE
A organização teve um papel de protagonista na iniciativa. Reuniu outras organizações, liderou os trabalhos e/ou investiu tempo da equipe para a gestão da iniciativa e/ou aportou volume significativo de recursos (maior que a média de aportes dos outros investidores) etc.
QUALIDADE
O conceito de qualidade é relativo ao processo, tema ou objeto a que ele se refere, sempre baseado em valores e crenças que podem variar entre as pessoas e grupos. Definir qualidade é um processo e esse processo é importante por si só, oferecendo oportunidades para compartilhar, discutir e entender valores, ideias, conhecimento e experiência. Nesse sentido, as partes interessadas que vão discutir as rubricas devem chegar a um entendimento sobre quais são os elementos que definem alta, boa, razoável ou má qualidade do objeto em discussão na rubrica.
RELEVÂNCIA
Refere-se ao grau de atendimento/resposta às necessidades e prioridades dos público final.
EVIDÊNCIAS ROBUSTAS
Evidências que dão bom grau de certeza sobre uma determinada afirmação. A certeza pode vir tanto de uma só evidência, como da triangulação de evidências geradas a partir de depoimento de vários atores, fotos, vídeos, áudios, formulários de avaliação de atividades e resultados, instrumentos de monitoramentos etc.
ATORES CHAVE
São pessoas (gestores da iniciativa, parceiros, agentes públicos e privados, profissionais e público final) que afetam ou são afetadas diretamente pela iniciativa que está sendo analisada. Para cada Rubrica Avaliativa o conjunto de pessoas que toma decisões, desenvolve ações e/ou é impactado pode ser distinto.
Sobre a criação das Rubricas Avaliativas
Idealizadas no âmbito da Agenda de Avaliação do GIFE, as rubricas respondem a uma das necessidades apontadas no Projeto Emergência COVID-19, que prevê em um de seus eixos, a avaliação das iniciativas empreendidas. Deste modo, pensando em apoiar a realização de processos avaliativos, de reflexão e aprendizagem internos, a Agenda de Avaliação contratou a consultora Gabriela Pluciennik, para desenvolver Rubricas Avaliativas que permitissem às organizações conduzir processos internos de análise das suas iniciativas.
Para tanto, Rubricas Avaliativas foram desenvolvidas de forma que fosse possível englobar as diferentes iniciativas do Projeto, com seus objetivos, dimensões e processos distintos entre si. Partiu-se, então, da identificação de grupos temáticos, sob os quais fosse possível agregar diferentes iniciativas, apontando nesses grupos possíveis objetivos e resultados comuns. Além dos resultados dos diferentes grupos temáticos (saúde, educação, proteção social e econômica), foram identificados resultados transversais às iniciativas, que são possíveis de serem alcançados independentemente do foco de atuação. Para cada um desses possíveis resultados (específicos ou transversais), foi desenvolvida uma rubrica que ajudará as organizações a qualificar sua ação.
Pensando também no processo de planejamento e implementação dessas iniciativas, foram desenvolvidas rubricas que visam auxiliar na reflexão sobre como a iniciativa se desenvolveu e como pode ser melhorada. Aqui, cumpre destacar, que se tomou como referência o processo de desenvolvimento de iniciativas em contextos não emergenciais, onde têm-se maiores possibilidades para qualificar o planejamento e implementação. Deste modo, é possível que haja elementos das rubricas que pareçam demasiado exigentes para o contexto da emergência, mas que podem ajudar a identificar pontos de aprimoramento, e isso deve ser levado em conta durante os diálogos que a organização irá estabelecer no seu processo de auto reflexão.
Finalmente, vale ressaltar que para o GIFE a redução das desigualdades é uma bandeira. Nesse sentido, as Rubricas Avaliativas trazem em si uma proposta que valoriza iniciativas que tiveram um olhar para a promoção da equidade, atendendo às populações historicamente mais desfavorecidas e que notoriamente sofreram mais com os efeitos negativos da pandemia.
