Capítulo 12 Avaliação

12.1. Como e com quem?

A meta da avaliação deve ser clara para todas as pessoas envolvidas. Realiza-se a avaliação de uma intervenção a partir de duas perspectivas:

• Verificar se os objetivos foram alcançados;

• Determinar se os procedimentos foram realizados conforme o esperado.

Os agentes de desenvolvimento em educação nutricional não devem se colocar em posição defensiva em relação à avaliação. Qualquer membro da Comissão de Planejamento deverá estar em condições de responder às perguntas relacionadas com os dois pontos mencionados anteriormente.

Com quem?

As pessoas envolvidas com a avaliação podem ser divididas em quatro categorias:

• A população-alvo da intervenção deve ser convidada a participar, já que as ações que serão avaliadas lhes atingem diretamente.

• Os agentes de desenvolvimento jogam um importante papel na avaliação. E mais do que isso, a avaliação ajudará a melhorar seu desempenho.

• Os especialistas em avaliação, internos ou externos à Comissão de Planejamento, os quais possuem a experiência técnica.

• A participação dos patrocinadores e dos representantes governamentais permitirá que apreciem o impacto das atividades que promoveram e considerem a eventual expansão do programa.

12.2. Quando se deve realizar a avaliação?

O ideal é planejar a avaliação de uma intervenção em comunicação social desde a fase de concepção. A análise causal e o diagnóstico preliminar são partes da avaliação. Também se pode abordar a avaliação durante a fase de formulação de uma intervenção em comunicação. Nesse momento, ainda há tempo para refletir, não somente sobre a pertinência da intervenção, mas também sobre a ordem em que se deveria desenvolver as atividades, os resultados esperados e as ações que se deve realizar antes de qualquer atividade de comunicação.

Os conhecimentos, atitudes e práticas da população-alvo precisam ser medidos antes da intervenção, para proporcionar uma base de comparação posterior. Nunca é muito tarde para pensar na avaliação: ainda na fase de execução, pode-se aprender lições da experiência.

12.3. Como realizar uma avaliação dinâmica e participativa?

Lefevre e Beghin, entre outros, propõem um método que garanta a participação de todos na avaliação das intervenções nutricionais. Três tipos de instrumentos serão usados: a análise causal, a tabela de Hippopoc e o modelo dinâmico de intervenção.

1. A análise causal pode ajudar a determinar a pertinência da intervenção. Como se explicou no capítulo 4, ela consiste em criar uma base intersetorial, uma rede de fatores que afetam o estado nutricional de uma população. O resultado é um instrumento para a seleção da intervenção apropriada, para a comunicação entre os membros da Comissão de Planejamento e para avaliar a pertinência da intervenção. A análise causal também permite identificar fatores que podem influir sobre o sucesso ou fracasso da intervenção.

2. Na tabela de Hippopoc colocam-se nas células os insumos, os processos (atividades), os produtos e os resultados da intervenção.

Os insumos são os elementos que se transformarão em resultados com a intervenção. Exemplo: para a educação nutricional na escola, os insumos são os professores, alunos e o dinheiro investido na produção do programa.

Os processos são as atividades empreendidas para transformar os insumos em produtos ou resultados. Por exemplo: o programa de treinamento dos professores, o programa de ensino produzido conjuntamente com os alunos, o desenho e produção de manuais escolares, etc.

Os produtos são os resultados das atividades desenvolvidas na intervenção. Correspondem ao alcance dos objectivos específicos da mesma. Exemplos: professores capacitados; alunos educados, cuja conduta é diferente; manuais escolares de boa qualidade. Todos ele deveriam contribuir para os resultados de longo prazo de qualquer projeto nutricional, ou seja, a melhoria do estado nutricional da população-alvo.

Exemplo de Tabela HIPPOPOC

3. O modelo dinâmico é a representação gráfica das interações entre os insumos, os processos, os produtos e os resultados de uma intervenção. De maneira similar aos outros dois instrumentos, o modelo dinâmico é elaborado pela equipe. Esta tabela apresenta os vínculos esperados entre os insumos e os processos, entre os processos e os produtos e entre os produtos e os resultados. Utiliza flechas para ilustrar os vínculos. Desta maneira, todos os participantes de uma intervenção (a população, os agentes de desenvolvimento, os especialistas) podem entender as relações internas e externas.

12.4. Como?

A análise causal

As pessoas encarregadas da avaliação: os “especialistas”, os participantes (população-alvo), os patrocinadores e/ou representantes governamentais e os agentes de comunicação, devem revisar a análise causal.

Se a análise causal não foi realizada, o grupo deve priorizar sua elaboração. Isto implicará em alguns dias de trabalho. No caso de que se tenha realizado a análise, o grupo deverá se ocupar em melhorá-la, necessitando de pouco tempo para completar esta atividade.

A Tabela de Hippopoc

Uma vez que se tenha completado a análise das causas, o grupo deve se reunir para desenvolver a tabela de Hippopoc, com os insumos, processos, produtos e resultados. Os avaliadores devem estar particularmente atentos a esta tabela. Eles deverão responder às seguintes perguntas:

• O problema nutricional a resolver foi identificado claramente?

• A análise causal foi elaborada?

• Foi feita a pesquisa preliminar para entender as condutas e os sistemas de comunicação da população-alvo?

• Os objetivos foram definidos claramente em termos de modificação de condutas inadequadas relacionadas com a nutrição e em termos de aquisição de conhencimentos, adoção de atitudes corretas e desenvolvimento de habilidades?

• As mensagens foram desenvolvidas cuidadosamente?

• O plano de multimeios considerou os resultados da pesquisa preliminar e a especificidade dos diversos meios com relação aos objetivos que se espera alcançar?

• Os materiais de apoio para a comunicação foram provados previamente, antes de serem produzidos em larga escala?

• Os participantes foram treinados adequadamente antes de iniciar as atividades de comunicação?

• As atividades foram desenvolvidas conforme os planos originais?

Os resultados da análise serão comparados com os objetivos da intervenção. Esta comparação ajudará a determinar o sucesso do programa.

Quais são os produtos esperados de uma intervenção em comunicação social?

1. Acesso da população alvo à mensagem
   Exemplo: as mulheres de 15 a 45 anos estão expostas à mensagem por um dos canais de comunicação (ou por vários)?

2. Retenção da mensagem
   Exemplo: X por cento do grupo objetivo reteve a mensagem: “a criança de 6 a 12 meses deve receber, pelo menos, quatro refeições por dia, além do leite materno”.

3. Modificação de conhecimentos, atitudes e valores da populaçãoalvo
   Exemplo: X por cento do grupo objetivo foi capaz de explicar as razões pelas quais a criança deve receber, pelo menos, quatro refeições ao dia e tem demonstrado intenção de seguir esta orientação.

4. Prova da conduta proposta
   Exemplo: o grupo objetivo tem tentado oferecer pelo menos quatro refeições ao dia a seus fihos lactentes de 6 a 12 meses de idade.

5. Adoção de hábitos
   Exemplo: X por cento do grupo objetivo adotou estes hábitos alimentares e integrou-os a sua vida diária.

   Observar que os exemplos contêm medidas para a comparação dos resultados depois da intervenção.

• Quais são os possíveis resultados da intervenção a longo prazo?

6. Melhora do estado nutricional
   Exemplo: houve melhora do estado nutricional de X por cento das crianças (em comparação com o grupo controle).

7. Melhora do estado de saúde
   Exemplo: X por cento das crianças menores de 5 anos teve menor freqüência das doenças clássicas deste grupo de idade (em comparação com uma porcentagem mais alta do grupo controle).

A longo prazo, estes resultados parecem ter um efeito combinado com a intervenção educativa e de outros fatores do ambiente social, econômico e familiar.

Nos resultados finais da intervenção, devem ser considerados também os produtos ou resultados intermediários. Em nosso exemplo, estes são o número de trabalhadores capacitados no programa e o número de materiais de apoio produzidos para assegurar a transmissão das mensagens.

O modelo dinâmico

É essencial ilustrar graficamente as relações entre os insumos, os processos e os resultados da intervenção.

Este gráfico poderia ser usado por todos os envolvidos na intervenção, para prover informações básicas sobre o projeto, determinar seus êxitos e fracassos, e para planejar seu melhoramento.

A avaliação é como uma fonte de energia essencial para o desenvolvimento das atividades de comunicação participativa. A avaliação não é simplesmente uma atividade externa sobre a intervenção. É um componente crucial da educação nutricional.

Nota. As pessoas interessadas em obter maiores informações sobre aspectos da avaliação podem ler o capítulo 12 do documento: “Manejo de proyectos de alimentación e nutrición en comunidades. Guía didáctica”, publicado pela FAO em 1995 (Ver referências).