REESTRUTURANDO O SISTEMA DE PLANEJAMENTO E AVALIAÇÃO
DO INSTITUTO BRASILEIRO DO MEIO AMBIENTE (IBAMA)

Elci Maria de Oliveira^*

Apresentação

O propósito principal deste trabalho é poder contribuir de alguma forma para a reestruturação do Sistema de Planejamento e Avaliação do Instituto Brasileiro do Meio Ambiente e dos Recursos Naturais Renováveis (IBAMA), ou seja, reforçar e fortalecer seu papel institucional melhorando, em nível interno, a eficiêcia nos trabalhos desenvolvidos e, em nível externo, a qualidade dos serviços prestados.

Quando nos referimos à reestruturação do Planejamento e Avaliação, queremos dizer otimizar as condições atuais de funcionamento do orgão em seus níveis nacional, regional e local, no sentido de ter-se políticas claramente definidas, programas e projetos a partir da realidade ambiental, assim como uma avaliação contínua dos processos administrativos e dos resultados dos projetos implementados.

A estratégia a ser utilizada na implementação do processo de planejamento e avaliação será a capacitação dos atores do sistema ambiental, envolvendo técnicos da administração direta, indireta, de organismos não governamentais, bem como dos demais segmentos sociais interessados. A metodologia utilizada na capacitação tem uma dimensão técnica e política. Técnica, ao analisar os problemas e oportunidades do meio ambiente, os pontos fortes e frágeis das instituições, e política, no sentido de criar entre os envolvidos uma agenda de compromisos estratégicos que viabilizem a implantação dos programas e projetos ambientais.

O trabalho aqui apresentado resulta de inúmeras leituras sobre a matéria, de larga experiência em assessorar a elaboração, execução e avaliação de programas e projetos educacionais em nível de Estados e Municípios brasileiros e, principalmente, da necessidade manifesta de documentos contendo orientações práticas que possam auxiliar os técnicos da instituição.

Deve-se esclarecer que a metodologia proposta não tem a pretensão de ser algo perfeito e acabado, uma vez que os movimentos e fluxos sociais são altamente dinâmicos e mutáveis no tempo.

O presente trabalho está dividido em cinco partes: a primeira apresenta o marco institucional, a concepção e princípios gerais em que se baseia a proposta, a segunda contém a metodologia de planejamento, a terceira parte apresenta a fundamentação e os instrumentos para avaliação de projetos, a quarta parte estabelece alguns pré-requisitos para implementação das metodologias e técnicas propostas e, a quinta e última parte inclui as conclusões.

Finalmente esperamos que a experiência de cada órgao no uso desta metodologia possibilite a revisão e melhoria do instrumental aqui proposto, ajustando-o e/ou adaptando-o à natureza dos problemas e às especificidades estaduais e locais.

Marco Referencial

Uma metodologia de planejamento e avaliação para o IBAMA tem-se mostrado necessária uma vez que as instituições públicas, de maneira geral, não sabem precisamente onde estão. Outras não sabem exatamente onde querem ou devem ir, e quase todas não sabem de que alternativas dispõem para sair de onde estão e chegar ao objetivo pretendido.

Aspectos Institucionais

O Instituto Brasileiro do Meio Ambiente e dos Recursos Naturais Renováveis (IBAMA) é um órgão vinculado ao Ministério do Interior, que foi criado pela Lei No. 7735, de 22 de fevereiro de 1989, com a “finalidade de formular, coordenar, executar e fazer executar a política nacional do meio ambiente, e da preservação, conservação e uso racional, fiscalização, controle e fomento dos recursos naturais renováveis” (Brasil 1989). O IBAMA é fruto da junção de quatro órgãos públicos federais: a Secretaria Especial do Meio Ambiente (SEMA), o Instituto Brasileiro de Desenvolvimento Florestal (IBDF), a Superintendência do Desenvolvimento da Pesca (SUDEPE) e a Superintendência da Borracha (SUDHEVEA). A junção destes quatro órgãos deu-se sem preparação de uma infraestrutura organizacional capaz de dar vazão ao fluxo das demandas em seus diferentes níveis: nacional e internacional. Consequentemente cada um trouxe consigo sua história, cultura, objeto de trabalho e prática institucional.

Segundo relatório das empresas Price Waterhouse - Geotécnica (1993), foi constatado no IBAMA a seguinte situação:

1. desarticulação e falta de coerência na atuação dos diferentes departamentos e coordenações do IBAMA, em nível interno e externo;

2. paralelismo de ações entre os diversos setores;

3. descontinuidade no planejamento e na execução das ações ambientais;

4. execução de ações pontuais e dissociadas de uma visão de globalidade, tornando a instituição mais vulnerável aos processos de mudanças político-administrativas;

5. predomínio de um modelo gerencial centralizador, o que se agrava pela dimensão territorial e diversidade das realidades locais do país, que aliados aos efeitos da centralização tornam o processo de decisão moroso e, às vezes, inadequado;

6. o atual processo de planejamento, programação e avaliação não se encontra claramente definido, sendo realizado quase que exclusivamente para atender as exigências do orçamento federal.

Outras constatações do relatório Price Waterhouse-Geotécnica foram: a inexistência de mecanismos de monitoramento e avaliação de resultados na instituição que, de uma forma geral, concentram-se mais nos processos do que nos resultados obtidos; as metas não são claras e resultantes de consenso; a avaliação, quando existe, está, em geral, relacionada a iniciativas isoladas ou individuais. Outra dificuldade operacional do IBAMA, de suma importância, está relacionada com os recursos humanos, que, de maneira geral, são inadequados tanto quantitativa quanto qualitativamente, necessitando de treinamento, renovação, ou mesmo redistribuição. Ressalta o relatório que qualquer mudança na forma de atuação do órgão exigirá uma profunda adaptação dos profissionais da instituição, através de ações de treinamento, capacitação, remanejamento ou renovação.

Concepções e Princípios

A reestruturação do processo de planejamento e avaliação do IBAMA pode ser entendida como um processo dinâmico, circular e permanente de investigação sobre determinada realidade ambiental na qual se busca o conhecimento e o dimensionamento dos problemas, necessidades, e a definição de alvos a atingir, em tempo e espaço delimitados, bem como das estratégias operacionais necessárias para efetivar as mudanças pretendidas.

Para que o planejamento e avaliação da gestão das políticas ambientais seja viável faz-se necessário considerar a trama de relações mediada por interesses econômicos, políticos e sociais, muitas vezes conflitivos. Nesta ótica, o planejamento e avaliação da gestão ambiental encontra-se vinculado ao processo de tomada de decisão (dimensão política) e às tarefas efetivas da administração (dimensão técnica). A decisão de planejar aspectos da realidade ambiental é uma decisão política na medida em que supõe a definição de objetivos, a destinação de recursos e meios para determinados fins e beneficiários. A dimensão técnica complementa a dimensão política na medida que influencia o processo de decisão, apresentando melhores estratégias e alternativas de ação para a instituuição. A utilização de procedimentos e intrumentais para o planejamento e avaliação dos projetos ambientais no IBAMA possibilitará maior conhecimento da problemática ambiental e da efetividade das estratégias de intervenção utilizadas. Sendo possível, dessa forma, haver maior coerência entre decisões e necessidades do meio ambiente.

A concepção e os fundamentos do planejamento não podem deixar de considerar os seguintes princípios:

• A globalidade compreende uma visão de conjunto do universo a atingir, abrangendo o contexto mais amplo onde se realiza a ação ambiental - Estados e Municípios. Nesse sentido as ações ambientais deverão ser planejadas em articulação com atores do sistema ambiental, prevendo-se uma ação mais globalizada sobre os problemas identificados. Por outro lado, a globalidade do planejamento exige, também, uma unidade de orientação que garanta a coerência e consistência das ações em seus diferentes níveis institucionais.
• A integração deve estar presente em todo o processo de planejamento e avaliação da gestão ambiental nos níveis federal, estadual e municipal, observados a abrangência e o espaço planejado.
• A participação deve permear o processo de planejamento e avaliação da gestao das políticas ambientais em nivel federal, estadual e municipal. Deve, portanto, estar representada pelos diferentes setores e segmentos sociais, políticos e econômicos de forma a assegurar a unidade das ações. É necessário que as comunidades, de forma representativa, sejam chamadas a participar do processo de planejamento, desde seu início até sua execução como forma de comprometimento e monitoração das ações planejadas.
• A gradualidade consiste na implantação da proposta de forma incremental considerando o grau de complexidade e os condicionantes políticos, técnicos, administrativos e financeiros existentes nas áreas federal, estadual e municipal. Nesse sentido a progressividade e o avanço desse processo de trabalho nos estados dependerá em grande parte das respostas apresentadas pelos municípios e do nível de maturação alcançado.

A Proposta

Para Sylvia (1988), quando as realidades são complexas é muito difícil uma única metodologia de investigação. No estudo do meio ambiente essa orientação se aplica dado a complexidade e diversidade das realidades ambientais brasileiras. Assim, a concepção aqui formulada privilegia uma abordagem metodológica mista que prevê a agregação de vários métodos e técnicas de planejamento. Através dessa agregação tenta-se levantar e organizar um conjunto múltiplo de informações que são confrontadas com imagens e representações dos atores envolvidos na formulação da proposta.

Os métodos de análise baseiam-se nos fundamentos de Stake (1981, 95-135), que postula que “a prática e o conhecimento sobre uma teoria aliada à capacidade de interpretação e a habilidade de comunicação permitem a elaboração de uma determinada realidade”. Desta forma a metodologia prevê a utilização de dados quantitativos, mas privilegia o uso de técnicas qualitativas de análise usando o consenso entre os atores envolvidos. Segundo Rossi (1989), essa tática permite que as informações coletadas sejam relacionadas às percepções e valores dos diferentes segmentos sociais, políticos, econômicos, culturais e institucionais. Os métodos não irão partir apenas da agregação e análise de variáveis isoladas ou de objetivos declarados, mas também irão considerar a análise do curso das ações desencadeadas pela instituição.

A estratégia metodológica é sequencial constituindo-se de três etapas. A primeira etapa — identificação de problemas — visa estabelecer as pespectivas ambientais futuras (onde queremos chegar), e configurar um quadro geral do contexto ambiental (onde estamos). A distância existente entre esses dois pontos sinaliza os problemas ambientais que precisam ser eliminados para atingir-se os objetivos propostos. A segunda etapa — hierarquização e definição de alternativas — indica as possíveis idéias de projetos para intervir na problemática ambiental, o que viria diminuir a distância entre o “onde estamos” e “onde queremos chegar”. A terceira e última etapa — implantação de políticas ambientais — seleciona e define os projetos ambientais para curto, medio e longo prazo, tendo-se assim o plano para gestão das políticas ambientais do IBAMA.

ETAPA I: IDENTIFICAÇÃO DE PROBLEMAS

A primeira etapa tem por finalidade identificar os problemas ambientais e hierarquizá-los através de critérios avaliativos institucionais. Esta etapa desdobra-se em duas fases. A primeira fase, que pode ser seqüêncial ou simultânea, envolve a formulação de duas estruturas de referência:

1) estrutura de referência antecipadora (Alexander 1972), a qual sinaliza a ação futura da instituição — onde queremos chegar; 2) estrutura de referência descritiva e analítica (Motta 1988), a qual indica o estado atual da instituição — onde estamos. A segunda fase envolve a análise compartiva das duas estruturas de referência e a identificação de problemas.

FASE 1: Estabelecimento de Estrutura de Referências

Estrutura de Referência Antecipadora

A modalidade antecipadora possui uma conotação de ideais algo que, mesmo não podendo ser atingido dentro de um horizonte definido de tempo, deve ser perseguido. Perseguir ideais que, dentro das condições atuais e potenciais, podem ser inatingíveis é uma das peculiaridades do homem e de alguns dos sistemas sociais dos quais participa. O importante não está tanto em atingir um ideal, mas em aproximar-se continuamente dele, o que caracterizaria, então, a realização de um processo. Portanto a formulação de ideais não constitui um mero e vazio exercício de utopia, mas uma condição indispensável para o estabelecimento de diretrizes e políticas ambientais.

A modalidade antecipadora depende da formulação de uma base de valor comum entre os atores que participam do processo de discussão sobre o meio ambiente que se gostaria de ter. A base de valor constitui uma estrutura de referência que dará sentido e direção ao esforço a ser empreendido tornando mais claro quais direções devem-se dar ao meio ambiente, e que parametros de mundanças devem ser indicados para monitorar e avaliar as mudanças no tempo.

Dessa forma, o estabelecimento das decisões normativas (ou ideais) se fundamenta nas aspirações e desejos e, portanto, nos valores mais individuais das pessoas e dos sistemas sociais envolvidos. Tais aspirações e necessidades ambientais podem já estar instaladas no presente (ex.: eliminar o desmatamento, as queimadas, etc.), serem apenas emergentes (ex.: capacitar equipes multidiciplinares para trabalhar com as questões ambientais nos estados e municípios), ou situar-se no futuro (ex.: criar condições para o meio ambiente tornar-se auto-sustentável). Podem além disso, decorrer, tanto do exame de uma situação ou tendência, como nos exemplos acima, ou de uma motivação subjetiva como por exemplo alcançãr e manter a imagem valorativa do trabalho do IBAMA na sociedade brasileira.

Nessa linha de ação deve-se:

1. conceber uma estrutura de valor que reflita o sentido e as direções que se quer dar ao meio ambiente no país;

2. debater com o público em geral os futuros alternativos e os parâmetros necessários para monitorar as mudanças desejadas;

3. discutir e escolher o futuro ambiental desejado e as possíveis estratégias operacionais para sua viabilização;

4. estabelecer uma agenda de compromisso entre os participantes. Definição de papéis e níveis de responsabilidades.

5. discutir sobre um sistema de monitoração e avaliação que possa ser utilizado pelas comunidades locais para apurar, através dos parâmetros, o movimento de aproximação ou distanciamento do futuro desejado. Essa modalidade é criativa, aberta e sensível às percepções e valores dos participantes.

Estrutura de Referência Descritiva e Analítica

A fundamentação para formular a referência descritiva e analítica deve considerar a instituição IBAMA a partir das seguintes dimensões (Mota 1988):

1. Objetivos e finalidades: identificar e examinar o sentido da missão na instituição, seus objetivos gerais e específicos, tanto os manifestos como os latentes.

2. Fatores endógenos: analisar como a instituição programa e distribui seus recursos. Conhecer a estrutura funcional legal e a que realmente está em prática. Verificar o nível de articulação interna entre os órgãos. Estudar a situação dos recursos humanos: quantidade, qualidade, formação acadêmica, experiência profissional, etc.

3. Fatores exógenos: analisar como a instituição utiliza seus conhecimentos, valores e recursos em suas ações externas. Verificar como os programas e/ou projetos ambientais encontram-se articulados em nível governamental (federal, estadual, municipal) e não governamental.

4. Desempenho: examinar os processos e procedimentos (políticos, legais, administrativos, financeiros, técnicos, etc.) utilizados pela instituição no desenvolvimento de suas atividades, tanto no nível interno como externo.

5. Resultados: analisar a qualidade e a quantidade de bens ou serviços produzidos, no nível interno e externo, em termos da extensão desse atendimento às comunidades locais. A avaliação dessas cinco dimensões institucionais possibilita a identificação dos problemas em seus níveis internos e externos e de sua natureza como também das condições facilitadoras das ações ambientais.

FASE 2: Análise Comparativa

Estabelecidas a visão do futuro através da estrutura de referência antecipadora (Alexander 1972) e a visão da realidade ambiental através da estrutura de referência descritiva e analítica (Motta 1988), passamos à segunda fase da primeira etapa. A distância entre a visão antecipadora do meio ambiente que se deseja e a realidade ambiental é o objeto de estudo desta fase.

Esta fase envolve os seguintes procedimentos:

• a comparação entre o modelo ideal (referência antecipadora) e a realidade ambiental (referência descritiva analítica);
• a determinação da distância entre as duas referências, ou seja, definir os problemas ambientais que precisam ser eliminados, ou reduzidos, para atingir as perspectivas ambientais futuras;
• o isolamento dos problemas detectados;
• a análise dos problemas ambientais entre si para detectar-se o grau de interdependência existente entre eles.

ETAPA 2: HIERARQUIZAÇÃO E DEFINIÇÃO
DE ALTERNATIVAS

A segunda etapa indica os problemas mais graves na área ambiental e as possíveis estratégias de intervenção.

Os procedimentos a serem considerados devem:

• analisar a gravidade de cada problema ou problemas, e hierarquizá-los utilizando uma escala de zero a dez;
• levantar todas as possíveis idéias de projetos e estratégias operacionais (brainstorming, por exemplo) para solucionar e/ou minimizar os problemas hierarquizados.

Ao final desta etapa ter-se-a para cada problema ambiental detectado uma ou várias alternativas de solução a serem objeto de análise e decisão. Não há preocupação, nesse momento, com o número de sugestões, mas sim com sua pertinência e objetividade.

ETAPA 3: IMPLANTAÇÃO DE POLÍTICAS AMBIENTAIS

A implantação de políticas ambientais que compreende a terceira e última etapa da proposta contém uma dimensão política que de certa forma predomina sobre a dimensão técnica e que a diferencia das fases anteriores.

Esta etapa, em geral, envolve os seguintes procedimentos:

• avaliação das estratégias operacionais para os problemas ambientais considerando os condicionantes: técnicos, administrativos, financeiros e políticos, dentre outros;
• seleção entre as estratégias avaliadas daquelas mais eficientes e eficazes;
• encaminhamento do conjunto de propostas alternativas para a decisão superior.

O resultado da decisão indicará um conjunto integrado de projetos e estratégias que formará o Programa Nacional de Gestao de Políticas Ambientais (PNGPA/IBAMA). Esta etapa deverá ser finalizada com a definição de cronogramas físico-financeiros da proposta e sua implementação. Deve-se enfatizar que a avaliação deve permear todo o processo de elaboração e implementação da proposta.

O próximo seguimento apresenta aspectos referentes a avaliação de projetos ambientais.

Avaliação de Projetos Ambientais

Fundamentos e Instrumentos de Avaliação

Demonstraremos nesse segmento os fundamentos teóricos em que se baseia a proposta de avaliação e, em seguida, os instrumentos para orientar sua implantação.

A avaliação se inicia no processo de planejamento, continua durante a implantação da proposta e tem o compromisso de verificar os impactos dos resultados após a execução dos projetos. A avaliação não é apenas uma atividade técnica mas também política e adminstrativa, pois demonstra a efetividade das políticas governamentais. Os fundamentos básicos que permeiam essa abordagem metodológica apóiam-se na combinação da teoria das facetas de Guttmam (1972), citado por Serafini (1984), e na teoria de Stuffplebeam (1983).

As vantagens apresentadas na utilização da primeira teoria são:

1. a definição e a delimitação cuidadosa do universo de observações;

2. a obtenção de informação independente para cada uma das dimensões em seus diferentes aspectos;

3. a integração e a valorização da informação em um todo coerente e de fácil interpretação;

4. a incorporação da informação avaliativa, em virtude de seu caráter estrutural e sistêmico, ao processo decisório;

5. a participação no processo avaliativo de diferentes atores do sistema ambiental;

6. a distinção de diferentes níveis de valorização e a consequente utilização da informação obtida;

7. a aplicação de diferentes métodos para a análise da informação;

8. a integração equilibrada de elementos qualitativos e quantitativos na síntese avaliativa de forma concisa e estruturada;

9. a funcionalidade instrumental no processo de fornecimento da informação, por sua simplicidade, caráter global e variedade de formas de apresentação.

A segunda teoria centra-se na captação, processamento e fornecimento da informação com a função de dar “feedback” ao decisor, ao planejador, e aos demais atores do sistema ambiental. Essa linha metodológica se caracteriza pela seguinte premissa:

1. Delinear:

• atividades que vão ser avaliadas;
• decisões que vão ser tomadas a respeito destas atividades;
• informações necessárias para subsidiar o processo de tomada de decisão.

2. Obter:

• informação através de mecanismos diversos.

3. Comunicar:

• fomecimento da informação.

Da primeira teoria extraiu-se a forma de identificar e definir uma dada realidade, tendo-se inicialmente uma visão global da mesma (universo de observações) para depois desagregá-la e analisá-la em várias dimensões (facetas). Essa forma sistemática de decompor a realidade estudada em partes e, depois, recompô-la no todo, permite interpretar a informação levantada num corpo coerente, qualificando os aspectos avaliados. Da segunda teoria retiramos a natureza sistêmica, objetiva e gerencial de definir, obter, analisar e fornecer as informações.

Respostas às três questões chaves são fundamentais para a organização e direcionamento desse enfoque metodológico.

1. Para que e para quem avaliar?

2. Que e quem avaliar?

3. Como avaliar?

1. Para que e para quem avaliar?

Segundo Goldenberg (1973), “ . . . uma avaliação para ser útil e legítima deve funcionar como um controle de qualidade do próprio processo de planejamento...”, isto é, deve oferecer ao planejador, ao decisor, e demais interessados nos resultados, informações capazes de auxiliá-los a aperfeiçoar suas decisões. Teoricamente as decisoes possíveis a partir do estudo são de:

• continuar
• itensificar
• modificar
• suspender
• substituir

2. Que e quem avaliar?

Definir com clareza o que se vai avaliar e qual é a finalidade da avaliação. Identificar e caracterizar as populações, instituições, etc. que serão objeto da avaliação.

3. Como avaliar?

Após a definição dos objetivos e do objeto da avaliação, o próximo passo é a seleção dos critérios que servirão de base para a avaliação. Sugerimos para parâmetro a efetividade, uma vez que é mais factível, segundo Rossi (1989), para analisar-se a validade dos programas governamentais.

Toda avaliação é uma tarefa ameaçãdora, especialmente para aqueles que vão confrontar-se com o julgamento das ações que eles próprios planejaram e desencadearam. Para Rossi (1989), os resultados da avaliação quase sempre são percebidos pelos avaliados como críticas, criando-se um clima de desconfiançã que compromete o trabalho. Para evitar essa situação de conflito, as equipes interdiciplinares responsáveis pela avaliação precisam criar um clima de abertura nos grupos de trabalho, suficiente para permitir-lhes enfrentar com toda tranquilidade os resultados da avaliaçao. Sejam eles quais forem, favoráveis ou desfavoráveis, irão contribuir para reflexões e mudanças em futuros projetos ambientais.

Apresentamos a seguir instrumentos e respectivas orientações para a avaliação de projetos ambientais em seus diferentes momentos: planejamento (entrada), monitoração (processo) e avaliação de resultados (produto).

Deve-se esclarecer que os instrumentos avaliativos aqui propostos são sugestões que servem para orientar a avaliação de programas ou projetos de implementação das políticas ambientais, e, como sugestões, estão abertos a críticas e modificações.

Avaliação de Entrada: Planejamento

O objetivo do instrumento é verificar se o projeto apresenta condições favoráveis a sua execução.

A avaliação de um projeto envolve, no mínimo, as seguintes etapas: JUSTIFICATIVA, OBJETIVOS E METAS, ATIVIDADES DE IMPLEMENTACAO, PLANO DE APLICAÇÃO E AVALIAÇÃO. A análise das etapas permite ter uma idéia global do projeto, suas bases, recursos e intenções.

O instrumento de avaliação desenvolvido tem por finalidade uma avaliação qualitativa que é transformada em informação quantitativa através da Escala Lickert (Gay 1987), como forma de dar unidade e objetividade ao processo de análise e avaliação. Na escala Lickert proposta, cada item selecionado é descrito no instrumento, devendo ser conceituado em um contínuo de 1 a 5. Os números correspondem aos seguintes conceitos:

1. fraco

2. regular

3. bom

4. muito bom

5. excelente

A primeira parte do instrumento — Identificação do Projeto — não é objeto de avaliação, pois destina-se a posicionar a equipe de avaliação em relação a elementos importantes para a identificação do projeto. Cada uma das etapas do projeto será aprovada, não aprovada, ou sujeita a reformulação, dependendo da pontuação alcançada.

Condições para aprovação dos projetos:

a) será aprovado o projeto cujas etapas atingirem a pontuação estabelecida na matriz analítica:

33-50 (pontos): justificativa e medidas de implementação

23-30 (pontos): objetivos, metas, plano de aplicação e avaliação b) será objeto de reformulação o projeto cujas etapas não atingirem o limite mínimo dos pontos para aprovação.

25-30 (pontos): justificativa e medidas de implementação

15-22 (pontos): bjetivos, metas, plano de aplicação e avaliação c) não será aprovado o projeto que obtiver menos do limite estabelecido pela matriz analítica nas 5 etapas do projeto:

(-) 24 pontos: justificativa e medidas de implementação

(-) 14 pontos: objetivos, metas, plano de aplicação e avaliação

INSTRUMENTO DE AVALIAÇÃO
DE PROJETOS AMBIENTAIS

I. Identificação do Projeto

1. Título do Projeto:

2. Período de execução: Início: Término:

3. Abrangência:

4. Nome do Órgão Proponente:

5. Endereço:

6. Esfera Administrativa:

___Federal ___Estadual ___Municipal ___Particular

7. Tipos de Entidade:

Secretaria do Meio Ambiente _____

Prefeitura Municipal _____

Universidade _____

Organização não Governamental _____

Empresa Nacional _____

Empresa Internacional _____

Setor Energético _____

Setor Agroindustrial _____

8. Valor Global

II. Justificativa

É possível identificar informações que esclareçam:

1. O problema a ser tratado
2. A definição das causas e efeitos do problema
3. Existência de prognóstico
4. O envolvimento dos diferentes atores do sistema ambiental
na discussão dos problemas e busca de alternativas
5. Coerência entre os problemas e a alternativa de intervenção
6. Area geográfica de abrangência
7. Clientela beneficiada
8. Interface com outros projetos
9. A legislação de suporte às ações e proposições de ordem financeira e administrativa que assegure sua consecução
10. Compatibilidade com as políticas: nacional, estadual e municipal

III. Objetivos e metas

1. Os objetivos demonstram claramente os fins para os quais a execução do projeto concorre?

2. As diretrizes do IBAMA refletem-se nas metas propostas pelo projeto?

3. As metas são devidamente quantificadas no tempo e no espaço?

4. Existe relação entre os problemas detectados pela justificativa e as metas e estratégias operacionais selecionadas?

5. As metas são exeqüíveis face ao problema e as condições para a intervenção?

6. Os indicadores nas metas são claros permitindo comparar e avaliar o atingimento dos objetivos?

IV. Atividades de implementação

1. O detalhamento das ações deixou claro o conjunto de ações, sua sequência e sua interdependência para execução das metas?

2. Há operacionalidade nessas ações?

3. Há lógica e clareza na sequência das ações?

4. As estratégias operacionais, técnicas e os instrumentos para realizar as ações estão definidos com clareza e objetividade?

5. Há relação visível entre as operações previstas nas metas e o alcance dos resultados expressos nos objetivos?

6. Há coerência entre os objetivos, as metas e as estratégias operacionais?

7. As instalações, mobiliários, equipamentos, tecnologia, etc., previstos correspondem às necessidades do projeto?

8. Os recursos humanos envolvidos possuem experiência em trabalhar com projetos em suas diferentes etapas: elaboração e execução?

9. As especificações quanto ao pessoal, a tecnologia, os recursos materiais, etc. são os mais recomendáveis face aos recursos e aos objetivos?

10. O esforço para concepção do projeto é compatível com a capacidade gerencial e os recursos financeiros para executá-los?

V. Plano de Aplicação

1. Há convergência entre a distribuição dos recursos financeiros no projeto e as diretrizes propostas pelo IBAMA?

2. Existe orçãmento previsto para fazer face aos custos do projeto?

3. A distribuição dos recursos financeiros possibilita o cálculo do custo unitário dos serviços?

4. O orçamento previsto obedece as disposições legais vigentes em relação ao custo operacional do projeto?

5. Há coerência entre os recursos e a dimensão do problema?

6. Os cronogramas físicos e financeiros são compatíveis?

VI. Avaliação

Encontram-se previstos:

1. Mecanismo para avaliação da implementação do projeto.

2. Instrumentos viáveis para acompanhamento.

3. Definição dos períodos de avaliação no desenvolvimento das metas.

4. Elaboração dos informes avaliativos.

5. Divulgação dos resultados parciais.

6. Elaboração do relatório final.

VII. Divulgação de Resultados

O informe avaliativo é um parecer contendo a posição do analista quanto às condições de exeqüibilidade do projeto. O estilo e o conteúdo do informe varia de acordo com o usuário. Pode ser mais objetivo e conciso se o usuário for o decisor, ou mais minucioso e detalhista se for o técnico.

Um aspecto de fundamental importancia nesse momento é fazer com que os resultados da avaliação cheguem o mais rápido possível a seus destinatários. Para Christopher Bellavita (1986), uma avaliação relevante e que chega às maos de um dirigente na hora certa é melhor que uma avaliação precisa que chega depois da hora.

As conclusões sobre a avaliação do projeto devem dar um direcionamento ao órgao proponente. Se o projeto foi aprovado, medidas para sua implatanção devem ser acionadas e comunicadas. Se foi aprovado parcialmente o parecer, deverá ressaltar os aspectos não satisfatórios e que deverao ser reformulados. Caso não seja aprovado, o parecer deverá indicar as razões e procurar verificar os pontos falhos do projeto.

Avaliação de Processo: Monitoração

Para Rossi (1989, 99-134), o monitoramento de um projeto tem por finalidade responder às seguintes questoes:

Que está realizando o projeto?

Quem o está executando?

Como está sendo realizado?

O projeto está atingindo a população objeto?

Os resultados do projeto são congruentes com os objetivos propostos:

As resposta a essas questões permitirão orientar as decisões de continuar, ampliar ou terminar um projeto. Segundo o autor, os patrocinadores do projeto e o público em geral devem receber informações periódicas sobre o andamento do projeto e os problemas que vao surgindo, de forma que possam opinar sobre as ações corretivas. Quando isto não acontece corre-se o risco de executar um projeto não aceitável com características muito diferentes do inicial. O monitoramento tem geralmente êxito quando os projetos são mais simples. Os que apresentam metas diversificadas e que incluem diferentes tipos de serviços são mais difíceis às intervenções.

Para Silvia (1988), o monitoramento passa, necessariamente, por quatro fases, a saber:

1. Identificação do problema;

2. Definição e proposta de solução;

3. Implementação das ações corretivas e;

4. Retroalimentação do projeto.

Segundo Rossi (1989), em se tratando de assegurar a confiabilidade dos dados, é importante ter-se um sitema de registro simples e compreensível que atenda as necessidades da avaliação. Os projetos monitorados necessitam ter instrumentos para registro das informações, devendo, portanto, ser elaborados de forma que facilite e simplifique a coleta de dados. Existe uma variedade de técnicas que podem ser utilizadas, levando-se em conta os recursos disponíveis e a experiência da equipe de avaliação. Dentre tais técnicas, Patton (1980) cita: (1) observação direta pelo avaliador; (2) registro dos resultados das ações ou serviços realizados; (3) dados da equipe executora do projeto; (4) informação da população objeto do projeto, (5) informações sobre os resultados da administração do projeto e; (6) informações sobre o trabalho dos monitores.

Os instrumentos para registro devem, na medida do possível, ser elaborados pelas equipes de monitoração e de execução do projeto, uma vez que estas se encontram em contato constante e conhecem com maior profundidade a natureza das ações que estão sendo desenvolvidas. Um sistema de registro para ser útil precisa ser confiável e atualizado.

Apresentamos a seguir um roteiro para monitoramento de projetos contendo informações que orientam como segui-lo. A simplicidade do roteiro facilita o entendimento e o uso do instrumental aos técnicos e demais envolvidos em projetos ambientais. O desenho metodológico proposto utiliza os referenciais teóricos de Rossi (1989) e Sylvia (1988).

INSTRUMENTO DE MONITORIZAÇÃO

I. Identificação do Projeto

• Nome da Instituição:
• Nome do Projeto:
• Ano de Execução:
• Período de Monitroização
• Responsável pela Execução:
• Responsável pela Coordenação:

Elaborar um cronograma com todas as atividades a serem desenvolvidas na monitorização e indicar os responsáveis.

II. Identificação de Problemas:

• Metas e Recursos

As atividades de monitorização das metas são realizadas a partir do momento que o projeto inicia sua execução. Essas atividades relacionam-se menos em efetuar juízos decisivos em relação aos resultados do projeto e mais em incorporar medidas corretivas para ajustar as ações em execução.

Listar no campo 5.1 as metas programadas com suas devidas especificações e, no campo 5.2, listar os recursos previstos. O monitorização deve analisar dentre outros aspectos o que foi efetivamente executado, quanto se gastou, se os recursos foram usados dentro dos limites estabelecidos, se houve observância dos aspectos legais, se os beneficiados do projeto são os mesmos previstos pelas metas, se a dimensão da meta é compatível com a capacidade gerencial para executá-la, se a meta prevê algum tipo de serviço ou de produção e, se estes foram entregues ou realizados de acordo com o cronograma físico e financeiro e as quantidades e qualidades desejadas, etc. Com base nas análises registrar no campo 6.1 a natureza das dificuldades encontradas (política, financeira, administrativa institucional, gerencial, legal, material, pessoal, etc), como também as condições favoráveis à execução das metas.

A monitorização neste momento visa identificar os problemas e os desvios durante a execução do projeto e otimizar as condições favoráveis encontradas. E um processo de trabalho altamente dinâmico requerendo, portanto, rapidez na identificação dos problemas para passar-se à fase da discussão e definição das alternativas de intervenção. Essas duas fases devem ser realizadas com equipes multidiciplinares e representantes dos atores do sistema ambiental para que se possa criar um clima de aceitação e compromisso com as fases subseqüentes.

III. Interfaces

Registrar no campo 5 . 3 as interfaces que as metas têm internamente a nível de outros projetos na instituição e, externamente, com outros órgãos. Listar no campo 6.1 as dificuldades nesta interrelação e a natureza do problema, ou os fatores que viabilizam a execução. No caso de haver problemas, sugerir a solução junto aos órgãos envolvidos com a meta, de forma que não haja atrasos no cronograma, nem afete a qualidade das ações em desenvolvimento. Muitas vêzes é necessário, por tratar-se de decisões em níveis interinstitucionais, solucionar o problema em nível político.

IV. Implementação de Ações Corretivas:

Organização e Análise da Informação

No campo 6.2 deve-se organizar, selecionar e classificar as informações dos campos 4.1, 5.1, 5.2, e 5.3 segundo sua natureza e relevância em função do que é significativo, ou seja, dos objetivos e metas do projeto e eliminar as informações repetidas e desnecessárias.

Selecionar neste conjunto de informações os indicadores que descrevam e demonstrem a posição das metas e seus respectivos problemas. Após a seleção, organização e classificação das informações (indicadores) consideradas relevantes em cada meta, será feita no campo 6.2 uma análise de congruência e efetividade das ações desenvolvidas. A análise de congruência busca verificar se as metas em execução atingem os resultados parciais ou totais previstos, ao passo que a análise de efetividade indica se esses resultados se revertem em características desejáveis (benefícios) em relação ao investimento financeiro realizado. Os dados quantitativos devem ser analisados sob o ponto de vista qualitativo a fim de que se convertam em sugestões ou alternativas de solução que possam vir a direcionar as atividades da instituição.

V. Apresentação dos Resultados

Os resultados devem traduzir-se em respostas acerca da relevância do projeto quanto às questões levantadas no início da monitoização. Os informes internos devem ser apresentados em uma seqüência oportuna e com bastante rapidez a fim de assegurar que as correções sejam realizadas no momento certo. A forma mais comum de apresentar informações é através de comunicações escritas. No entanto, os métodos podem variar de acordo com a natureza da decisão. As conclusões dos informes no campo 6.3 devem possibilitar ações corretivas para as disfunções apresentadas durante a execução do projeto, como também sugerir alterações no planejamento dos futuros projetos e no modelo avaliativo utilizado.

Avaliação de Resultados

A conclusão de um projeto exige uma avaliação final ou avaliação de resultados que em geral levam em consideração aspectos relevantes da avaliação de processo e monitorização e os parametros e indicadores identificados na avaliação de entrada (planejamento).

A metodologia de avaliação de resultados tem por base uma matriz analítica que orientará o avaliador na obtenção, organização e análise dos dados bem como na redação do relatório final.

INSTRUMENTO: Matriz Avaliativa

Orientações para o Preenchimento da Matriz

Sendo a metodologia seqüencial, cada etapa e cada fase têm estreita relação umas com as outras. A falta de clareza no preenchimento de uma comprometerá a qualidade no trabalho das fases subsequentes.

Identificação do Projeto

Instituição:

• Diretrizes:
• Áreas-Problemas:
• Nome do Projeto:
• Objetivo(s):

A matriz avaliativa é composta de três etapas que se subdividem nas fases abaixo descritas:

1. Identificação da Informação
1.1. Universo de observação

2. Levantamento da Informação
2.1. Coleta de dados
2.2. Organização e análise dos dados

3. Fornecimento da Informação
3.1. Apresentação dos resultados

ETAPA 1:  IDENTIFICAÇÃO DA INFORMAÇÃO

Corresponde a identificação, definição e delimitação de diferentes informações e subdivide-se na fase:

1.1 Universo de Observações - é a definição de uma dada realidade do projeto. Pode ser identificado a partir dos campos.

1.1.1. Dimensões (Facetas)

Refletem o número mínimo de variáveis necessárias para descrever analiticamente uma realidade com um grande número de aspectos. Pode-se, também, denominar de facetas. As dimensões ou facetas deverão ser identificadas a partir do universo de observacões.

1.1.2. Indicadores

Os indicadores podem ser definidos como uma unidade que serve para medir o grau de atingimento de uma meta (M. Espinoza 1993). A partir das facetas deve-se indicar os elementos de mensuração, indicadores, que vão demonstrar em que medida os objetivos do projeto foram alcançados.

1.1.3. Cronograma

Listar e aprazar todas as atividades a serem desenvolvidas nesta etapa e identificar o responsável pela execução.

1.1.4. Coordenador

Apresentar as ações a serem desenvolvidas pelo coordenador e indicar o responsável.

ETAPA 2: LEVANTAMENTO DA INFORMAÇÃO

Esta etapa tem por finalidade a coleta, e a organização e análise dos dados.

2.1 Coleta de Dados

Segundo Holanda (1977), a natureza da coleta será determinada em função dos objetivos e indicadores e também da disponibilidade e/ou dificuldade para obtenção dos dados. Em geral, pode-se sugerir cinco atividades:

2.1.1. Identificação das prováveis fontes de dados, isto é, onde se buscarão os dados. Estas devem ser selecionadas de acordo com o plano de coleta.

2.1.2. Definição dos procedimentos de coleta, onde se inclui a especificação do tipo e natureza do estudo. No plano de coleta de dados, devem ser considerados:

• como os dados devem ser coletados, organizados e classificados;
• os aspectos de validade, precisão e confiabilidade.

2.1.3. Identificação, seleção, elaboração ou revisão de instrumentos para a coleta dos dados. Há duas opções: selecionar instrumentos já testados ou elaborar novos.

2.1.4. Estabelecimento de cronograma para o desenvolvimento das tarefas, indicando os responsáveis pela execução.

2.1.5. Indicação do responsável pela coordenação da coleta de dados.

2.2. Organização e Análise dos Dados

Segundo Selltiz (1974), os avaliadores, após a coleta dos dados, deverão voltar toda sua atenção para a análise e interpretação, processo que consiste em operações estreitamente relacionadas. O objetivo da análise é sumariar as observações realizadas de forma que estas permitam demonstrar se os objetivos do projeto foram alcançados ou não, segundo parâmetros préestabelecidos. O objetivo da interpretação é a procura do sentido mais amplo de tais resultados através de sua ligação a outros projetos institucionais. Nos vários passos de uma avaliação, o processo e a orientação na interpretação dos dados terão a marca do conhecimento, da imaginação e o bom senso dos analistas.

O desenho metodológico proposto conduz a uma análise inicialmente global, ao definir-se o universo de observações, partindo, em seguida, para uma visão mais específica ao dividir o todo em facetas ou dimensões mais factíveis de análise. Este procedimento do geral para o particular, possibilita maior aprofundamento das análises, permitindo perceber interfaces, divergências ou implicações existentes entre as questões estudadas.

A organização e análise dos dados subdividem-se nos seguintes campos:

2.2.1. Procedimentos para Análise

Deve-se, inicialmente, organizar, selecionar e classificar os dados para análise, considerando sua validade, relevância e confiabilidade. Em seguida, passa-se a selecionar métodos, tipos de análise, estatísticas, etc. para descrições e inferências. Sugerimos, dado a natureza do projeto ambiental, a análise de congruência e efetividade. Por último, verificar o nível de coerência entre as diretrizes e e as áreas problemas da instituição com os resultados alcançados pelo projeto.

2.2.2. Cronograma

Listar e aprazar as atividades a serem desenvolvidas e indicar os responsáveis pela execução.

2.2.3. Coordenador

Apresentar as ações a serem desenvolvidas pelo coordenador e indicar o responsável.

ETAPA 3: FORNECIMENTO DA INFORMAÇÃO

Os resultados da avaliação devem traduzir-se em respostas à validade do projeto. As informações devem ser organizadas em linguagem e forma capazes de subsidiar em momento oportuno aos possíveis usuários. Esta etapa envolve a fase 3.1, a apresentação dos resultados, e divide-se nos seguintes campos:

3.1.1. Identificação dos usuários, isto é, dos consumidores potenciais da informação;

3.1.2. Seleção de procedimentos para apresentação das informações que poderão diferir conforme o tipo de usuário;

3.1.3. Definição da sistemática de circulação das informações entre os consumidores;

3.1.4. Cronograma das tarefas a serem desenvolvidas com indicação do responsável pela execução;

3.1.5. Identificação do responsável pela coordenação do fornecimento da informação.

É importante lembrar que o objetivo de um relatório avaliativo não é um fim em si mesmo, mas o de atender ao usuário, exigindo, portanto, que se conheça o melhor possível o tipo de leitor a que se destina o relatório (Castro 1984). Qualquer que seja o usuário, duas questões devem ser consideradas:

a) Que deseja esse usuário ou precisa saber a respeito do estudo?

b) Qual a melhor forma de apresentar essa informação?

Geralmente a natureza do que vai ser comunicado no relatório determinará o formato, tamanho e estilo do trabalho. É fundamental reforçar a idéia de que a avaliação é uma função constante, necessária à sobrevivência dos processos administrativos e decisórios, e não a uma determinação pessoal ou uma atividade circunstancial e aleatória. Desse modo, a apresentação da informação aos decisores e demais grupos interessados deve ser sistemática e constante, não se limitando apenas ao momento de avaliação de resultado. O decisor e os atores do sistema ambiental precisam acompanhar, mediante os informes avaliativos, todo o chamado “Ciclo de Avaliação” que compreende as diferentes fases, ou seja, fase de planejamento, de processo e de resultado.

A forma mais comum de apresentar informações é através de comunicações escritas em linguagem capaz de alicerçar a tomada de decisões. No entanto, os métodos podem e devem variar de acordo com a natureza da decisão.

Os informes devem responder aos patrocinadores do projeto e demais interessados às seguintes indagações, dentre outras:

• Como foram alcançados os objetivos do projeto?
• Em que aspectos o projeto apresentou resultados significativos, comparados aos parâmetros iniciais?
• Quais efeitos adicionais foram apresentados pelo projeto?

As conclusões dos informes devem possibilitar um direcionamento nas atividades da instituição no sentido de sugerir alterações para o aperfeiçoamento dos futuros projetos ambientais como também do modelo avaliativo utilizado.

Pre-requisito para a Implantação da Proposta

Para que seja possível a implantação desta proposta de trabalho é fundamental o envolvimento dos atores do sistema ambiental (instituições governamentais e não governamentais, segmentos sociais, políticos, empresariais, universidades, e demais interessados, etc.) em uma ação de capacitação no uso das metodologias aqui apresentadas. A reunião de grupos com interesses diversificados para discutirem e buscarem alternativas conjuntas para os problemas ambientais possibilitaria maior compromisso e a formação de acordos e alianças, dando uma nova dinâmica ao trato das questões ambientais.

Está cada vez mais claro que as instituições (federal, estadual e municipal), trabalhando de forma centralizada, não têm chegado, na maioria das vezes, onde pretendiam sem contar com a grande perda dos recursos escassos e a ineficiência e ineficácia dos serviços prestados à comunidade.

A capacitação tem por objetivo preparar diferentes grupos no uso de metodologias de planejamento e avaliação, para que possam analisar num ângulo mais global as questões ambientais. O resultado esperado do treinamento é que elaborem os projetos ambientais e busquem de forma conjunta estratégias operacionais para viabilização das propostas.

A capacitação seria inicialmente realizada em nível da administração central, envolvento não só o IBAMA mas também órgãos inter-governamentais e, em seguida, ocorreria em nível regional e local, envolvento inclusive organizações não governamentais (ONGS). A capacitação em nível central objetiva preparar equipes multidiciplinares que repassariam os conhecimentos e orientações às equipes regionais. Essas trabalhariam com as equipes municipais do meio ambiente fortalecendo, assim, as bases locais. O resultado do trabalho nesses três níveis se constituiria em projetos ambientais elaborados tendo por referência as políticas ambientais em nível federal e estadual ou municipal.

Ao final se teria uma programação (a curto, médio e longo prazo) para o meio ambiente com as alianças e acordos interinstitucionais necessários à sua implementação. A sistematização nessa linha de trabalho possibilitará ter-se projetos ambientais realísticos e uma base de informações contínuas sobre os resultados alcançados em seus diferentes níveis de execução.

Conclusões

As questões ambientais no Brasil ocorrem numa realidade complexa caracterizada pela grande extensão geográfica do território brasileiro, elevado crescimento e movimento populacional, acentuadas desigualdades de renda, urbanização, escolarização, assistência médica, etc., agravadas pela ineficiência da estrutura pública. Nesse contexto conjuntural os problemas ambientais vêm-se intensificando ao longo dos anos, não obstante intervenções pontuais tenham sido realizadas.

No sentido de ajudar a reverter gradativamente esse quadro, é que nos propomos, através dos subsídios metodológicos de planejamento e avaliação aqui apresentados, fortalecer o IBAMA em seu papel institucional, para que possa gerenciar, monitorar e avaliar as questões ambientais em nível nacional, regional e local, o que implica a total alteração das atuais sistemáticas de trabalho da instituição.

A primeira alteração seria na dinâmica do trabalho que passaria a ser realizado não apenas em nível dos órgãos governamentais, mas de forma conjunta agregando esforços e recursos (humanos e financeiros), dos atores do sistema ambiental na definição das políticas ambientais brasileiras e na identificação de estratégias operacionais para implantação dos programas e projetos. O envolvimento de grupos de diferentes segmentos possibilita a formação de acordos e alianças, dando um novo direcionamento ao trato das questões ambientais.

O primeiro passo para demarrar esse processo de trabalho seria uma capacitação dos envolvidos em metodologias de planejamento e avaliação. Falar a mesma linguagem é fundamental para ter-se unidade de orientação, o que de certa forma leva coerência e consistência das ações em seus diferentes níveis institucionais e não institucionais. O segundo passo seria a elaboração, pelos envolvidos nos programas e projetos ambientais, do plano de implementação da proposta. O terceiro e último passo seria a execução, monitorização e avaliação dos projetos ambientais num constante processo de retroalimentação.

Este processo de trabalho deve ser coordenado pelo IBAMA em nível nacional e pelas superintendências de meio ambiente em nível regional e local. A nova práxis operacional levaria as instituições ambientais em nível regional e local a uma maior competência técnica e autonomia política para administrar seus problemas e identificar parcerias e alianças que possam reunir esforços e recursos na viabilização dos projetos.

Dentre outras vantagens para a aceitação da proposta inclui-se:

• o baixo custo financeiro por tratar-se de uma capacitação de curta duração e que apresenta resultados ao final dos trabalhos;
• a possibilidade de projetos ambientais elaborados em uma linha de unidade e coerência;
• a possibilidade de ser implantada de forma gradual, avaliando-se os resultados para depois ampliar as ações;
• a simplicidade da metodologia que facilita seu uso e entendimento.

Por outro lado vale esclarecer que seria ingênuo acreditar que uma mudança dessa natureza aconteça com a simples implantação de metodologias que são apenas procedimentos e instrumentos para melhorar a eficiência e eficácia dos trabalhos técnicos. A dimensão da decisão política se faz fundamental. Seria também ingênuo acreditar que essa dinamica de trabalho se daria de forma tranqüila, sem conflitos de interesses, idéias e ideologias. Vão surgir a todo momento contradições e oposições. Vão surgir resistências quando os atores do sistema ambiental se virem confrontados com as ações que eles próprios planejaram e executaram. Não será fácil, mas também não é impossível, reverter esse processo de trabalho. É necessário tempo para reaprender a mudar, ouvir, discutir, discordar e aceitar. É necessário acreditar e investir no que se faz. É necessário trabalho e seriedade para poder transformar.

O modelo metodológico não é perfeito nem tem a pretensão de ser algo concluído. Seu uso deve ser acompanhado de um constante esforço de autoavaliação. Especial atenção deve ser dada à discussão das expectativas e opiniões dos que trabalharem com a metodologia, sendo necessário um diálogo franco e aberto, clima necessário à avaliação. Pois sejam quais forem os resultados, favoráveis ou desfavoráveis, estes irão contribuir para reflexoes e mudanças, aperfeiçoando o modelo proposto e revendo o atual processo de trabalho.

* Elci M. Oliveira, MPA, é analista, especializada em planejamento e avaliação de programas de formação comunitária do Instituto Brasileiro do Meio Ambiente (IBAMA) e do Ministério Nacional para a Proteção Ambiental.

REFERENCIAS BIBLIOGRAFICAS

Alexander, Cristakis. 1972. Planning the Economic and Social Development 1: 37-42.

Bellavita, C. 1986. Performance-oriented Evaluation: Prospects for the Future. Lexington, MA: Lexinton Books.

Brasil. 1968. Constituição: República Federativa do Brasil. Brasília, D.F.: Grágica do Senado Federal.

_____. 1989. Diário Oficial da União. Número 2.020. Brasília, D.F.: Imprensa Nacional.

Buarque, S.C. 1992. “Qualidade de vida e qualidade do meio ambiente na Amazônia”. Trabalho apresentado no Seminário Internacional sobre o Meio Ambiente, Pobreza e Desenvolvimento da Amazônia. Mimeo, Belém.

_____. 1991. “Planejamento do desenvolvimento sustentável: Problemas técnicos de uma nova abordagem do planejamento”. Trabalho apresentado no seminário Sustainable Development: Concepts, Theories and Implications for the Development Planning. Mimeo, Recife.

Campos, A.M. 1980. “Um novo modelo de planejamento para uma nova estratégia de desenvolvimento”. Revista de Administração Pública. 27-45.

Castro, M. C. 1980. Orientações para elaboração de trabalhos científicos. FGV, RJ.

Crowther, Warren, Flor Cubero y Mafalda Sibille. 1990. Estrategias de información: Un enfoque en la gestión pública. San José, Costa Rica, Instituto Centroamericano de Administración Pública.

Gay, L. R. 1987. Education Research. Columbus, OH: Merrill Publishing Company.

Goldenberg, M. A. 1973. “Avaliação e planejamento educational: Problemas, conceitos e metodologias. Cadernos de Pesquisa 7: 63-68.

Gray, W. D. 1994. Implementation Monitoring: A Role for Evaluation in Helping Innovations Succeed. ARI Technical Report 656. Alexandria, VA: Army Research Institute.

Quade, E. S. 1982. Analysis for Public Decisions. 2nd ed. New York: North Holland.

Rossi, P. H. 1989. Evaluación: Un enfoque sistemático para programas sociales. Trillas, México.

Selltiz, C., et. al. 1974. Métodos de pesquisa nas relações sociais. São Paulo: Cortez.

Serafini, O. e E. Oliveira. 1984. Formulação de instrumentos para o acompanhamento de ingressos das escolas técnicas. Brasília, D.F: MEC/INEP/BIRD.

Stake, Robert. 1981. La imagen de la evaluación educacional. IL: University of Illinois.

Stuffplebeam, D. L. 1983. “The CIPP Model for Program Evaluation”. Evaluation Models: Viewpoints on Education on Human Services Evaluation. Ed. Madaus, et al. Boston: Kluwer Nijho. 287-316.

Sylvia, R. 1988. La planificación y evaluación de programas y el administrador público. Monterey, CA: Ed. Brooks.

Vergara, E. M. 1993. Evaluación de proyectos sociales. Buenos Aires: Hvmanitas.