Luiz Carlos de Freitas - Eliminação adiada - artigo do concurso PEB II 2013

Eliminação adiada: o ocaso das classes populares no interior da escola e a ocultação da (má) qualidade do ensino

Deferred elimination: the twilight of the popular classes within schools and the concealment of the (bad) quality of teaching

Luiz Carlos de Freitas

Pós-doutor em Educação e professor titular da Faculdade de Educação da Universidade Estadual de Campinas (UNICAMP). E-mail: freitas.list@uol.com.br

---

RESUMO

Neste estudo faz-se uma crítica às formas de implementar políticas de avaliação baseadas em "responsabilização", em curso no MEC-INEP, bem como se propõe uma forma alternativa de lidar com o problema, baseada em "qualidade negociada" com envolvimento bilateral do Estado e da escola. Propõem-se elementos iniciais para uma política de Estado no campo da avaliação e localiza-se o processo de avaliação institucional da escola como o elo entre a avaliação externa de sistema e a escola e seus profissionais. Alerta-se para o fato de que as políticas de responsabilização unilaterais conduzirão à configuração de escolas para pobres e escolas para ricos, bem como se alerta para o risco de que os sistemas de avaliação externa centralizados na Federação ocultem, em indicadores estatísticos como o IDEB, as dificuldades que as classes populares estão tendo para aprender no interior da escola, legitimando estratégias que somente conduzem ao adiamento da exclusão destas – apesar do discurso da transparência e responsabilidade.

Palavras-chave: Eliminação adiada. Avaliação institucional. Avaliação de sistema. Responsabilização. Qualidade negociada.

---

ABSTRACT

This study criticizes the ways MEC-INEP is implementing assessment policies based on "responsabilization". It also proposes an alternative form to deal with the problem based on "negotiated quality" in a bilateral involvement of the State and school. It suggests initial elements for a State policy in the field of assessment and sees the process of the institutional assessment of school as the link between the external assessment of system and school and its professionals. It alerts to the fact that unilateral responsabilization policies will lead to configure schools for the poor and schools for the rich. It also highlights the risk that the external assessment systems centralized at government level conceal, with such statistical indicators as the IDEB, the difficulties faced by the popular classes to learn within school, and legitimate strategies that only lead to deferring their exclusion – despite a discourse of transparency and responsibility.

Key words: Deferred elimination. Institutional assessment. System assessment. Responsabilization. Negotiated quality.

---

A surpresa, em matéria de avaliação do ensino fundamental, neste momento, fica por conta do aprofundamento das políticas liberais da era FHC sob o governo de Luis Inácio Lula da Silva. Os que nele votamos esperávamos, já no primeiro mandato, uma mudança significativa de rota. Não ocorreu. Agora, assistimos à sua conversão plena às propostas liberais de "responsabilização" e de privatização do público.¹ A Prova Brasil e o Índice de Desenvolvimento da Educação Básica (IDEB) (Fernandes, 2007b) são a ponta do iceberg desta mesma concepção. Ao passo que a política de avaliação do ensino superior, com a eliminação do Provão e a constituição do sinaes, parece caminhar no rumo certo, a política de avaliação do Ensino Fundamental envereda por caminhos duvidosos.

Segundo Reynaldo Fernandes, atual presidente do INEP, considerado o mentor do IDEB:

Antes do No Child Left Behind [lei aprovada em 2002, no governo Bush, que visa à melhoria da qualidade da educação por meio de um sistema de prestação de contas baseado em resultados], a maioria dos Estados já tinha sistema de avaliação. Nos que primeiro criaram um sistema, a evolução do desempenho dos alunos foi mais acentuada. Esses sistemas fazem com que as escolas e os dirigentes dos sistemas (secretários, prefeitos e governadores) se sintam responsáveis pelo desempenho. É a idéia da responsabilização, de accountability. (Fernandes, 2007a, grifos meus)

Segundo Araújo, ex-presidente do INEP:

Todo o PDE [Plano de Desenvolvimento da Educação] está ancorado justamente na criação do Índice de Desenvolvimento da Educação Brasileira – IDEB, que pondera os resultados do SAEB, da Prova Brasil e dos indicadores de desempenho captados pelo censo escolar (evasão, aprovação e reprovação). Cria um indicador que varia de zero a dez, desdobrável por estado e por município e por redes de ensino [e agora por escola]. A partir da construção do IDEB, o MEC vinculará o repasse de recursos oriundos do FNDE à assinatura de compromisso dos gestores municipais com determinadas metas de melhoria dos seus indicadores ao longo de determinado período. (2007, p. 1; comentários entre colchetes meus)

A estratégia de relacionamento com os municípios é gerencial, estabelecendo uma relação direta com governadores e prefeitos. Segundo Amaury Patrick Gremaud, diretor de Avaliação da Educação Básica do INEP: "O objetivo é usar o sistema de avaliação para prestar conta à sociedade, introduzir a transparência e comprometer as pessoas de um modo geral em busca da melhoria da qualidade de ensino" (Seminário realizado em Salvador, em julho de 2007; grifos meus).²Araújo (2007, p. 4) tem outra posição:

Por isso concluo que o IDEB é mais um instrumento regulatório do que um definidor de critérios para uma melhor aplicação dos recursos da União visando alterar indicadores educacionais. O resultado de cada município e de cada estado será (e já está sendo) utilizado para ranquear as redes de ensino, para acirrar a competição e para pressionar, via opinião pública, o alcance de melhores resultados. Ou seja, a função do MEC assumida pelo governo Lula mantém a lógica perversa vigente durante doze anos de FHC.

Já no final do ano de 2002, ainda sob o Governo FHC, o INEP financiava um convênio com o Núcleo de Estudos da População (nepo), da UNICAMP, para desenvolver Indicadores de Produtividade do Sistema Educacional que envolveu a realização de um seminário sobre um possível Indicador Municipal de Desenvolvimento Educacional (imde) para o ensino médio regular (Cunha et al., 2002).

Boa parte dos problemas que estamos enfrentando com a educação básica nacional advém do próprio formato ideológico do projeto liberal hegemônico, agora "sob nova direção": ele reduz qualidade a acesso – supostamente como uma primeira etapa da universalização. Mas, antes de ser uma etapa em direção à qualidade plena da escola pública, é um limite ideológico, como bem aponta Alavarse (2007). Os liberais admitem a igualdade de acesso, mas como têm uma ideologia baseada na meritocracia, no empreendedorismo pessoal, não podem conviver com a igualdade de resultados sem competição. Falam de igualdade de oportunidades, não de resultados.³

Para eles, os resultados dependem de esforço pessoal, uma variável interveniente que se distribui de forma "naturalmente" desigual na população, e que deve ser uma retribuição ao acesso permitido. Eles não podem aceitar que uma espécie de "acumulação primitiva" (Marx) ou um ethos (Bourdieu) cultural sequer interfira com a obtenção dos resultados do aluno. Se aceitassem, teriam de admitir as desigualdades sociais que eles mesmos (os liberais) produzem na sociedade e que entram pela porta da escola. Isso faz com que a tão propalada eqüidade liberal fique, apesar dos discursos, limitada ao acesso ou ao combate dos índices de reprovação. Como a progressão continuada já demonstrou, ausência de reprovação não é sinônimo de aprendizagem e qualidade (Cf. Bertagna, 2003).

Como analisamos em outro artigo (Freitas, 2002), esta postura tende a postergar os problemas políticos, econômicos e sociais que o liberalismo enfrenta com sua política econômico-social, mas não resolve o problema dauniversalização da qualidade da educação básica.

Há hoje um grande contingente de alunos procedentes das camadas populares que vivem o seu ocaso no interior das escolas, desacreditados nas salas de aula ou relegados a programas de recuperação, aceleração,⁴ progressão continuada e/ou automática, educação de jovens e adultos, pseudo-escolas de tempo integral, cuja eliminação da escola foi suspensa ou adiada e aguardam sua eliminação definitiva na passagem entre ciclos ou conjunto de séries, quando então saem das estatísticas de reprovação, ou em algum momento de sua vida escolar onde a estatística seja mais confortável.

A Prova Brasil e os usos previstos para ela (acesso à avaliação de cada escola via internet, por exemplo), como forma de responsabilização, poderiam fazer parte de qualquer programa liberal (do Partido Democrata brasileiro até o Partido Republicano de Bush, para não falar da dobradinha Thatcher/Blair). Trabalham dentro da perspectiva de que "responsabilizar a escola", expondo à sociedade seus resultados, irá melhorar a qualidade do ensino. A idéia completa dos republicanos de Bush (iniciada com Reagan) ou dos conservadores de Thatcher implica, no momento seguinte à divulgação dos resultados por escola, transformar o serviço público em mercado (ou mais precisamente em um quase-mercado), deslocando o dinheiro diretamente para os pais, os quais escolhem as melhores escolas a partir da divulgação desses resultados, de preferência estando as escolas sobre administração privada. É a política dos "vouchers", que dá o dinheiro aos pais e não à escola. Paralelamente, tende a criar um mercado educacional para atender ao fracasso escolar. No Brasil já se criou o mecanismo para iniciar a privatização: Organizações da Sociedade Civil de Interesse Público (oscips) que podem administrar escolas antes públicas. Para os liberais, a ação do mercado forçaria à elevação da qualidade de ensino.

Todas estas ações encobrem o pano de fundo mencionado antes: nossa sociedade produz tamanha desigualdade social que as instituições que nela funcionam, se nenhuma ação contrária for adotada, acabam por traduzir tais desigualdades como princípio e meio de seu funcionamento (Bourdieu & Passeron, 1975; Baudelot & Establet, 1986).⁵ Todos concordamos em que isso não é desejável, mas meras políticas de eqüidade apenas tendem a ocultar o problema central: a desigualdade socioeconômica. Não é sem razão que os melhores desempenhos escolares estão nas camadas com melhor nível socioeconômico, brancas (Cf. Miranda, 2006, entre outros estudos disponíveis).

Isso não significa que todas as escolas não tenham de ser eficazes em sua ação. Muito menos que as escolas que atendem à pobreza estejam desculpadas por não ensinarem, já que têm alunos com mais dificuldades para acompanhar os afazeres da escola. Ao contrário, delas se espera mais competência ainda. Mas os meios e as formas de se obter essa qualidade não serão efetivos entregando as escolas à lógica mercadológica. A questão é um pouco mais complexa. Deixada à lógica do mercado, o resultado esperado será a institucionalização de escola para ricos e escola para pobres (da mesma maneira que temos celulares para ricos e para pobres). As primeiras canalizarão os melhores desempenhos, as últimas ficarão com os piores desempenhos. As primeiras continuarão sendo as melhores, as últimas continuarão sendo as piores. Mas o sistema terá criado um corredor para atender as classes mais bem posicionadas socialmente, o que será, é claro, atribuído ao mérito pessoal dos alunos e aos profissionais da escola.

O atual presidente do INEP não ignora estes problemas, antes os conhece. Diz ele:

Quando se cria um sistema de avaliação e passa a haver responsabilização pelos resultados, os gestores vão se preocupar com as notas e as metas. Qual é a defesa desse sistema: se existe um mecanismo para atribuir responsabilidades, os gestores vão melhorar o ensino. Quais são as críticas? Eles podem tentar falsear as notas, excluir os alunos mais fracos. Nos Estados Unidos, isso aconteceu. Esses argumentos não têm como ser revidados. Mas não pode deixar de dar um "remédio" para a educação por causa dos efeitos colaterais que ele pode causar. Temos de ver se é melhor ou pior para a qualidade da educação. Acho que é melhor. Os efeitos colaterais devem ser combatidos. Quando a primeira-ministra Margareth Thatcher fez a reforma educacional, diziam que era uma visão de direita. Quando o Tony Blair se tornou primeiro-ministro, acreditavam que ele suspenderia a reforma. Mas ele a reforçou e combateu os "efeitos colaterais". Criou um programa de combate à exclusão dos piores estudantes, e as expulsões de alunos diminuíram absurdamente. (Fernandes, 2007a)

Como se vê, a exclusão da pobreza é "efeito colateral" de "remédios" e Margareth Thatcher estava certa. Lá como cá, o governo progressista, que deveria ter revertido as políticas neoliberais, não o fez. Para o presidente do INEP, Tony Blair está certo em não reverter as políticas de Thatcher, portanto concluo que Lula também está certo em não reverter e aprofundar as políticas da era FHC. Agora, sobre o êxito das experiências do Governo Bush no âmbito da educação, há controvérsias. No The New York Times de 16 de abril de 2004 pode-se ler:

A competição entre escolas públicas e privadas que o governo Bush está encorajando esquentou outro dia, na porta da sala 207, da Escola Elementar Wentworth, em Chicago. Durante vários meses, uma empresa privada financiada pelo governo federal enviou professores para darem aulas complementares a alguns alunos de Wentworth. Sem sucesso, o professor tentava controlar uma dezena de bagunceiros. A empresa enviou um supervisor para resolver a questão. Effie McHenry, diretora de Wentworth, balançava a cabeça com ar de desaprovação. "Simplesmente não acho que eles estão preparados para lidar com as crianças das zonas mais pobres", disse McHenry sobre os professores da empresa. "Acho que esperavam encontrar crianças sentadas, esperando explicações. Essas crianças não são assim. Elas precisam de instrução com desafios".

O Chile, laboratório de idéias neoliberais, discute há anos como aumentar o valor do repasse às escolas que aceitam alunos pobres para motivar as escolas melhores a recebê-los, em face da desmotivação destas para com esses alunos.⁶ Pobres costumam derrubar as proficiências médias...

O verdadeiro limite à universalização da melhoria da qualidade da escola é a própria ideologia meritocrática liberal. Caso a avaliação se coloque a serviço dela, então ficará limitada à medição do mérito e à ocultação da desigualdade social sob a forma de indicadores "neutros" como o Índice de Desenvolvimento da Educação Básica (IDEB) criado pelo MEC.

Embora nível socioeconômico seja um nome elegante e dissimulador das situações de desigualdade social, ele é fundamental para se entender o impacto dessa desigualdade social na educação. Nem todas as camadas sociais sofrem da mesma forma com as agruras da realidade escolar do país – as camadas populares sofrem mais.

Durante muito tempo duas vertentes se opuseram no cenário educacional: uma tentando explicar o fracasso escolar por fatores pedagógicos internos à escola, e outra tentando explicar o mesmo fracasso por fatores externos à escola, sociais. Como é comum acontecer nesses casos, nenhuma delas, isoladamente, dá conta do fenômeno. A dialética se impõe. As duas causas são pertinentes na explicação do fracasso. Se isso é verdadeiro, as políticas de eqüidade devem ser associadas às políticas de redução e eliminação das desigualdades sociais, fora da escola. Isso implica continuar a produzir a crítica do sistema social que cerca a escola, além de introduzir a importância do nível socioeconômico como variável relevante nas análises de avaliação do desempenho do aluno e da escola.

É importante saber se a aprendizagem em uma escola de periferia é baixa ou alta. Mas fazer do resultado o ponto de partida para um processo de responsabilização da escola via prefeituras leva-nos a explicar a diferença baseados na ótica meritocrática liberal: mérito do diretor que é bem organizado; mérito das crianças que são esforçadas; mérito dos professores que são aplicados; mérito do prefeito que deve ser reeleito etc. Mas e as condições de vida dos alunos e professores? E as políticas governamentais inadequadas? E o que restou de um serviço público do qual as elites, para se elegerem, fizeram de cabide de emprego generalizado, enquanto puderam, sem regras para contratação ou demissão? O que dizer da permanente remoção de professores e especialistas a qualquer tempo, pulando de escola em escola? O que dizer dos professores horistas que se dividem entre várias escolas? O que dizer dos alunos que habitam as crescentes favelas sem condições mínimas de sobrevivência e muito menos para criar um ambiente propício ao estudo? Sem falar do número de alunos em sala de aula.

Diante deste quadro, escolher apenas uma variável, desempenho do aluno, para analisar a educação básica brasileira, como o IDEB faz, é certamente temerário em face deste complexo de variáveis. Como alerta Araújo (2007), parece que o governo não aprendeu nada com o finado Provão.

No próprio censo escolar que as escolas enviam ao MEC existem outras variáveis que poderiam ser levadas em conta e permitir uma modelagem melhor da realidade.

Novas formas de exclusão

Nossa preocupação vai mais além. Diz respeito ao aparecimento de novas formas de exclusão que estão sendo implementadas nos sistemas e sobre as quais temos pouco controle e conhecimento. Continuamos raciocinando em termos de reprovação, forma antiga de exclusão que coexiste, agora, com outras mais recentes desenvolvidas nos sistemas.

Em 1991 (Freitas, 1991) propusemos o conceito de "eliminação adiada" para identificar uma das situações geradas no processo de exclusão das camadas populares do interior da escola: o conceito referia-se à permanência dos alunos dessas camadas na escola durante algum tempo, postergando sua eliminação da escola e realizando-a em outro momento mais oportuno. Bourdieu e Champagne (apud Bourdieu, 2001, p. 221) chamaram esta categoria de "exclusão branda":

Seria necessário mostrar aqui, evitando encorajar a ilusão finalista (ou, em termos mais precisos, o "funcionalismo do pior"), como, no estado completamente diferente do sistema escolar que foi instaurado com a chegada de novas clientelas, a estrutura da distribuição diferencial dos benefícios escolares e dos benefícios sociais correlativos foi mantida, no essencial, mediante uma translação global de distâncias. Todavia, com uma diferença fundamental: o processo de eliminação foi diferido e estendido no tempo, e por conseguinte, como que diluído na duração, a instituição é habitada, permanentemente, por excluídos potenciais que introduzem nela as contradições e os conflitos associados a uma escolaridade cujo único objetivo é ela mesma. (Grifos meus)

(...) eis aí um dos mecanismos que, acrescentando-se à lógica da transmissão do capital cultural, fazem com que as mais altas instituições escolares e, em particular, aquelas que conduzem às posições de poder econômico e político, continuem sendo exclusivas como foram no passado. E fazem com que o sistema de ensino, amplamente aberto a todos e, no entanto, estritamente reservado a alguns, consiga a façanha de reunir as aparências da "democratização" . (p. 223; grifos meus)

Esta parece ser a base da construção das novas formas de exclusão nos anos de 1990, que agora atuam longitudinalmente, por dentro do sistema, sem necessidade de excluir fisicamente o aluno no início da escola básica, por reprovação. Os processos de avaliação informal vão construindo "trilhas de progressão diferenciadas" no interior das salas de aula e das escolas.⁷ Do ponto de vista do sistema, a exclusão foi internalizada a custos menores – tanto econômicos como políticos (cf. Freitas, 2002).

As novas formas de exclusão atuam agora por dentro da escola fundamental. Adiam a eliminação do aluno e internalizam o processo de exclusão. Do ponto de vista da avaliação, essas novas formas de exclusão levam a uma redução da ênfase na avaliação formal e pontual do aluno em sala de aula (introduzem novas formas de organização escolar: progressão continuada, progressão automática, ciclos etc., e novas formas de avaliação informais), liberando o fluxo de alunos no interior da escola e conduzindo ao fortalecimento do monitoramento por avaliação externa, avaliação de sistema centralizada (Prova Brasil, SAEB, saresp, simave etc.). Nesses sistemas de avaliação o desempenho individual é subsumido nas estatísticas que lidam, preferencialmente, com tendências globais dos sistemas de ensino ao longo do tempo, a partir da proficiência média dos alunos.

O mais grave é o fortalecimento da idéia de que seria possível, a partir de sistemas de larga escala centralizados em Brasília ou em uma capital, reorientar escolas específicas, a distância, por exposição dos resultados à sociedade e acordos com prefeitos. Pode-se imaginar a pressão autoritária, verticalizada, que os acordos assinados entre os prefeitos e o governo federal, para assumir metas do IDEB para seu município e obter verbas, vão gerar nas escolas e em seus profissionais. Não deveria ser este o papel da avaliação em larga escala ou de sistema, como veremos mais adiante, a qual deveria ser destinada, preferencialmente, à avaliação das próprias políticas públicas e não das escolas. Para o presidente do INEP: "O dia em que um prefeito perder a eleição porque foi mal na educação, não cumpriu as metas, aí estaremos no caminho correto. O aluno não pode ser punido" (Fernandes, 2007a).

Muito antes disso, os prefeitos implantarão progressão continuada e liberarão o fluxo no sistema. Depois, contratarão sistemas privados de ensino (do tipo Objetivo, coc etc.) para enquadrar a metodologia usada pelos professores,⁸ quando não entregarão escolas inteiras às oscips, ampliando o mercado educacional. Finalmente, treinarão os alunos para as provas do SAEB e da Prova Brasil – entre outras "ações criativas".

Importante assinalar que a redução da ênfase na avaliação formal do aluno, em sala de aula, e seu deslocamento para processos informais de avaliação (Freitas, 2003), bem como a ênfase maior em processos mais gerais de avaliação de sistema, fazem com que a qualidade seja objeto de medidas de desempenho como eficiência do sistema de ensino e não como igualdade de resultados dos alunos matriculados nas escolas desse sistema. Verificam-se apenas as grandes tendências ao longo do tempo. Mesmo quando o IDEB é por escola, ele pode transformar-se em um mecanismo de ocultação do ocaso de grande quantidade de alunos procedentes das camadas populares que "habitam" a sala de aula, de forma aparentemente democrática, mas sem que signifique, de fato, acesso a conteúdos e habilidades. Monitora-se o desempenho global do sistema (ou da escola), mas não se todos estão aprendendo realmente. Aqui, não há meio-termo: há de se ensinar tudo "a todos e a cada um" (Betini, 2004, p. 251). Para o INEP, isso poderá ocorrer em 2095, quando todo o sistema estaria com o IDEB convergindo em 9.9.⁹

O que fazer então? Em primeiro lugar, abandonar a visão autoritária típica da época da ditadura brasileira, quando se acreditou que gestão verticalizada e treinamento de professor resolveriam o problema da escola brasileira. Nascia aí o tecnicismo (Saviani, 1982). Estamos agora diante de um "neotecnicismo" (Cf. Freitas, 1992), em que acordos de gestão com prefeitos (em cascata para dentro dos sistemas), responsabilização e treinamento do professor via CAPES e Universidade Aberta do Brasil são a estratégia.

Uma nova forma de conceber a relação com as escolas: qualidade negociada

Há de se reconhecer as falhas nas escolas, mas há de se reconhecer, igualmente, que há falhas nas políticas públicas, no sistema socioeconômico etc. Portanto, esta é uma situação que, à espera de soluções mais abrangentes e profundas, só pode ser resolvida por negociação e responsabilização bilateral: escola e sistema. Os governos não podem "posar" de grandes avaliadores, sem olhar para seus pés de barro, para suas políticas, como se não tivessem nada a ver com a realidade educacional do país de ontem e de hoje.

A estratégia liberal é insuficiente porque responsabiliza apenas um dos pólos: a escola. E o faz com a intenção de desresponsabilizar o Estado de suas políticas, pela responsabilização da escola, o que prepara a privatização. Para a escola, todo o rigor; para o Estado, a relativização "do que é possível fazer". Em nossa opinião, uma melhor relação implica criar uma parceria entre escola e governo local (municípios), por meio de um processo que chamamos de qualidade negociada, via avaliação institucional.

Qualidade negociada é um conceito que nos chega por intermédio de um estudo de Anna Bondioli (2004). Ele reforça uma certa tradição de se conceber a avaliação educacional no Brasil que tem ancoragem em autores como Lüdke (1984), Saul (1988), Dias Sobrinho (2002a; 2002b), entre outros.

Para a autora, definir qualidade implica explicitar os descritores fundamentais da sua natureza, ou seja: seu caráter negociável, participativo, auto-reflexivo, contextual/plural, processual e transformador. A qualidade, em seu aspecto negociável, é vista da seguinte forma:

A qualidade não é um dado de fato, não é um valor absoluto, não é adequação a um padrão ou a normas estabelecidas a priori e do alto. Qualidade é transação, isto é, debate entre indivíduos e grupos que têm um interesse em relação à rede educativa, que têm responsabilidade para com ela, com a qual estão envolvidos de algum modo e que trabalham para explicitar e definir, de modo consensual, valores, objetivos, prioridades, idéias sobre como é a rede (...) e sobre como deveria ou poderia ser. (Bondioli, 2004, p. 14)

O passo inicial, portanto, é mudar nossa concepção de avaliação passando de uma visão de "responsabilização" para uma visão de participação e envolvimento local na vida da escola (Cf. Freitas et al., 2004). Os mecanismos para este processo ocorrer devem ser baseados no projeto político-pedagógico da escola (sintonizado com as políticas públicas de Estado e governo) e no processo de avaliação institucional, ao qual voltaremos mais adiante. Entretanto, este caminho exige políticas de Estado para o ensino e para a avaliação.

Políticas de Estado para a avaliação

Todos sabemos que políticas de governo são vulneráveis. A descontinuidade é uma realidade em todas as esferas de governo. É preciso que algumas condições facilitadoras estejam acima dos governos e, para isso, há de se dispor de leis que estabeleçam políticas de Estado. Daí que a articulação governo federal/governo municipal não seja suficiente. Acredito que alguns aspectos já podem ser listados como objeto de tais políticas:

1. Instituir a obrigatoriedade da avaliação de sistema (políticas públicas educacionais) no âmbito municipal, com periodicidade bienal, sob controle do Conselho Municipal de Educação. SAEB, Prova Brasil e os sistemas estaduais de avaliação são mecanismos de acompanhamento do âmbito federal ou estadual e devem ser voltados para o monitoramento das tendências globais desses sistemas. Sua função não é entender o que ocorre em uma escola específica. Entretanto, a avaliação de sistema no nível municipal tem a finalidade de permitir um acompanhamento do conjunto dos resultados das escolas da rede e, pela proximidade, ser mais um elemento a ser levado em conta no processo de avaliação institucional de cada escola. Técnicas não-paramétricas como Análise por Envoltória de Dados podem ser utilizadas para se definir uma fronteira de eficiência entre escolas, levando em conta a realidade particular de cada rede e o resultado de avaliações nacionais e/ou locais (Cf. Rodrigues, 2005). A proximidade e o tamanho permitiriam também estudos longitudinais de painel (em que os mesmos alunos são acompanhados ao longo do tempo), superiores aos longitudinais seccionais feitos pelo SAEB e pela Prova Brasil (ver, por exemplo, Poli, 2007).¹⁰

2. Instituir a obrigatoriedade de processos de avaliação do projeto político-pedagógico das escolas, com periodicidade anual, no âmbito dos municípios, sob controle das redes de ensino. Complementarmente, definir a obrigatoriedade de que esse processo seja democrático, na forma de avaliação institucional escolar participativa, por meio da qual os que constroem a vida da escola tenham voz.

3. Instituir a obrigatoriedade da avaliação do professor e dos demais profissionais da escola pelos municípios, fixando amplas oportunidades e mecanismos de melhoramento da atuação do profissional e fixando, igualmente, os termos de seu desligamento do serviço público, para aqueles casos em que tais oportunidades não venham a ser adequadamente aproveitadas com impacto em sua atuação na escola, observadas as condições de trabalho oferecidas pelo sistema municipal e pela escola e "negociadas" no processo de avaliação institucional com a comunidade escolar.

4. Definir um teto para gastos dos municípios com os processos de avaliação com o fim de evitar a mercantilização destes e a retirada de recursos necessários para outras áreas de ensino.

5. É importante, ainda, criar um programa de apoio aos municípios, com recursos, junto ao INEP, para alavancar, do ponto de vista técnico, o trabalho de implantação destas políticas junto com os municípios – tanto no campo da avaliação de sistemas como no campo da avaliação institucional.

A idéia, portanto, é que, à municipalização do ensino, deve seguir-se a municipalização da avaliação. Em vez de tentar "adivinhar", de Brasília, por que uma escola em um determinado município não se sai bem (ou mandar especialistas visitá-las), propomos que isso seja feito por quem está mais próximo da escola, o município ou organismos regionalizados que englobem vários municípios.

Ações como esta, complexas, não podem ser desenvolvidas por "canetadas", sendo recomendável a criação de um fórum envolvendo as entidades da área da educação (sindicais e acadêmicas) para que as propostas sejam moldadas a várias mãos.

Em busca do elo perdido: avaliação institucional

A qualidade negociada é implementada pela avaliação institucional da escola, a qual é um processo que deve envolver todos os seus atores com vistas a negociar patamares adequados de aprimoramento, a partir dos problemas concretos vivenciados por ela. Se a avaliação em larga escala é externa, a avaliação institucional é interna à escola e sob controle desta, ao passo que a avaliação da aprendizagem é assunto preferencialmente do professor em sua sala de aula.

A avaliação institucional deve levar à apropriação da escola pelos seus atores no sentido de que estes têm um projeto e um compromisso social, em especial entre as classes populares, e, portanto, necessitam, além deste seu compromisso, do compromisso do Estado em relação à educação. O apropriar-se dos problemas da escolainclui um apropriar-se para demandar do Estado as condições necessárias ao funcionamento da escola. Mas inclui, igualmente, o compromisso com os resultados dos alunos da escola. Foi a este processo bilateral que chamamos, antes, de "qualidade negociada".

Com a avaliação institucional, o que se espera, portanto, é que o coletivo da escola localize seus problemas, suas contradições; reflita sobre eles e estruture situações de melhoria ou superação, demandando condições do poder público, mas, ao mesmo tempo, comprometendo-se com melhorias concretas na escola.

Uma boa avaliação institucional terá conseqüências positivas para o ensino e a avaliação da aprendizagem em sala de aula, cuja prática é de responsabilidade do professor. Entretanto, por mais que seja uma responsabilidade e uma criação da professora, esta ação deve integrar-se ao projeto político-pedagógico da escola, elaborado pelo coletivo escolar – base também da avaliação institucional.

A avaliação institucional deve, portanto, ser o ponto de encontro entre os dados provenientes tanto da avaliação dos alunos, feita pelo professor, como da avaliação externa dos alunos, feita pelo sistema. Num processo de auto-avaliação, a escola deverá levar em conta todas estas visões (cf. Sordi, 2002).

A avaliação em larga escala de redes de ensino precisa ser articulada com a avaliação institucional e de sala de aula. Nossa opinião é que a avaliação de sistema é um instrumento importante para monitoramento das políticas públicas e seus resultados devem ser encaminhados, como subsídio, à escola para que, dentro de um processo de avaliação institucional, ela possa usar estes dados, validá-los e encontrar formas de melhoria. A avaliação institucional fará a mediação e dará, então, subsídios para a avaliação de sala de aula, conduzida pelo professor. Entretanto, sem criar este mecanismo de mediação, o simples envio ou a disponibilização de dados em um site ou relatório não encontrará um mecanismo seguro de reflexão sobre estes. Os dados podem até ter legitimidade técnica, mas lhes faltará legitimidade política. Vamos, novamente, esquecer de "combinar" com as professoras os acordos entre o MEC e os municípios, afastando-as do processo?

Os três níveis de avaliação (sistema, escola e sala de aula) devem estar trabalhando articuladamente e segundo suas áreas de abrangência. Não se deve pedir à avaliação de sistema que faça o papel dos outros níveis de avaliação. Explicar o desempenho de uma escola implica ter alguma familiaridade e proximidade com o seu dia-a-dia, o que não é possível para os sistemas de avaliação em larga escala realizados pela Federação ou pelos estados, distantes da escola. A própria elaboração desses sistemas pode beneficiar-se da proximidade com a rede avaliada, envolvendo-a no planejamento da avaliação.¹¹

Qualidade para quem?

A pobreza perambula pelo interior das escolas. Segregada em trilhas e programas especiais, assiste a seu ocaso à medida que o tempo escolar passa. Sua passagem pela escola é tolerada.

As professoras de 4ª série estão surpresas pelo fato de a pobreza ter chegado até elas sem saber as disciplinas escolares. Têm razão de estar surpresas. Antes, os mais pobres eram expulsos mais cedo da escola, portanto não chegavam à quarta série. Essa surpresa é, ao mesmo tempo, um elemento de denúncia da precariedade com que eles percorrem o sistema educacional. Pusemos a pobreza na escola e não sabemos como ensiná-la. Nenhum processo de avaliação externo resolverá isso. A solução equivocada tem sido liberar o fluxo e deixar de reprovar para esconder o fracasso. Não que a reprovação tivesse sentido, mas pelo que foi substituída?

Somos contra a reprovação, mas não podemos fazer disso o foco da atuação das políticas públicas, inclusive porque nem toda reprovação se dá por causas pedagógicas. Combater a reprovação é apenas uma parte da solução. A questão de fundo é ensinar a todos e a cada um. A redução dos índices de reprovação é necessária, mas não é suficiente. Mais ainda, dada a composição do IDEB,¹² ele poderá estimular no curto prazo a liberação do fluxo para reduzir a reprovação, regularizando o tempo de permanência do aluno na escola e aumentando o valor do IDEB,¹³ sem que isso necessariamente signifique aumento do desempenho do aluno.

A mera passagem do tempo não ensina ninguém, a menos que seja feito algo nesta direção – mas isso, tenhamos presente, custa. Educação (de qualidade) para todos e cada um é cara. Contraditoriamente, o IDEB pode aprofundar o ocaso da pobreza e ser conivente com uma menor qualificação das camadas populares que, apesar de transitarem pelo sistema (a cobertura está acima de 97%), não aprendem nem são cobradas pelo desempenho, à espera da eliminação adiada nos finais de ciclo ou na passagem da 4ª para a 5ª série. Se após esta fase inicial do IDEB haverá ou não um aumento do desempenho do aluno, isso permanece no campo dos desejos e do futuro, o qual "a Deus pertence". Outras possibilidades estão presentes. As escolas vão querer a pobreza dentro dela, com o risco de ver seu IDEB piorar? A "responsabilização" gerará escolas que concentrarão exclusivamente pobres, onde o IDEB não importa, pois "já se sabe que não dá para esperar muito desses alunos"? No caso da rede, se um subconjunto de escolas elevar o índice, e este atingir a pontuação combinada entre prefeito e governo federal, já é suficiente; as demais continuarão onde estão – provavelmente estas serão as que atenderão à pobreza, que é guardada na escola para não incomodar, mesmo que não aprenda. No caso da escola não será diferente, muda apenas a unidade de análise. Mais ainda, o que fazer com escolas em que a evasão e a repetência não se dão por causas pedagógicas?

No estado atual, as avaliações de sistema podem terminar ocultando esta realidade. A pobreza só se torna alvo de reflexão quando as médias de desempenho começam a cair. Caso a inclinação das curvas de desempenho seja positiva, em média, o sistema se salva. Mas a pobreza continua "excluída por dentro" e, de certa forma, a exclusão é legitimada pela positividade geral das curvas estatísticas.

O que propomos é um modelo alternativo baseado na mobilização da comunidade local da escola, com a finalidade dupla de comprometer-se com resultados e, ao mesmo tempo, demandar do poder público condições para tal. Uma proposta como esta só pode ser implementada como política de Estado. Governos temem demandas.

O fato é que, para ensinar a pobreza, teríamos de gastar muito mais com educação, pois ela exige estratégias pedagógicas mais caras, já que mais personalizadas. Não poderíamos ter o número de alunos elevado em sala de aula, o que demandaria mais escolas. Não poderíamos tratar diferenciadamente a pobreza, do ponto de vista metodológico, deixando-a em trilhas secundárias que a remetem ao nada. Tudo isso custa. Seria melhor assistir a sua passagem pelo sistema e, por que não, de certa forma facilitá-la?

Os riscos de ocultação da má qualidade

Em resumo, não somos contra a existência de avaliação externa. Não somos contra, igualmente, a existência de índices. Mas somos contra o uso da avaliação externa tendo como pano de fundo a "teoria da responsabilização" liberal. A responsabilização pressupõe uma linha direta de pressão sobre os municípios, o que poderá levar a toda sorte de armadilhas para se obter recursos. Prova Brasil, SAEB e IDEB devem ser instrumentos de monitoramento de tendências e não instrumentos de pressão.

O primeiro risco de ocultação da má qualidade vigente é no campo dos conceitos. Chama a atenção que o MEC tenha optado pelo IDEB como referência de qualidade. Por que não constituímos uma medição baseada no custo aluno/qualidade, na qual se levaria em conta uma série de variáveis que são necessárias ao funcionamento adequado de uma escola de qualidade? Por que não definimos o que entendemos por uma escola que tenha condições de ensinar e não criamos um indicador mais amplo e sensível às desigualdades sociais?¹⁴ Há de se considerar ainda que somente língua portuguesa e matemática são medidas nos testes. Mas a escola é mais que isso. Há uma discussão a ser feita, ainda: Que tipo de escolarização está sendo oferecido às crianças? O que estão medindo os testes nas avaliações nacionais?

Em segundo lugar, há risco de ocultação da má qualidade ao se lidar com a proporção de aprovados na fórmula do IDEB. Como já dissemos, aumento de aprovados não é o mesmo que aumento da aprendizagem.¹⁵

Em terceiro lugar, há o risco da ocultação da má qualidade pelo uso da média como referência.¹⁶ O IDEB não deixa de ser baseado em uma proficiência média da escola ou da rede. O uso da média como referência e sua variação ao longo do tempo não significam que houve melhoria para todos. Se um grupo de bons alunos for melhor ainda, a média subirá, mesmo que os piores continuem onde sempre estiveram. Ainda sobre esta questão, ouçamos a experiência internacional sintetizada por S. W. Raundenbush (2004, p. 36): "A legislação [No Child Left Behind] requer decisões pesadamente baseadas em medidas de proficiência média da escola (...). Elas são enviesadas de maneira particular contra escolas que atendem grande número de crianças pobres".

Em quarto lugar, há a ocultação da má qualidade pelas metas distantes. Fixar 2021 como referência retira de foco a melhoria mais imediata do ensino para todos. Fala-se em nota 6 no IDEB para 2021. É muito tempo para pouca nota. Necessitamos de ações mais imediatas de universalização da qualidade. Essa data pode sinalizar que, até lá, não devemos cobrar o governo federal por melhorias além das previstas para cada ano. Firmado o convênio, o problema não é mais com o governo federal – é dos prefeitos ou governadores. Espera-se mais. Espera-se do governo federal uma política de Estado para o ensino fundamental e para sua avaliação. Nesta ordem: primeiro a política educacional, depois a política de avaliação.

A melhoria do ensino, de fato, não vai ocorrer por cobrança a distância, mas por políticas de Estado que levem a ações locais nos municípios – entre elas à avaliação institucional das escolas pelo envolvimento de seus atores. Leithwood e Earl (2000), estudando os efeitos da responsabilização educacional, chamam a atenção para algumas variáveis que afetam este processo, entre elas "o poder do contexto e da história local para explicar as diferenças na implementação e no impacto dos mecanismos de responsabilização gerais" (p. 16).

Caso não constituamos um coletivo nas escolas que resolva apropriar-se dos problemas destas, no sentido bilateral de responsabilização (do Estado e da escola), e não estabeleçamos um elo entre as avaliações externas e o ensino e a avaliação que o professor conduz em sala de aula, passando pelo controle social local do coletivo da escola, na forma de avaliação institucional, sob o olhar atento do poder público, corremos o risco de ocultar a má qualidade das escolas, inclusive para continuar a eleger os prefeitos, governadores e, é claro, até presidentes.

Notas

1. Basta ver projeto encaminhado ao legislativo propondo o fim da estabilidade do servidor público: "O governo pretende aplicar regras do setor privado para o funcionalismo público, eliminando, por exemplo, a estabilidade no emprego (...). As novas regras valeriam para hospitais e outras áreas como a tv pública, ciência e tecnologia e previdência complementar de servidores. O governo argumenta que a mudança agilizará a administração e premiará bons servidores" (Disponível em: <http://www1.folha.uol.com.br/folha/cotidiano/ult95u311596.shtml>; grifos meus).

2. Assisti, em Brasília, no Seminário de Educação Básica promovido pela ANPEd, em 2006, à exposição do diretor de Avaliação da Educação Básica do INEP, professor Amaury P. Gremaud.

3. Quando instados a falar de igualdade de resultados, dizem que ela chegará com o tempo; por exemplo, um IDEB de 9,9 virá em 2095, tal como a "liberdade, igualdade e fraternidade" viria.

4. Tese de doutorado em andamento, sob responsabilidade de Rippel (2007), mostra o impacto predominantemente irrelevante desses processos para os alunos que deles participam.

5. Aos que ainda acham que Bourdieu é um reprodutivista, recomendo que estudem novamente o autor. Sua categoria "campo" não tem nada de reprodutivista.

6. Proyecto de ley propone subvención a estudiantes vulnerables, gobierno de Chile, 5 jul. 2007.

7. Como demonstrou Biani (2004), estas trilhas podem englobar classes inteiras.

8. Mais de 120 municípios no Estado de São Paulo já fazem isso.

9. Conferir, em <http://www.consed.org.br/mostra.asp?id=38592>, a apresentação do professor Gremaud, diretor de Avaliação da Educação Básica do INEP.

10. Um dos maiores estudos longitudinais de painel em curso no Brasil é o geres, que tem a coordenação geral de Nigel Brooke e a coordenação técnica de Francisco Creso Franco Jr.

11. Um exame mais detalhado destas relações será encontrado em Freitas et al., Avaliação educacional:caminhando pela contramão (no prelo); ver também Freitas (2003b) e Freitas et al. (2004).

12. Baseado no tempo de permanência na etapa e na nota (1/T*Nota).

13. Para Francisco Creso Franco Jr., este movimento será possível apenas em um primeiro momento, tendendo depois a um aumento do desempenho do aluno. Diz o pesquisador: "Em um primeiro momento, na maior parte das situações, será mais fácil melhorar o IDEB diminuindo a reprovação (desde que a nota não piore sensivelmente); em seguida, para que o IDEB aumente, será necessário aumentar a nota" (Disponível em: <http://www.consed.org.br/mostra.asp?id=38592>).

14. Ver, por exemplo, Dourado, Oliveira e Santos (2007), Carreira e Pinto (2006) e Ação Educativa (2004).

15. Este e o fator T na equação do IDEB.

16. O fator N na equação do IDEB.

Referências bibliográficas

AÇÃO EDUCATIVA. Indicadores da qualidade na educação. Ação Educativa, UNICEF, PNUD, INEP-MEC (coordenadores). São Paulo: Ação Educativa, 2004.         [ Links ]

ALAVARSE, O.M. Ciclos ou séries?: a democratização do ensino em questão. 2007. Tese (Doutorado) – Faculdade de Educação, Universidade de São Paulo, São Paulo.         [ Links ]

ARAÚJO, L. Os fios condutores do PDE são antigos. 2007. Disponível em: <http://www.redefinanciamento.ufpr.br/araujo2.pdf>.         [ Links ]

BAUDELOT, C.; ESTABLET, R. La escuela capitalista. México: Siglo Veintiuno, 1986.         [ Links ]

BERTAGNA, R.H. Progressão continuada: limites e possibilidades. 2003. Tese (Doutorado) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas.         [ Links ]

BETINI, M.E.S. Uma escola em Betel: relações, práticas, alunos, famílias e professoras – 1977 a 2000. 2004. Dissertação (Mestrado) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas.         [ Links ]

BIANI, R.P. Progressão continuada: a produção de novas formas de exclusão. 2004. (Trabalho de Conclusão de Curso) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas.         [ Links ]

BONDIOLI, A. O projeto pedagógico da creche e a sua avaliação: a qualidade negociada. Campinas: Autores Associados, 2004.         [ Links ]

BOURDIEU, P. Escritos de educação. Petrópolis: Vozes, 2001.         [ Links ]

BOURDIEU, P.; PASSERON, J.C. A reprodução. Rio de Janeiro: Francisco Alves, 1975.         [ Links ]

CARREIRA, D.; PINTO, J.M.R. Custo aluno-qualidade inicial: rumo à educação pública de qualidade no Brasil. In: Campanha Nacional pelo Direito à Educação. A educação na América Latina: direito em risco. São Paulo: CNDE; Cortez; AAA, 2006.         [ Links ]

CUNHA, J.M.P. et al. Seminário sobre Indicador Municipal de Desenvolvimento Educacional: ensino regular médio. Campinas: NEPO/UNICAMP, set. 2002.         [ Links ]

DIAS SOBRINHO, J. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular, 2002a.        [ Links ]

DIAS SOBRINHO, J. Campo e caminhos da avaliação: a avaliação da educação superior no Brasil. In: Freitas, L.C. (Org.). Avaliação: construindo o campo e a crítica. Florianópolis: Insular, 2002b. p. 13-62.         [ Links ]

DOURADO, L.F.; OLIVEIRA, J.F.; SANTOS, C.A. A qualidade da educação: conceitos e definições. Brasília, DF: MEC/INEP, 2007.         [ Links ]

FERNANDES, R. O mentor da equação; entrevista a Marta Avancini. Revista Educação, São Paulo, edição 123, 2007a. Disponível em: <http://revistaeducacao.uol.com.br/revista.asp?edicao=Edição%20123>. Acesso em: jul. 2007.         [ Links ]

FERNANDES, R. Índice de desenvolvimento da educação básica (IDEB). Brasília, DF: MEC/INEP, 2007b. (Textos para Discussão, 26).         [ Links ]

FREITAS, L.C. A dialética da eliminação no processo seletivo. Educação & Sociedade, Campinas, v. 12, n. 39, p. 265-285, ago. 1991.         [ Links ]

FREITAS, L.C. Neotecnicismo e formação de professores. In: Alves, N. Formação de professores: pensar e fazer. São Paulo: Cortez, 1992.         [ Links ]

FREITAS, L.C. A internalização da exclusão. Educação & Sociedade, Campinas, v. 23, n. 80, p. 301-327, out. 2002.         [ Links ]

FREITAS, L.C. Ciclos, seriação e avaliação. São Paulo: Moderna, 2003a.         [ Links ]

FREITAS, L.C. (Org.). Avaliação de escolas e universidades. Campinas: Komedi, 2003b.         [ Links ]

FREITAS, L.C. Qualidade negociada: avaliação e contra-regulação na escola pública. Educação & Sociedade, Campinas, v. 26, n. 92, p. 911-933, 2005.         [ Links ]

FREITAS, L.C. et al. Dialética da inclusão e da exclusão: por uma qualidade negociada e emancipadora nas escolas. In: GERALDI, C.G.; RIOLFI, C.R.; GARCIA, M.F. Escola viva: elementos para a construção de uma educação de qualidade social. São Paulo: Mercado de Letras, 2004.         [ Links ]

FREITAS, L.C. et al. Avaliação educacional: caminhando pela contramão. São Paulo: Vozes. (no prelo).        [ Links ]

MIRANDA, E.C.M. O SAEB 2003 no Estado de São Paulo: uma análise multinível (hlm). 2006. Dissertação (Mestrado) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas.         [ Links ]

LEITHWOOD, K.; EARL, L. Educational accountability effects: an international perspective. Peabody Journal of Education, New Jersey, v. 4, n. 75, p. 1-18, 2000.         [ Links ]

LÜDKE, M. O que vale em avaliação. Educação & Seleção, São Paulo, n. 9, p. 27-36, 1984.         [ Links ]

POLI, E.C. Estudo longitudinal em matemática: possibilidades e leitura de uma realidade do ensino fundamental. 2007. Tese (Doutorado) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas.         [ Links ]

PROJETO educacional de Bush desvaloriza professor e deixa criança "para trás". The New York Times, New York, 16 abr. 2004.         [ Links ]

RAUDENBUSH, S.W. Schooling, statistics and poverty: can we measure school improvement? Princeton: Educational Testing Service, 2004.         [ Links ]

RIPPEL, V. O itinerário dos alunos egressos do projeto correção de fluxo dos anos 1997-98: um estudo de caso em Toledo (pr). 2007. (Relatório de Pesquisa) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas.         [ Links ]

RODRIGUES, S.C. Análise por envoltória de dados: uma ferramenta para transitar entre o quantitativo e o qualitativo. 2005. Tese (Doutorado) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas.        [ Links ]

SAUL, A.M. Avaliação emancipatória. São Paulo: Cortez, 1988.         [ Links ]

SAVIANI, D. Escola e democracia. São Paulo: Cortez, 1982.         [ Links ]

SORDI, M.R.L. Entendendo as lógicas da avaliação institucional para dar sentido ao contexto interpretativo. In: VILLAS BOAS, B.M.F. Avaliação: políticas e práticas. Campinas: Papirus, 2002.         [ Links ]

Sites acessados

CONSELHO Nacional de Secretários da Educação. Seminário Internacional: "Construindo caminhos para o sucesso escolar". Disponível em: <http://www.consed.org.br/mostra.asp?id=38592>. Acesso em: 10 jul. 2007.

FOLHA ON LINE. Governo federal quer eliminar estabilidade no emprego público. Disponível em: <http://www1.folha.uol.com.br/folha/cotidiano/ult95u311596.shtml>. Acesso em: 13 jul. 2007.

REDE de Pesquisadores em Financiamento da Educação. Disponível em: <http://www.redefinanciamento.ufpr.br/araujo2.pdf>. Acesso em: 12 jul. 2007.

SECRETARIA Municipal de Educação de Salvador (BA). Seminário discute melhoria no desempenho escolar. Disponível em: <http://www.smec.salvador.ba.gov.br/noticias-modelo.php?cod_noticia=1624>. Acesso em: 10 jul. 2007.