É uma característica central e fundamental da avaliação formativa ter como aspecto principal?

Introdu��o[1]

A argumenta��o deste artigo se baseia em quatro propostas. Em primeiro lugar, fazem-se necess�rias maiores realiza��es educacionais tanto para os indiv�duos quanto para a sociedade. Em segundo lugar, para conseguir maiores realiza��es educacionais se requer maior qualidade nos professores. Em terceiro lugar, uma maior qualidade nos professores demanda investir nos professores que j� se encontram trabalhando em nossas escolas. Em quarto lugar, esse investimento precisa tomar um formato radicalmente distinto do desenvolvimento profissional que comumente os professores receberam. A se��o 1 revisa brevemente a investiga��o sobre os benef�cios da educa��o para os indiv�duos e � sociedade, e as se��es 2 e 3 mostram que a qualidade do ensino nas escolas � um dos fatores mais importantes na hora de determinar quanto est�o aprendendo os estudantes na escola. As se��es 4 e 5 mostram que a evid�ncia dispon�vel sugere que melhorar a qualidade daqueles que ingressam na profiss�o docente e destituir os professores ineficientes � dif�cil por natureza, e pouco prov�vel que assegure uma melhora na qualidade do ensino que se faz necess�ria, o que conduz � premissa central da se��o 6, que consiste em que a chave da melhora nos resultados educativos � o investimento nos professores que j� se encontram trabalhando em nossas escolas. Os leitores que estejam dispostos a aceitar esta premissa podem, portanto, ir direto para a se��o 7, que mostra que o feedback, apesar de ter um alto potencial, costuma ser contraproducente, e requer que se tenha aten��o cuidadosa com o contexto dado, sendo explorado na se��o 8. A se��o 9 prop�e um modelo de avalia��o formativa que identifica cinco “estrat�gias chave” de avalia��o formativa; e a se��o 10 delimita como podemos come�ar a pensar sobre a validez das avalia��es formativas de desempenho docente. A se��o 11 conclui o artigo com alguns princ�pios para a implanta��o da avalia��o formativa do desempenho docente.

1. A educa��o � importante para os indiv�duos e para a sociedade

Na realidade, a educa��o � importante tanto para os indiv�duos quanto para a sociedade. Para os indiv�duos, os benef�cios incluem melhores rendimentos ao longo da vida, melhor sa�de e uma vida mais longeva. Ademais, os indiv�duos mais educados t�m menos possibilidades de se tornar pais adolescentes, ou de se envolver com o sistema judicial penal (Wiliam, 2011). Para a sociedade, os benef�cios s�o, sem d�vida, maiores. As pessoas mais educadas s�o mais tolerantes e mais propensas a se comprometer em diversas atividades a favor da sociedade (Feinstein Et Al., 2008), e tamb�m contribuem mais com o crescimento econ�mico. Por exemplo, Hanushek e Woessman (2010) estimaram que um aumento nas notas alcan�adas pelos jovens mexicanos de 15 anos nas provas PISA administradas pela OCDE teria um valor corrente l�quido de 5 bilh�es de d�lares. Mas o mais surpreendente � que, se todos os estudantes mexicanos atingissem uma pontua��o de 400 no PISA – o c�lculo da OCDE do n�vel de habilidade requerido para funcionar de maneira efetiva em uma sociedade complexa – teria um valor corrente l�quido de 26 bilh�es de d�lares para a economia mexicana.

2. A qualidade do ensino � a vari�vel crucial

Em v�rias jurisdi��es (por exemplo, Estados Unidos, Inglaterra) tem-se dado �nfase em melhorar a qualidade das escolas. Isto apresenta um atrativo intuitivo – todos os pais querem que seus filhos frequentem boas escolas -, mas o surpreendente � que a maioria dos pa�ses, contanto que se v� � escola, n�o importa muito a qual escola seja. Nos termos das provas PISA da OCDE, cerca de 18% da varia��o nas pontua��es alcan�adas pelos estudantes no M�xico podem ser atribu�das � escola que o aluno frequenta (Mcgaw, 2008); o restante � constitu�do por varia��es dentro das escolas (61%), varia��es entre escolas que se explicam pelo contexto social da escola (16%) e varia��es entre escolas que se explicam pelo contexto social dos estudantes que frequentam a alguma delas (5 por cento).

Desde j�, isso n�o deve ser interpretado como se significasse que n�o existem m�s escolas. Sem sombra de d�vidas existem m�s escolas, e bem poderia ser que para algumas escolas a melhor op��o seria reconstru�-las substituindo os dirigentes, e inclusive a maioria dos professores, possivelmente (Bryk Et Al, 2010). O que acho importante compreender � que as diferen�as no progresso dos estudantes em diferentes escolas no M�xico s�o pequenas, e muito menores do que o tipo de melhora necess�ria para enfrentar os desafios do s�culo XXI. Dito de outra maneira, ainda que cada escola fosse t�o boa quanto a melhor de todas, indubitavelmente a educa��o no M�xico melhoraria, mas isto por si s� n�o produziria o tipo de melhorias necess�rias.

O motivo para que as diferen�as entre escolas sejam t�o pequenas (uma vez que se t�m em conta as diferen�as dos contextos sociais dos estudantes que as frequentam) � que o fator decisivo do progresso dos estudantes na escola �, ainda que �bvio, a qualidade da instru��o que recebem. O menos �bvio � que a qualidade da instru��o que os estudantes recebem conforme avan�am na escola � muito vari�vel. Em todas as escolas existe bom ensino e ensino que n�o � t�o bom, mas conforme os estudantes avan�am nos estudos, a qualidade mediana da instru��o que recebem durante suas carreiras n�o varia muito de uma escola para outra.

A qualidade do ensino depende de muitos fatores:

- O tempo que os professores dedicam para planejar o ensino.

- O tamanho das turmas.

- Os recursos dispon�veis.

- As capacidades do professor.

Todos esses fatores s�o importantes, no entanto a qualidade do professor parece ser especialmente importante.

3. A qualidade do ensino n�o � o mesmo que a qualidade dos professores

A qualidade do ensino depende de certas vari�veis, como a quantidade de tempo que os professores dedicam para preparar as aulas, o tipo de recursos dispon�veis, o n�mero de estudantes por turma, as habilidades do professor etc. Em alguns sistemas (por exemplo, Jap�o, Finl�ndia), o n�mero de horas que os professores gastam ensinando realmente est� abaixo das 700 anuais, enquanto em outros (por exemplo, Estados Unidos, Chile) est� acima das 1000 (OCDE, 2013a, p. 396). Portanto, � importante se dar conta de que a qualidade do ensino � melhor do que a qualidade dos professores. Assim sendo, ao que parece, a qualidade dos professores em um sistema � uma vari�vel crucial. Se colocamos os professores em tr�s grupos de igual tamanho, abaixo da m�dia, m�dia, e acima da m�dia, ent�o os estudantes que s�o ensinados por um professor acima da m�dia ter�o 50% mais �xito, e aqueles ensinados por um professor abaixo da m�dia ter�o 50% menos do que os estudantes ensinados por um professor mediano (Hanushek, 2011). Os professores mais eficazes s�o, assim sendo, ao menos tr�s vezes mais eficazes do que o menos eficaz. De fato, as diferen�as na qualidade dos mestres podem ser ainda maiores, pois as crian�as progridem, em particular no desenvolvimento da linguagem, simplesmente como resultado do amadurecimento. Na verdade, um estudo (Fitzpatrick, Grissmer & Hastedt, 2011) estimou que um ter�o do progresso realizado por crian�as de sete anos de idade foi resultado da maturidade, ent�o � poss�vel que os professores mais eficientes sejam ao menos cinco vezes mais eficazes do que os menos eficientes. Al�m do mais, tanto nas escolas prim�rias (Hamre & Pianta, 2005) quanto nas secund�rias (Slater, Davies & Burgess, 2008)[2] descobriu-se que os melhores professores beneficiam mais �queles que t�m mais defici�ncias, uma vez que o aumento da qualidade dos professores reduz a brecha de �xitos acad�micos. Isto n�o significa que devamos nos concentrar somente na qualidade dos professores. � importante assegurar que os professores tenham os recursos necess�rios para efetuar seu trabalho. Necessitam de tempo, recursos materiais e de apoio dos gestores e dos colegas para fazer seu trabalho melhor. Mas a magnitude das diferen�as entre os professores em seus impactos sobre a aprendizagem dos estudantes significa que melhorar a qualidade dos professores deve ser uma prioridade para qualquer sistema educativo.

Em v�rios pa�ses, isso tem tido como resultado esfor�os de melhora da qualidade dos professores por meio da substitui��o dos j� existentes por outros melhores, mediante uma combina��o entre a melhora da qualidade daqueles que ingressam � profiss�o (Barber & Mourshed, 2007) e a destitui��o dos professores ineficientes (Hanushek, 2010), o qual se discute nas pr�ximas duas se��es.

Se tomarmos um grupo de 50 professores, todos ensinando a mesma mat�ria:

- No grupo com o melhor professor, os estudantes aprendem em seis meses o que os estudantes com um professor mediano aprendem em um ano.

- No grupo com o professor menos eficientes, os estudantes v�o levar dois anos aprender para aprender o mesmo (Hanushek & Rivkin, 2006).

- Nos grupos com os melhores professores, os estudantes com hist�rico de desvantagem aprendem o mesmo que os demais.

4. Prever quem ser� um bom professor � quase imposs�vel

O fato de que a qualidade dos professores seja o ingrediente mais importante de um sistema educativo efetivo n�o indica, por si mesmo, o tipo de pol�ticas que possam assegurar professores de alta qualidade.

Aumentar os n�veis para ingressar � profiss�o docente parece ser uma op��o pol�tica atrativa, especialmente porque as jurisdi��es de alto rendimento tendem a contratar professores da ter�a parte mais alta dos graduados universit�rios, e dados recentes da sondagem de habilidades em adultos da OCDE sugerem que a correla��o entre as pontua��es de conhecimentos matem�ticos dos professores em um pa�s e a pontua��o na prova PISA � aproximadamente de 0.5 (OCDE, 2013b). Em alguns pa�ses de alto rendimento, como Finl�ndia e Singapura, h� de dez a vinte candidatos qualificados para cada vaga nos programas de capacita��o docente, e para al�m das qualifica��es acad�micas de alto n�vel, os candidatos precisam ter boas habilidades de comunica��o e qualidades pessoais necess�rias para ser praticantes eficazes. Para os pa�ses que se encontram em posi��o privilegiada parece ser como se nada mais importasse; se tem-se a sorte de contar com as pessoas mais inteligentes de seu pa�s aspirando a ser professores, ent�o outras partes do quebra-cabe�a podem estar mal e ainda ter um sistema educativo de alto rendimento. N�o obstante, vale a pena observar que um processo de admiss�o � capacidade docente muito seletivo n�o garante um bom sistema educativo. Na Rep�blica da Irlanda, a admiss�o � capacidade docente permanece do mesmo jeito h� anos, extremamente seletiva (INTERNATIONAL REVIEW PANEL ON THE STRUCTURE OF INITIAL TEACHER EDUCATION PROVISION IN IRELAND, 2010), e mesmo assim o desempenho do pa�s na prova PISA 2009 foi indistingu�vel do Reino Unido. Por outro lado, em Xangai, os professores n�o costumam ter qualifica��es educativas elevadas, todavia � proporcionada a eles uma capacita��o de alta qualidade antes do in�cio da carreira e durante a mesma. A sele��o de professores entre os mais aptos academicamente pode, assim, n�o ser condi��o necess�ria nem suficiente para assegurar a alta qualidade dos professores.

Com efeito, parece que � extraordinariamente dif�cil identificar quem ser�o bons professores at� que estejam frente ao grupo (veja-se em Gladwell, 2008, um resumo do argumento e da evid�ncia). Existe certa evid�ncia de que os estudantes que s�o ensinados por professores com �xitos acad�micos ou QI altos progridem mais (Slater Et Al, 2008; Hanushek, 1971), contudo a correla��o � modesta, e outros estudos (por exemplo, Harris & Sass, 2007) efetivamente n�o encontram nenhuma rela��o entre o �xito dos estudantes e a educa��o pr�via ao servi�o ou os antecedentes acad�micos do professor.

H� evid�ncias de que as entrevistas bem estruturadas possuem alguma utilidade (veja-se, por exemplo, Dobbie, 2012), no entanto a correla��o �, novamente, modesta, e por conseguinte existe o risco real de rejeitar aqueles que poderiam ser muito bons professores e aceitar aqueles que n�o ser�o. Mais importante mesmo � que melhorar a qualidade dos professores aumentando os padr�es para ingressar � profiss�o requer demasiado tempo. Se os crit�rios para ingressar na profiss�o fossem levantados, demoraria ao menos 30 anos para que o �ltimo daqueles que entraram na profiss�o pare de ensinar, antes que os padr�es fossem elevados.

Uma estrat�gia para aumentar a qualidade dos professores que � particularmente popular na atualidade � por interm�dio de programas de elite, como Teach for America e Teach First, nos quais os graduados de alto rendimento empreendem o ensino em �reas com dificuldades socioecon�micas durante um tempo espec�fico. As avalia��es desses modelos n�o demonstraram ainda evid�ncia clara de que sejam mais elevados do que os percursos tradicionais em dire��o ao ensino, apesar de que tendem a ser mais caros do que os programas de capacita��o docente tradicionais. Tais esquemas podem aumentar o status do ensino como um trabalho que � digno dos mais capazes, mas a pr�pria concep��o desses programas, junto com o fato de que s�o explicitamente programas de “elite”, significam que a propor��o de professores a adentrar nessas vagas por essas rotas � pouco prov�vel que exceda o 1% da for�a docente, inclu�dos os progn�sticos mais otimistas (gr�fico VII.1).

5. Avaliar a qualidade dos professores � dif�cil por natureza

Se modificar a qualidade dos que ingressam � profiss�o � dif�cil, ent�o uma alternativa �bvia poderia ser destituir os professores ineficientes, entretanto identificar os professores ineficientes � mais dif�cil do que parece, em primeiro lugar. Os protocolos de observa��o, como o Framework for Teaching (Marco para o Ensino) desenvolvido por Charlotte Danielson (1996), “funcionam” no sentido de que aprendem mais os estudantes que acessam o ensino por meio de professores que t�m melhor classifica��o no esquema, contudo esses sistemas n�o conseguem identificar todos os aspectos do ensino eficaz.

Por exemplo, Sartain et al. (2001) encontraram uma clara rela��o positiva entre as qualifica��es dos professores no Framework for Teaching e o progresso realizado por seus estudantes. Os estudantes que receberam ensinamentos dos professores que se classificaram como “distintos” (o n�vel mais alto no Framework) progrediram 30% mais do que os estudantes que aprenderam por meio de professores classificados como “insatisfat�rios” (a classifica��o mais baixa). Esta � uma descoberta relevante. V�rios intentos pr�vios fracassaram no momento de estabelecer um v�nculo claro entre as condutas observ�veis dos professores e o progresso de seus estudantes, por isso o fato de que agora possamos (ao menos para os professores dos Estados Unidos) capacitar o pessoal para classificar os professores de maneira que proporcionem nomenclaturas precisas da qualidade docente � um passo importante em frente. No entanto, como se observou acima, os melhores professores s�o 300% mais produtivos do que os menos eficientes (j� que os melhores professores produzem 18 meses de progresso no mesmo lapso temporal que os menos eficientes, que produzem 6 meses de progresso). Isto indica que o Framework for Teaching captura somente algo em torno de 10% da qualidade dos mestres. Alguns estudos conclu�ram que, visto que a qualidade dos professores n�o � a mesma qualidade do ensino (dito de outra maneira, porque o desempenho do ensino � vari�vel por natureza), � necess�rio um grande n�mero de observa��es independentes para produzir estimativas acerca da qualidade dos professores que seja suficientemente confi�vel para respaldar decis�es de alto impacto, como a rescis�o do contrato de trabalho. Por exemplo, Hill et al. (2012) descobriram que somente para obter alguma confiabilidade das observa��es de at� 0.90 (pode ser considerado um limite baixo para decis�es de alto impacto) seria preciso observar um professor dando aulas para seis turmas distintas e cinco observadores independentes que dariam nota para cada uma.

Portanto, enquanto os esquemas de observa��o como Framework for Teaching identificam de forma confi�vel aspectos da qualidade do professor, quando os ditos esquemas s�o utilizados com a finalidade de avaliar o professor, e devido a considerar muito pouco da vari�ncia da qualidade do professor, existe o perigo de que os professores se tornem menos eficientes embora aumentem sua classifica��o no sistema.

Dada a pouca confiabilidade inerente �s observa��es dos professores, diversos autores argumentaram que as evid�ncias dessas observa��es devem ser complementadas com outras fontes de informa��o, como as avalia��es dos estudantes em torno do ensino e as medidas do desempenho acad�mico dos estudantes (Kane & Staiger, 2012).

As medidas do desempenho acad�mico (chamadas com frequ�ncia “de valor agregado”) parecem identificar de maneira confi�vel distintos aspectos da qualidade dos professores a partir de observa��es (Rockoff & Speroni, 2011), contudo estimar o valor agregado de um professor � extraordinariamente dif�cil, inclusive quando levamos em conta os desempenhos pr�vios dos estudantes, j� que a maioria das avalia��es n�o representam completamente os resultados importantes da educa��o. Por exemplo, os bons professores continuam trazendo benef�cios para os estudantes durante ao menos dois anos depois que param de dar-lhes aulas (Rothstein, 2010). Em outras palavras, os bons professores fazem com que os professores que ensinam para seus estudantes em anos posteriores pare�am melhores do que realmente s�o. Um segundo problema com os modelos de valor agregado � que as diferen�as nas suposi��es estat�sticas realizadas no processo de modelagem produzem grandes varia��es nas classifica��es dos professores. Por exemplo, Goldhaber, Goldschmidt e Tseng (2013) descobriram que 9% dos professores que se classificaram entre os top 20% de valor agregado em um modelo (um modelo de efeitos aleat�rios nos estudantes) foram classificados entre os 20% mais baixos dentro de um modelo tradicional de valor agregado. Considerando que tamb�m as classifica��es de valor agregado de um professor variam consideravelmente a cada ano (Mccaffrey Et Al., 2008), as medidas de valor agregado do desenvolvimento dos estudantes s�o indicadores pouco confi�veis da qualidade dos professores.

A conclus�o principal que deveria ser obtida de todos os intentos de mensurar a qualidade dos professores � que, visto que todas as medidas s�o pouco confi�veis, temos de emitir um ju�zo em torno do “peso do teste” requerido para identificar os professores inadequados. Se estabelecermos o peso demasiadamente alto, ent�o dever�o ser identificados poucos professores de baixa qualidade. Por exemplo, Winters e Cowen (2013) acharam em um estudo de professores de alfabetiza��o na Fl�rida que, se o crit�rio para a destitui��o de professores fosse estabelecido como pertencente aos 5% mais baixos de valor agregado durante dois anos consecutivos, somente 1 em cada 500 professores seria identificado para a demiss�o. Naturalmente, o peso do teste pode ser relaxado, o que teria como consequ�ncia mais professores destitu�dos, mas isso levaria � demiss�o de um maior n�mero de professores altamente eficientes. Neste contexto, igualmente vale a pena as observa��es de Atteberry et al. (2013), que descobriram que os professores que foram identificados como altamente eficientes em seu primeiro ano n�o melhoraram (medida pelo valor agregado) durante os primeiros cinco anos de sua carreira docente, enquanto que aqueles que se classificaram como os menos eficientes em seu primeiro ano de ensino melhoraram constantemente.

O efeito cumulativo de todas as prescri��es de pol�tica listadas anteriormente, at� mesmo as implantadas de forma fiel e efetiva, seria demasiado pequeno, e demoraria muitos anos para se concretizar. Por esta raz�o, a melhora no desempenho dos professores em servi�o ter� de ser o componente principal da estrat�gia de cada pa�s para a melhora da qualidade dos professores.

- O aumento do desempenho educativo dos estudantes � priorit�rio.

- Para o aumento do desempenho educativo dos estudantes se faz necess�rio melhorar a qualidade dos professores.

- Para melhorar a qualidade dos professores exige-se investir mais nos professores.

6. O desenvolvimento profissional � a chave para a qualidade dos professores

Isto poderia parecer um sonho inalcan��vel, no entanto a investiga��o sobre a experi�ncia em �reas distintas indica que os professores que j� se encontram em nossas escolas poderiam ser muito mais eficientes do que s�o na atualidade. Existe cada vez mais evid�ncias de que medidas gerais de habilidades s�o bons indicadores do qu�o bem algu�m realiza algo apenas nos est�gios iniciais. Por exemplo, aqueles com QI mais alto s�o melhores jogadores de xadrez quando come�am, mas depois de uns anos de pr�tica a rela��o se torna muito menos percept�vel. Um estudo estimou que somente cerca de 12% das varia��es nas classifica��es de jogadores de xadrez poderiam ser atribu�das ao QI (Grabner Et At., 2007). De fato, as medidas das habilidades gerais comp�em apenas 4% da varia��o no desempenho dos especialistas (Ericsson Et Al., 2006). David Berliner (1994) mostrou que a experi�ncia no ensino parece ser muito similar � experi�ncia em outros campos, ainda assim, conforme se observou anteriormente, a estrat�gia de obter “os melhores e os mais brilhantes” no ensino n�o somente n�o se mostra suficiente para construir uma for�a de trabalho de professores not�veis; nem � necess�ria.

O que produz um especialista � ao menos dez anos de pr�tica deliberada – uma abordagem que se empenha em melhorar o desempenho (Ericsson, 2002). A maioria dos estudos sobre os efeitos da experi�ncia na produtividade dos professores descobriu que estes melhoram nos primeiros dois ou tr�s anos, embora depois desse per�odo a maioria o fa�a lentamente, e muitos continuam a melhorar (Rivkin, Hanushek & Kain, 2005). Isto indica que muitos deles tocam a superf�cie dos tipos de melhorias que s�o poss�veis.

Se quisermos ajudar os professores a se tornarem especialistas, como a pesquisa sugere que � poss�vel, ent�o temos de recrutar aqueles que tenham paix�o por esse trabalho. A pr�tica deliberada n�o � desfrut�vel por si mesma – no entanto � fundamental para melhorar o desempenho -, e apenas aqueles que possuem paix�o por contribuir a que todos os seus estudantes tenham desempenhos de alto n�vel estar�o dispostos a investir a energia necess�ria.

Dessa maneira, precisamos criar ambientes em que todos os professores concordem com a ideia da melhora cont�nua. Essa n�o � a ideia estereotipada de “acompanhar os novos desenvolvimentos” – �, pelo contr�rio, a aceita��o de que o impacto da educa��o nas vidas dos jovens gera um imperativo moral, inclusive para os melhores professores, de continuar melhorando -. A evid�ncia dos estudos sobre os esfor�os focalizados em melhorar o desempenho dos professores em servi�o (William Et Al., 2004; Allen Et Al., 2011) � que os efeitos podem ser duas ou tr�s vezes maiores do que o efeito combinado de todos os intentos de melhorar o ensino por meio da substitui��o dos professores descrita acima.

Uma vez que se aceita os benef�cios da educa��o, tanto para os indiv�duos como para a sociedade, criam um imperativo moral de melhorar para todos os professores, tornando o passo seguinte decidir como isso ser� alcan�ado. Obviamente, podemos deixar que os professores melhorem por seus pr�prios meios, todavia dada a relev�ncia do �xito educativo, parece importante assegurar que os professores devam ser apoiados na melhoria de sua pr�tica, e a forma mais �bvia de faz�-lo � mediante o abastecimento de feedback.

7. O feedback � mais complexo do que normalmente se pensa

O termo “feedback” tem suas origens na engenharia da computa��o (Wiener, 1948) e foi definido como o “controle de uma m�quina com base em seu desempenho real, ao inv�s de seu desempenho esperado” (Wiener, 1950/1989, p. 24). Wiener e seus colegas identificaram dois tipos de ciclos de feedback: positivos e negativos, contudo esses termos foram empregados em um sentido t�cnico que n�o se relaciona diretamente com a forma na qual utilizamos hoje em dia. Um exemplo de um ciclo de feedback positivo � quando um gravador registra o som de um amplificador, que torna a amplificar-se, e por sua vez o gravador novamente registra, criando um barulho familiar do feedback ac�stico. Outro exemplo � quando, em tempos de escassez, as pessoas guardam as poucas reservas que t�m, o que faz com que se tornem ainda mais escassas, provocando um efeito cascata, no qual as pessoas acumulam ainda mais reservas, e assim sucessivamente. A quest�o � que, em engenharia, o feedback positivo n�o � proveitoso, pois leva a um crescimento explosivo ou ao colapso. Um exemplo de um ciclo de feedback negativo � o termostato de uma casa que monitora a temperatura, e se esta se desvia demais da desejada, o termostato ativa um sistema de aquecimento ou esfriamento que restabelece a temperatura desejada na casa. Em engenharia, desse modo, somente o feedback negativo � �til, porque retoma um sistema ao estado que se deseja.

Quando foi desenvolvida a ideia do feedback em psicologia nas d�cadas de 1960 e 1970, o campo estava dominado pelo behaviorismo e, portanto, n�o surpreende que tenha sido decidido que o uso mais apropriado do feedback tenha sido para refor�ar o comportamento desejado:

A m�quina, como qualquer professor particular, refor�a ao estudante por cada resposta correta, utilizando o feedback imediato n�o somente para dar forma � conduta da maneira mais efetiva, como tamb�m para mant�-lo forte de uma maneira que poderia ser descrita em termos coloquiais como “manter o interesse do estudante” (Skinner, 1968, p. 39).

Em resposta a isto, Kulhavy (1977) sugeriu:

Com tais declara��es t�o confiantes dispon�veis, n�o surpreende que os acad�micos tenham trabalhado demais para colocar o pino redondo em um orif�cio quadrado do refor�o. Infelizmente, esta f� estoica no feedback como refor�o tem levado com frequ�ncia os pesquisadores a omitir ou descartar explica��es alternativas para seus dados. Um n�o tem que olhar muito para longe para encontrar artigos que se dediquem a explicar por que seus dados n�o atingiram as expectativas de trabalho ao inv�s de tentar dar sentido ao que encontraram (p. 213).

Durante os anos seguintes, apareceram v�rias revis�es da pesquisa sobre os efeitos do feedback, as quais forneceram maior evid�ncia de que o feedback que apenas proporcionava refor�o n�o era particularmente efetivo (veja-se por exemplo Bangert-Drowns et al., 1991).

V�rias das revis�es da pesquisa sobre os efeitos do feedback utilizaram a metaan�lise para sintetizar os resultados de estudos diferentes. A meta-an�lise � uma t�cnica que exprime a for�a de uma descoberta em forma de uma medida padr�o, como o tamanho do efeito padronizado (COHEN, 1988), e pode ser muito �til para sintetizar resultados de estudos diferentes. N�o obstante, existem determinadas precau��es que devem ser tomadas na hora de ver os resultados da meta-an�lise, em particular no campo da pesquisa educacional.

a) O problema do arquivo. Existe uma tend�ncia bem documentada a favor da publica��o de estudos que t�m resultados significativos, em lugar de n�o significativos. Isto � compreens�vel, evidentemente, mas o que n�o se tem consci�ncia de modo amplo � que a maioria dos estudos de pesquisa em educa��o e psicologia possui uma representatividade estat�stica baixa, geralmente porque os experimentos s�o muito pequenos para gerar de modo consistente resultados estat�sticos significativos, inclusive se os fen�menos pesquisados s�o reais. Uma pesquisa considerou que a representatividade estat�stica mediana do experimento psicol�gico t�pico foi de 0.4 aproximadamente, o que significa que um experimento tem apenas 40% de probabilidade de provocar um resultado estatisticamente significativo, inclusive se o efeito submetido a estudo foi verdadeiro. Por essa raz�o, apenas os estudos que por casualidade revelam um efeito maior do que o normal t�m a possibilidade de ser publicados, dado que as dimens�es do efeito desses estudos s�o uma sobrestima��o do efeito real.

b) Varia��o na variabilidade. Enquanto os estudos psicol�gicos observam com frequ�ncia fen�menos relativamente est�veis, como a personalidade, os estudos educativos em geral est�o mais interessados na mudan�a. Esse � um problema particular para a meta-an�lise, uma vez que o efeito de uma interven��o depender� da variabilidade da popula��o. A medida mais comum do tamanho do efeito, o tamanho do efeito padronizado mencionado anteriormente, � calculado atrav�s da divis�o da m�dia do grupo de tratamento e do grupo de controle em um experimento entre o desvio-padr�o da popula��o submetida ao estudo. Por isso, se a popula��o submetida ao estudo � um subconjunto de uma popula��o mais ampla (estudantes portadores de necessidades especiais, ou estudantes superdotados, por exemplo), ent�o reduz-se o denominador da fra��o no c�lculo do tamanho do efeito, o que aumenta a estimativa resultante do tamanho do efeito. Esse � um problema particular quando observamos estudantes de diferentes idades. Bloom et al. (2008) descobriram que o crescimento em um ano para uma crian�a de 6 anos foi equivalente a 1.5 desviospadr�o, todavia para um jovem de 15 anos, um ano de crescimento foi de somente 0.2 desvios-padr�o. Seria de esperar, nessa altura, que uma pesquisa que compreendeu uma interven��o que incrementou a taxa de aprendizagem em 50% tivesse um tamanho de efeito de 0.75, caso tivesse sido realizado com crian�as de 6 anos, mas t�o somente um efeito de 0.2 se ocorrida com jovens de 15 anos de idade.

c) Sele��o dos estudos. A sele��o de estudos para sua inclus�o em uma meta-an�lise inclui um n�mero de decis�es de diversos graus de subjetividade. Ruiz Primo e Li (2013) revisaram mais de 9.000 artigos potencialmente relevantes para a efetividade do feedback na aprendizagem de matem�tica, ci�ncias e tecnologia. Dos 238 artigos selecionados, 95 tiveram descobertas quantitativas espec�ficas sobre seus efeitos na aprendizagem de matem�tica e ci�ncias, mas destes 95 artigos, 76 representaram um acontecimento de feedback individual que durou poucos minutos. Embora tais descobertas possam ser de interesse para os investigadores, � muito pouco prov�vel que seus resultados generalizem de maneira direta os efeitos cont�nuos do feedback durante semanas ou meses.

Conforme se observou anteriormente, isso n�o significa que a meta-an�lise seja in�til como t�cnica para agregar descobertas de investiga��o de m�ltiplas fontes, mas prova que s�o necess�rias precau��es consider�veis na hora de tirar conclus�es sobre os tamanhos do efeito, particularmente quanto � magnitude dos efeitos das diferentes interven��es.

Kluger e DeNisi (1996) realizaram uma meta-an�lise especialmente importante de estudos sobre feedback nos quais revisaram todos os estudos realizados sobre os seus efeitos desde 1905 at� 1995.

Come�aram por definir as interven��es de feedback como “a��es tomadas por (um) agente(s) externo(s) para proporcionar informa��o sobre algun(s) aspecto(s) do desempenho pessoal em uma tarefa” (p. 255). Eles identificaram mais de 3.000 estudos relevantes publicados entre 1905 e 1995, por�m observaram que v�rios estudos eram muito pequenos (em muitos casos tinham somente um participante), e foram registrados de maneira pouco detalhada para permitir o c�lculo do tamanho do efeito para a interven��o. A fim de garantir que n�o fossem inclu�dos estudos de baixa qualidade, Kluger e DeNisi convencionaram tr�s crit�rios de inclus�o em sua revis�o:

1. Os participantes tinham que se dividir em dois grupos, sendo que a �nica diferen�a entre ambos, tanto quanto poss�vel, � que tivessem ou n�o recebido o feedback.

2. O estudo cobriu ao menos dez participantes.

3. Foi inclu�da uma medida de desempenho suficientemente detalhada para o c�lculo do tamanho do impacto do feedback no desempenho.

Surpreendentemente, somente 131 dos 3.000 estudos relevantes correspondiam aos crit�rios, sendo que os estudos selecionados reportaram 607 tamanhos dos efeitos e compreenderam 23.663 observa��es de 12.652 participantes. Em todos eles o tamanho do efeito mediano para o feedback foi de 0.41 desvios-padr�o, sem embargo os efeitos variaram de maneira consider�vel entre os diferentes estudos. Vale a pena ressaltar que 38% dos 607 tamanhos do efeito foram negativos. Em outras palavras, em quase dois de cada cinco casos de feedback o desempenho m�dio diminuiu, na realidade. Com a finalidade de compreender como isso aconteceu, buscaram “moderadores” dos efeitos do feedback (vari�veis que pudessem explicar as diferen�as nos efeitos dos diferentes estudos) e descobriram que as interven��es foram menos efetivas quando centraram sua aten��o em si mesma, mais efetivas quando focaram na tarefa central, e tiveram a maior efetividade quando tiveram como foco os detalhes da tarefa central e quando abarcaram o estabelecimento de metas.

N�o obstante, conclu�ram que se o feedback “funciona” ou n�o, e se esse fosse o caso, por vezes, n�o eram as perguntas corretas que precisavam ser feitas:

Antes de concluir, devemos refletir na implica��o empregada em nosso estudo. A identifica��o de v�rios moderadores sugere que em certas situa��es o F (Feedback) pode provocar um efeito amplo e positivo no desempenho. Especificamente, um F para uma tarefa familiar, que contenha pistas que apoiem a aprendizagem, centrando a aten��o em dar feedback sobre discrep�ncias padr�o ao n�vel da tarefa (velocidade do F e estabelecimento de metas), e esteja desprovido de pistas para o n�vel de meta tarefa (por exemplo, pistas que dirijam a aten��o a si mesmo), tem a possibilidade de provocar ganhos impressionantes no desempenho, superando possivelmente F. Mesmo que um F nem sempre seja uma interven��o eficiente. Inclusive quando o F tem efeitos positivos consider�veis no desempenho, sua utilidade por meio de um aumento da motiva��o em uma tarefa, o efeito pode depender de um F cont�nuo. A elimina��o de tal F pode dar como resultado um rev�s, como demonstraram alguns estudos de campo (Komaki & Cols., 1980). Portanto, o custo de manter uma interven��o cont�nua deve ser considerado na hora de avaliar tal interven��o. Mesmo assim, se o F afeta o desempenho mediante processos de aprendizagem de tarefas, o efeito pode propiciar a aprendizagem superficial somente se interferir com a aprendizagem mais elaborada. A falta de aprendizagem elaborada afeta a capacidade de utilizar o material aprendido em tarefas de transfer�ncia onde a tarefa � similar, mas n�o id�ntica (por exemplo, Carroll e Kay, 1988). Ademais, a evid�ncia de algum efeito de aprendizagem aqui foi, no melhor dos casos, m�nima. Certamente, na bibliografia sobre paradigma de aprendizagem de probabilidade de pistas m�ltiplas (MCPL, por suas siglas em ingl�s), diversos revisores duvidam se os F t�m algum valor na aprendizagem (Balzer & Cols., 1989; Brehmer, 1980) e sugerem alternativas aos F para aumentar a aprendizagem, como tamb�m proporcionar ao aluno mais informa��es sobre as tarefas (Balzer & Cols., 1989). Outra alternativa aos F � elaborar ambientes de trabalho ou aprendizagem que incentivem o teste ou o erro, maximizando assim a aprendizagem a partir do feedback da tarefa sem interven��o direta (Frese & Zapf, 1994). Essas considera��es sobre a utilidade e as interven��es alternativas indicam que mesmo o F com efeitos positivos demonstrados sobre o desempenho n�o deveria ser administrado sempre que poss�vel. Pelo contr�rio, � preciso um maior desenvolvimento dos F a fim de estabelecer as circunst�ncias mediante os quais os efeitos positivos do F sobre o desempenho tamb�m sejam duradouros e eficientes, e quando esses efeitos s�o transit�rios e t�m utilidade question�vel. Essa investiga��o deve focar nos processos induzidos pelo F e n�o na pergunta geral sobre se os F melhoram o desempenho – basta ver o qu�o pouco houve progressos em 90 anos de intentos de responder esta �ltima pergunta (p. 278).

Quadro 1

Respostas �s interven��es de feedback

Em outras palavras, qualquer intento de compreender os efeitos do feedback sem considerar a rea��o de quem o recebe est� condenado ao fracasso, ainda que possa ser eficaz dar o mesmo feedback, mas pode n�o ser para outro indiv�duo muito similar, pela maneira que os indiv�duos participantes reagem a ele.

Para abordar essa quest�o, Kluger e DeNisi propuseram uma “teoria preliminar da interven��o de feedback” baseada na observa��o de que existem duas situa��es em que se pode fornecer o feedback (aquelas nas quais o desempenho real cai abaixo do desempenho desejado e aquelas nas quais o desempenho real supera o desempenho desejado) e existem quatro respostas que um indiv�duo pode ter ante o feedback (mudan�a de comportamento, mudan�a na meta, abandono da meta ou rejei��o ao feedback); o que conduz aos oito efeitos poss�veis das interven��es de feedback mostrados no quadro 1.

Isto �, existem oito poss�veis respostas a uma interven��o de feedback, e � poss�vel que seis delas sejam ineficazes ou piores. Somente duas respostas, enfatizadas em it�lico no quadro 1, t�m a possibilidade de proporcionar resultados positivos. Crucialmente, os efeitos do feedback dependem do contexto em que ocorre. Portanto, com o intuito de compreender como o feedback pode melhorar o rendimento dos professores, faz-se necess�ria � sua incorpora��o em um esquema te�rico mais amplo que inclua tanto o papel daqueles que proporcionam o feedback, como daqueles que o recebem.

Existem diversas formas pelas quais isso pode ser alcan�ado, mas a discuss�o de alguns deles vai al�m do alcance deste artigo. No que vem a seguir, se explora em detalhes um modelo para a melhora do ensino no contexto da avalia��o formativa do desempenho docente.

Conforme salienta um relat�rio da OCDE sobre a avalia��o dos professores (Santiago & Benavides, 2009), essa det�m, comumente, dois objetivos principais: melhorar o desempenho dos professores e proporcionar evid�ncias que permitam aos docentes e �s institui��es educativas (por exemplo, escolas, munic�pios, estados) prestar contas. O relat�rio tamb�m assinala que h� uma tens�o fundamental entre esses dois prop�sitos. Por exemplo, onde as classifica��es do desempenho no ensino se vinculam com as decis�es acerca da perman�ncia no emprego ou as recompensas financeiras, � pouco prov�vel que os professores tentem enfoques inovadores, e organizando suas li��es de forma a minimizar as possibilidades de que sejam reveladas as �reas fracas da sua pr�tica. O menos �bvio � que, assim como se encontram em tens�o em termos de como atuam, as diferentes fun��es da avalia��o de desempenho docente necessitam ser validadas de distintas formas. Nas pr�ximas duas se��es ser� explorada em detalhes a natureza da avalia��o formativa, enquanto na se��o 10 analisa-se a validez das avalia��es formativas de desempenho docente. O artigo termina com algumas recomenda��es sobre formas de implementar a avalia��o formativa de desempenho docente.

8. A avalia��o formativa do desempenho docente

N�o existe uma defini��o consensual sobre o que constitui, exatamente, a avalia��o formativa. A distin��o entre a avalia��o formativa e a somativa foi feita pela primeira vez por Michael Scriven, no contexto da avalia��o do curr�culo. Por um lado, assinalou que a avalia��o “pode ter um papel na melhora cont�nua do curr�culo” (Scriven, 1967, p. 41), enquanto por outro, a avalia��o “pode servir para permitir aos administradores decidir se o curr�culo conclu�do em sua totalidade, refinado mediante o uso do processo de avalia��o em seu papel primeiro, representa um avan�o suficientemente significativo relativamente �s alternativas dispon�veis para justificar a despesa de ado��o por parte de um sistema escolar” (p. 41-42). Ent�o prop�s “utilizar os termos de avalia��o �formativa e somativa� para qualificar a avalia��o nesses pap�is” (p. 43). A mesma distin��o implementou depois Benjamin Bloom � avalia��o de estudantes individualmente:

Contrasta bastante o uso da “avalia��o formativa” para proporcionar feedback e a��es corretivas em cada etapa do processo de ensino-aprendizagem. Entende-se por avalia��o formativa a avalia��o por meio de provas curtas utilizadas por professores e alunos como aux�lio no processo de aprendizagem. Enquanto tal evid�ncia possa ser qualificada e usada como parte das fun��es do teste e da classifica��o da avalia��o, vemos um uso muito mais efetivo da avalia��o formativa se estiver separada do processo de qualifica��o e sendo utilizada principalmente como suporte para o ensino (Bloom, 1969, p. 48).

Desde ent�o, diversos autores t�m proporcionado um n�mero de defini��es para a express�o “avalia��o formativa” (consulte em Wiliam, 2011, uma an�lise ampliada a respeito). As fontes principais de varia��o entre essas defini��es s�o:

a) A dura��o do intervalo entre a coleta das evid�ncias dos �xitos e seu uso.

b) Se � essencial que os estudantes, de quem a evid�ncia foi obtida, se beneficiem do processo.

c) Se a avalia��o tem de alterar as atividades de avalia��o previstas.

d) Se os estudantes t�m que participar ativamente no processo.

Em uma tentativa de proporcionar uma defini��o ampla da avalia��o formativa, Black e Wiliam (2009) propuseram uma abrangente que abarcou todas as quest�es identificadas anteriormente como varia��es de uma ideia central. Parafraseada em rela��o � avalia��o formativa do desempenho docente, a defini��o dos autores � a seguinte:

A avalia��o de desempenho docente funciona formativamente na medida em que a evid�ncia do desempenho do professor obtida por meio da avalia��o � interpretada por dirigentes, professores ou seus pares para a tomada de decis�es acerca do desenvolvimento profissional docente que possivelmente sejam melhores, ou melhor fundamentadas, do que aquelas tomadas na aus�ncia da dita evid�ncia.

Diversas caracter�sticas desta defini��o merecem uma explica��o. A primeira � que a defini��o de avalia��o formativa repousa sobre o papel que desempenha a avalia��o, ao inv�s da natureza da avalia��o por si mesma. Posto que qualquer avalia��o pode funcionar formativa ou cumulativamente, n�o existe “uma avalia��o formativa”, mas sim uma avalia��o em que h� evid�ncias de que � utilizada formativamente. Em segundo lugar, o enfoque da defini��o se encontra nas decis�es, em detrimento das inten��es por tr�s da coleta da dados. Tal no��o se presta para assegurar que as situa��es em que as evid�ncias s�o coletadas com a inten��o de melhorar o desempenho docente, mas onde a evid�ncia n�o � realmente usada, n�o sejam consideradas formativas. Dito de outra forma, o foco est� na coleta de dados guiada por decis�o, em vez de tomada de decis�o baseada em dados. Em terceiro lugar, a defini��o n�o fala sobre quem (quer dizer, dirigentes, os pr�prios professores, ou seus pares) toma as decis�es (o termo “l�der” � utilizado aqui para qualquer respons�vel profissionalmente pelo desenvolvimento profissional dos professores, quer sejam chamados de l�deres, mentores, instrutores etc.). Em quarto lugar, a defini��o n�o requer que o processo realmente melhore o desenvolvimento profissional do professor – dada a complexidade da aprendizagem humana, n�o pode haver tais garantias -. No entanto, a defini��o requer que as decis�es resultantes tenham a possibilidade de melhorar a aprendizagem desse professor, e este � o quinto ponto, que a defini��o permita situa��es nas quais as evid�ncias corroborem que as a��es tomadas na aus�ncia dessas foram, de fato, as corretas. Nessa situa��o, as decis�es tomadas n�o s�o as melhores decis�es (posto que s�o precisamente as mesmas), mas est�o melhor fundamentadas, baseadas em evid�ncias mais s�lidas.

A partir da defini��o anterior, pode-se observar que a avalia��o formativa se preocupa com a cria��o de “momentos de conting�ncia” na aprendizagem dos professores e no aproveitamento dos mesmos, com o prop�sito de regulagem desses processos de aprendizagem docente. Isso pode parecer uma abordagem muito estreita, no entanto ajuda a diferenciar uma teoria da avalia��o formativa de uma teoria geral do ensino e da aprendizagem. N�o obstante, embora esse enfoque seja acanhado, seu impacto � amplo, uma vez que a forma na qual os professores, alunos e seus pares criam e aproveitam esses momentos de conting�ncia envolve considera��es sobre o design, o curr�culo, a pedagogia, a psicologia e epistemologia do ensino. Na se��o 9 � analisada mais detalhadamente a ideia central da avalia��o formativa.

Avalia��o para a aprendizagem � qualquer avalia��o projetada e aplicada com a finalidade de promover a aprendizagem dos estudantes. Difere da avalia��o idealizada principalmente com o escopo de responsabiliza��o, ranking ou para certificar compet�ncias. Uma avalia��o pode ser usada para aprender se fornece informa��es das quais os professores e os estudantes possam usar como feedback que valorize a si mesmo e para modificar as atividades de ensino e aprendizagem em que est�o comprometidas. A referida avalia��o se transfigura em avalia��o formativa quando a evid�ncia � realmente usada para adaptar o ensino para satisfazer as necessidades de aprendizagem (Black Et Al., 2004).

Quadro 2

Aspectos da Avalia��o Formativa[3]

9. Estrat�gias de avalia��o formativa do desempenho docente

Sendo que a avalia��o formativa do desempenho docente lida essencialmente com a regula��o do processo de aprendizagem dos professores, uma forma de pensar sobre isso � que ela lida com tr�s processos principais:

a) A meta para a aprendizagem docente.

b) Seu n�vel de desempenho atual.

c) Os passos necess�rios para alcan�ar a meta.

Se considerarmos esses tr�s processos juntos aos pap�is dos diferentes indiv�duos participantes nesse processo – o professor, os seus pares e aqueles que s�o respons�veis por sua aprendizagem, denominados “dirigentes” para fins pr�ticos desse artigo -, o cruzamento dessas duas dimens�es leva a uma matriz de 3 x 3 c�lulas. O conte�do de cada uma das nove c�lulas pode ser discutido individualmente, por�m o modelo � simplificado consideravelmente se agruparmos algumas das c�lulas, conforme mostrado no quadro 2 que foi modificado por Wiliam e Thompson (2008). Cada uma das cinco estrat�gias � analisada a seguir.

Talvez o aspecto mais problem�tico da avalia��o formativa do desempenho docente relacione os pontos estabelecidos na se��o 5. Como temos ideia das caracter�sticas da pr�tica docente efetiva, � dif�cil certificar-se de que a avalia��o formativa dos professores seja direcionada corretamente. Em termos simples, se sabemos como � o bom ensino, como podemos melhorar os professores? O mais importante � que, como nossos esquemas de observa��o somente capturam uma pequena propor��o da varia��o na qualidade dos professores, h� um perigo real de se estabelecer metas para o desenvolvimento docente que tornem os docentes menos eficientes.

Em anos recentes, foi dada aten��o consider�vel ao uso de rubricas para comunicar padr�es aos aprendentes, tanto para os estudantes como para o desempenho docente. Todos os principais modelos de avalia��o docente, como o Framework for Teachingde Denielson e o modelo de avalia��o docente desenvolvido por Marzano e Toth (2013) apresentam n�veis de desempenho dos professores em forma de rubricas que identificam distintos nivelamentos na �rea em quest�o. Sem sombra de d�vida pode ser �til apresentar os n�veis de desempenho em forma de rubricas, mas � importante apontar que podem n�o ser efetivos na hora de comunicar os n�veis de desempenho �queles que ainda n�o s�o capazes de prov�-los. As rubricas com frequ�ncia s�o tratadas como se fossem instru��es sobre como melhorar o desempenho, entretanto tendem a ser descri��es post hoc de qualidade. Mais importante � que, enquanto os especialistas geralmente s�o capazes de identificar o que est�o fazendo com as descri��es contidas nas rubricas, o conte�do destas n�o � utilizado por esses especialistas em seu desempenho. Conforme escreveu Michael Polanyi:

As m�ximas s�o regras cuja aplica��o correta � parte da arte que governam. As verdadeiras m�ximas do golfe ou da poesia amplificam nossa compreens�o acerca do golfe ou da poesia e podem at� fornecer orienta��o valiosa aos golfistas e aos poetas; no entanto essas m�ximas se condenariam ao absurdo caso tentassem substituir a habilidade do golfista ou a arte do poeta. As m�ximas n�o podem ser compreendidas, muito menos postas em pr�tica por quem ainda n�o tem um bom conhecimento pr�tico da arte em quest�o. Seu interesse � derivado de nossa aprecia��o da arte e n�o pode substituir ou estabelecer tal avalia��o por conta pr�pria (POLANYI, 1958, p. 31-32; grifos do autor).

Portanto, as rubricas podem proporcionar um ponto de partida valioso para as conversas entre os professores e seus dirigentes, por�m � pouco prov�vel que o apego servil ao texto propriamente dito melhore o ensino. Pela relev�ncia do contexto, h� a possibilidade de que exemplos da pr�tica real, de prefer�ncia junto com coment�rios que enfatizem caracter�sticas significativas, sejam muito mais eficazes no momento de comunicar aos professores sobre os aspectos atinentes ao desempenho de alta qualidade.

Configura��o de situa��es, atividades e tarefas efetivas que obtenham evid�ncias de desenvolvimento

A investiga��o sobre a capacidade de generalizar as classifica��es do desempenho dos professores tratadas na se��o 5 sugere que � pouco prov�vel que qualquer observa��o individual do desempenho docente produza evid�ncia s�lida das capacidades de um mestre. Isso �, obviamente, um problema significativo para a fun��o de presta��o de contas da avalia��o, j� que o desempenho observado em algum momento individual n�o � um indicador confi�vel do desempenho docente em outro momento. Apesar disso, para a fun��o de melhora da avalia��o a variabilidade do desempenho docente pode ser �til, uma vez que as observa��es sobre o ensino podem ser programadas para ocasi�es espec�ficas no momento em que a observa��o sobre a pr�tica do ensino possa ser mais ben�fica ao desenvolvimento docente. Geralmente, desta maneira, isso sugere que o professor que � observado deveria ser tamb�m o que escolhe a classe a ser observada. Um ponto importante que deve ser levado em conta � que todas as observa��es dependem da teoria. Inclusive em f�sica, conforme observou Werner Heisenberg, “o que aprendemos n�o � pr�ximo da natureza em si, mas da natureza exposta a nossos m�todos de indaga��o” (Johnson, 1996, p. 147). Para o observador da pr�tica do ensino pode ser �til ter a oportunidade de conhecer o professor antes da aula para compreender o que procura realizar, e ter um per�odo significativo de tempo ap�s a aula para tentar entender a pr�pria compreens�o do professor sobre o que aconteceu na aula. Como destaca David Ausubel h� vinte anos: “Se tivesse de reduzir toda a psicologia educativa a um princ�pio, diria o seguinte: O fator individual mais importante que influi na aprendizagem � o que o aluno j� sabe. Considere e ensine-o de acordo” (AUSUBEL, 1968, p. 6). Parece que isso pode ser t�o correto para a aprendizagem dos professores como � para a aprendizagem dos alunos.

A ideia de que o professor observado deveria escolher a classe a ser observada foi um recurso particularmente significativo do sistema de treinamento My Teaching Partner (Meu Parceiro de Ensino) (ALLEN ET AL., 2011), o qual centrou sua aten��o em tr�s aspectos do ensino: o apoio emocional aos estudantes (rela��es positivas, sensibilidade do professor e considera��o das perspectivas adolescentes), a organiza��o da sala de aula (gest�o da conduta, maximiza��o do tempo de aprendizagem e formatos de ensino efetivos) e apoio no ensino (compreens�o de conte�dos, an�lise e resolu��o de problemas e qualidade do feedback). A cada duas semanas, os professores participantes gravavam uma aula e enviavam a grava��o para um servidor seguro, onde o treinador podia revisar o v�deo e selecionar um pequeno n�mero de segmentos curtos (de um ou dois minutos de dura��o) para uma discuss�o telef�nica detalhada. Ap�s dois anos, os estudantes que receberam ensino dos professores que participaram do sistema My Coaching Partner aprenderam 50% mais do que aqueles ensinados por professores n�o participantes do programa.

Proporcionar feedback que fa�a avan�ar os professores

Como ficou claro na extensa discuss�o sobre o feedback na se��o 7, a qualidade da rela��o entre quem d� o feedback e quem o recebe � crucial para determinar se tem um efeito positivo. Os gestores precisam conhecer seus professores para que possam saber o momento de ser cr�ticos e quando proporcionar-lhes apoio. � igualmente importante que os professores confiem em seus gestores, porque a menos que o docente acredite que o gestor leva em considera��o seus interesses e credibilidade como instrutor, � pouco prov�vel que o docente invista algum esfor�o para aperfei�oar a sua pr�tica. Isto quer dizer que n�o pode existir uma receita simples para o feedback efetivo para os professores sobre seu desempenho docente, devendo existir um par de princ�pios derivados de outras pesquisas que podem ser �teis neste caso. A primeira dita que o feedback deve causar o processo de pensamento. O feedback que provoca uma rea��o emocional, como geralmente acontece quando o feedback compara o desempenho de um professor em particular com o de outros docentes, � improv�vel que seja �til. Ao que parece, tem maior utilidade fazer a compara��o do desempenho de um professor com seu pr�prio desempenho pr�vio (em outras palavras, para o docente, esse foi um dos seus “melhores n�veis”?), o que provavelmente pode auxiliar a que o professor adote uma “mentalidade de crescimento” (Dweck, 2006). O segundo princ�pio � que o feedback deve ser traduzido como mais trabalho para quem o recebe do que para quem d�. A atividade de feedback por si s� pode ser relativamente insignificante na hora de aprimorar o desempenho dos docentes; o que importa � a consequ�ncia da a��o que toma o professor.

Ativar professores como recursos de aprendizagem para si e seus pares

Porque, como j� foi mencionado anteriormente, a quest�o da confian�a entre quem d� e quem recebe o feedback � crucial para seu poss�vel �xito (veja tamb�m Santiago & Benavides, 2009), pode ser �til envolver colegas, em vez daqueles com uma fun��o de lideran�a formal dentro da escola ou distrito, no momento de proporcionar feedback aos professores. Isso � particularmente importante quando os gestores t�m um papel formal na fun��o de presta��o de contas, uma vez que pode ser-lhes dif�cil separar os dois pap�is e, por exemplo, ignorar evid�ncias que possam ser relevantes � fun��o de responsabiliza��o caso tenham que se concentrar na fun��o de melhoria. Mesmo que os l�deres sejam capazes de fazer isso, em �ltima an�lise o comportamento do professor n�o depender� de o gestor ser capaz de separar esses pap�is claramente, mas se o docente acredita que est� pronto para faz�-lo. Se o professor acredita que a evid�ncia de fraqueza na pr�xis revelada em uma observa��o que aparentemente visa a melhor�-la pode afetar o julgamento emitido sobre a efic�cia docente, ent�o � mais prov�vel que isso “seja seguro”, assim sendo, o potencial de observa��o � reduzido para melhorar a pr�xis. Quando os colegas se comprometem a observar a sala de aula, pode ser particularmente �til ter um protocolo claro de observa��o de classe que explicite que:

a) O professor observado especifica o centro de aten��o da observa��o.

b) O professor observado especifica a evid�ncia a ser colhida.

c) O professor observado � dono de qualquer anota��o que o observador venha a fazer durante a aula.

Ao salientar que o professor observado “� o dono” do processo, tal observa��o se distingue claramente das observa��es com fins de responsabiliza��o e, desta feita, torna mais f�cil desenvolver uma rela��o de confian�a.

Ativar professores como propriet�rios de sua pr�pria aprendizagem

Em �ltima inst�ncia, a quantidade de tempo para que os dirigentes e os colegas observem a pr�tica ser� limitada, ent�o, se as melhorias v�o acontecer, a maioria deve ser gerada por meio dos pr�prios esfor�os do professor para melhorar. Alguns argumentaram que isso se alcan�a de uma maneira melhor mediante sistemas de incentivos, em particular os incentivos financeiros para os professores, no entanto a evid�ncia, tanto na profiss�o docente, como em um sentido mais amplo, sugere que a remunera��o vinculada ao desempenho n�o � bem sucedida quando se trata de melhorar o mesmo (Pfeffer, 1998; Springer Et Al., 2010). Um caminho mais apropriado para o aprimoramento dos professores adv�m do compromisso com o imperativo moral identificado na se��o 1 e de estarem conscientes de que, conforme foi mostrado na se��o 2, os docentes podem fazer a diferen�a. Enquanto as estimativas acerca das magnitudes relativas das diferentes influ�ncias na aprendizagem dos alunos est�o repletas de dificuldades, e podem variar consideravelmente de cultura em cultura e de um pa�s a outro, agora existe evid�ncia substancial de que o impacto dos efeitos do professor pelo menos rivaliza com o impacto do contexto familiar e das condi��es socioecon�micas, podendo at� mesmo super�-los (Rowe, 2003). Quando os professores executam melhor o seu trabalho, seus estudantes o experienciam mais, s�o mais saud�veis e contribuem mais com a sociedade. Atualmente, em v�rios sistemas, o apoio profissional parece algo de que somente os praticantes mais deficientes necessitam, assim sendo, a oferta desse suporte profissional pode ser percebida como indicador de baixo desempenho. Em contrapartida, quando todos os professores aceitam a ideia de que podem melhorar, n�o porque n�o sejam bons o suficiente, mas sim porque podem melhorar, isto cria uma rede que apoia todos os docentes a aceitar a necessidade de melhoria cont�nua. De acordo com as revis�es empreendidas na se��o 6, a maioria dos professores melhoram lentamente, e v�rios deixam de faz�-lo depois de dois ou tr�s anos de trabalho, assim a pesquisa acerca da experi�ncia indica que os aprimoramentos consider�veis s�o poss�veis se todos os docentes, em lugar dos deficientes, est�o comprometidos com um aperfei�oamento profissional cont�nuo.

10. A validez da avalia��o formativa do desempenho docente

Uma vez que os sistemas adotam a avalia��o formativa de desempenho dos professores, surge uma preocupa��o imediata em torno da qualidade dessa avalia��o. Tradicionalmente, na avalia��o, as preocupa��es sobre a qualidade foram abordadas a partir do conceito de validade. Originalmente conceitualizada como uma das propriedades de um teste (ou seja, um teste � v�lido at� certo ponto, ou n�o), foi aceito que a validez s� faz sentido como propriedade de infer�ncias com base nos resultados das avalia��es. Por exemplo, um teste de matem�tica com alta demanda de leitura poderia apoiar conclus�es sobre as habilidades matem�ticas dos bons leitores, por�m quanto aos leitores med�ocres n�o poder�amos saber se seu baixo desempenho foi devido a uma capacidade matem�tica deficiente ou a uma leitura med�ocre. O teste apoiaria algumas infer�ncias (como em rela��o � capacidade matem�tica de bons leitores), mas outras n�o (em rela��o � dos leitores med�ocres, por exemplo). Conforme sublinha Lee Cronbach: “Uma n�o valida um teste, mas uma interpreta��o de dados que surgem de um procedimento espec�fico” (Cronbach, 1971, p. 447; grifos do autor).

Para a fun��o de presta��o de contas da avalia��o, as infer�ncias que desejamos destacar em geral se referem � qualidade observada do ensino, e um aspecto particularmente importante � que est�o livres de subjetividade – em outras palavras, queremos ter certeza de que, apesar da pouca capacidade de generaliza��o das qualifica��es dos professores observada previamente, a qualifica��o que � atribu�da a um professor n�o depende da pessoa que a designou -. Dada a complexidade da pr�xis, � improv�vel que tal qualifica��o possa de fato se basear em um crit�rio (isto �, exigindo somente a aplica��o de crit�rios espec�ficos), n�o obstante tais julgamentos podem se livrar da subjetividade mediante a capacidade dos observadores. Podemos dizer que a avalia��o � baseada em um princ�pio quando os diferentes avaliadores concordam com a qualidade do que observam (Wiliam, 1994), nos apoiando no princ�pio compartilhado de qualidade nas mentes daqueles que julgam. Em outras palavras, os significados dos resultados da avalia��o devem ser compartilhados pelos diversos avaliadores. E por outro lado, a consist�ncia dos significados entre os int�rpretes � muito menos importante quando o objetivo principal � a melhoria. Se os diferentes avaliadores interpretam um desempenho docente particular de maneira diversa, e sugerem distintas atividades de desenvolvimento profissional que poderiam ser igualmente bem sucedidas quando se trata de fazer progressos na aprendizagem docente, ent�o, de acordo com a defini��o da avalia��o formativa adotada na se��o 8, seriam da mesma maneira v�lidas em termos de impacto na aprendizagem do professor. Ou seja, adotando a distin��o utilizada por Samuel Messick (1988), se as fun��es cumulativas da avalia��o s�o validadas por seus significados, ent�o as fun��es formativas da avalia��o s�o validadas por suas consequ�ncias (Wiliam & Black, 1996).

Antes de deixar o assunto da validez da avalia��o formativa, vale a pena destacar mais um coment�rio a respeito. Como foi observado, para que a avalia��o funcione formativamente, os professores precisam ser membros da mesma comunidade de pr�tica da qual seus dirigentes j� s�o membros – necessitam compartilhar os conceitos impl�citos de qualidade que os qualificadores compartilham quando concordam sobre a qualidade -. Conforme enunciado por Royce Sadler (1989), no contexto de estudantes e mestres:

As condi��es indispens�veis � melhora s�o que o estudante se apegue a um conceito de qualidade similar ao que tenha o professor, que seja capaz de monitorar de maneira cont�nua a qualidade do que � produzido durante o ato de produ��o em si, e que tenha um repert�rio de movimentos ou estrat�gias alternativos para onde ir a qualquer momento. Em outras palavras, os estudantes devem ser capazes de julgar a qualidade do que est�o produzindo e de regular o que fazem enquanto est�o fazendo (p. 121).

Embora possa ser um exagero afirmar que essas condi��es sejam indispens�veis, parece poss�vel que sejam indicadores muito potentes de uma aprendizagem efetiva dos professores.

11. Avali��o formativa do desempenho docente

O compromisso com a avalia��o formativa de desempenho dos professores n�o proporciona nenhum ind�cio de como deveria realizar-se. Existem diferentes modelos que poderiam ser adotados, e cada um ter� pontos fortes e fracos em rela��o �s institui��es nas quais ser�o usados. Por�m, como resultado de um amplo trabalho realizado durante um per�odo de mais de 15 anos com professores desenvolvendo a pr�xis na aula, parecem ser particularmente relevantes cinco princ�pios da aprendizagem docente (Wiliam, 2012). S�o eles: escolha, flexibilidade, pequenos passos, responsabilidade e suporte. A seguir, cada um deles � analisado.

Escolha

Quando os resultados das observa��es de sua pr�xis s�o relatados aos professores, � comum o aparecimento de informa��es tais como “pontos fortes” e “�reas por desenvolver”. O uso da express�o “�reas por desenvolver” supostamente deve fazer com que a cr�tica seja algo mais aceit�vel, contudo o efeito consiste em criar uma implica��o infeliz de que as fraquezas s�o, necessariamente, �reas a serem desenvolvidas. � claro que, para alguns docentes, as fraquezas podem ser na realidade �reas por desenvolver, no entanto para outros podem ser somente pontos fracos. O ponto importante para a avalia��o formativa do desempenho dos professores n�o � o perfil dos pontos fortes e fracos, mas quais �reas do desempenho docente, se desenvolvidas, teriam maiores repercuss�es na aprendizagem dos estudantes. No mundo dos neg�cios, ao longo de aproximadamente 30 anos, aumentou a conscientiza��o de que as organiza��es podem se beneficiar mais se tiverem indiv�duos que realmente se destacam em coisas nas quais j� s�o bons, ao inv�s de se preocupar demais com as fraquezas (Belbin, 1981; Buckingham, 2007). Da mesma forma, o objetivo do desenvolvimento profissional para os professores n�o deveria ser tornar cada docente um clone de outros docentes, mas sim ajudar cada um a ser o melhor professor que possa ser. Para alguns deles, isso pode demandar centrar sua aten��o em seus pontos fracos, contudo, para a maioria, manter o foco nos pontos fortes ser� mais exitoso.

Flexibilidade

Al�m de ter voz no que v�o desenvolver, tamb�m � salutar que os professores tenham flexibilidade na hora de “transformar” ideias que encontram para faz�-las funcionar em suas pr�prias aulas. O problema reside no fato de que quando os professores adaptam ideias derivadas dos resultados de uma pesquisa para faz�-las funcionar em suas pr�prias aulas, com frequ�ncia as distorcem tanto que j� n�o s�o mais eficazes em aprimorar o desempenho dos estudantes. Se pretendemos dar liberdade aos professores para adaptar as ideias que encontram para faz�-las funcionar em suas pr�prias aulas, tamb�m temos que proporcionar-lhes esquemas fortes que assegurem que as mudan�as feitas n�o se tornem ineficientes. Por exemplo, est� consolidado (veja-se, por exemplo, Slavin, 1995) que a aprendizagem colaborativa � uma forma bem sucedida de aumentar os �xitos dos estudantes, sempre e quando a maneira como se projeta o ensino requer metas de grupo (a fim de que os alunos como grupo ao inv�s de somente em um grupo) e responsabiliza��o individual (para que o fracasso de um indiv�duo tenha impacto sobre o grupo todo). Uma pesquisa de professores prim�rios descobriu que 93% dos docentes disseram que usaram a aprendizagem colaborativa. Contudo, as entrevistas feitas posteriormente com 21 deles revelaram que s� cinco implantavam-na de tal forma que os objetivos do grupo e a responsabilidade individual foram criados (Antil, Jenkins, Wayne & Vadasy, 1998).

Pequenos passos

Diante o imperativo moral de melhorar o ensino descrito nas se��es 1 e 6, n�o surpreende que aqueles que elaboram as pol�ticas – os pol�ticos e os administradores – queiram que os professores desenvolvam sua pr�tica na aula o mais r�pido poss�vel. N�o obstante, a pesquisa sobre o impacto do desenvolvimento profissional sugere que os benef�cios foram decepcionantes – o que Michael Fullan disse h� mais de 20 anos parece ter a mesma vig�ncia de ent�o: “Nada prometeu tanto nem tem sido t�o frustrantemente ineficiente quanto os milhares de workshops e confer�ncias que n�o levaram a nenhuma mudan�a significativa na pr�tica quando os professores voltaram �s suas salas de aula” (Fullan & Stiegelbauer, 1991, p. 315).

H� quem atribua a lentid�o da mudan�a nos professores � sua resist�ncia – que os docentes se agarram a um conjunto de h�bitos profissionais que representam uma parte nuclear da identidade profissional de cada professor, raz�o pela qual n�o est�o dispostos a mudar. Tais cren�as proporcionam a justificativa para os esquemas de incentivo – a ideia � que os professores adotar�o novas ideias se forem pagos para faz�-lo. Entretanto, conforme visto na se��o 6, n�o h� ind�cios de que os incentivos financeiros tenham sido efetivos no momento de melhorar o desempenho docente. Uma explica��o plaus�vel acerca da lentid�o na mudan�a dos professores adv�m da pesquisa sobre a experi�ncia tratada na se��o 6. A experi�ncia � o resultado da pr�xis deliberada ampla e seu desenvolvimento n�o pode ser facilitado dizendo-lhes “o que fazer”. O desenvolvimento profissional implica na aquisi��o de novos aspectos da experi�ncia, o que leva tempo.

Responsabilidade

Conforme exposto na se��o 2, os resultados educativos dependem de certo n�mero de fatores, v�rios dos quais est�o al�m do controle das escolas e dos professores. Tornar escolas e professores respons�veis por coisas sobre as quais eles n�o podem influenciar parece contr�rio aos princ�pios da justi�a natural. Contudo, o que cada docente controla � se eles melhoram ou n�o. Assim sendo, a fun��o de melhoria na avalia��o � mais importante do que a de responsabiliza��o. Podemos investir muito tempo e energia tentando medir a qualidade dos professores, mas mesmo se pud�ssemos faz�-lo bem e se fosse poss�vel destituir os menos eficientes, os benef�cios ainda assim seriam modestos. Um enfoque de responsabiliza��o para melhoria ter� um impacto muito mais significativo (posto que todos os professores est�o melhorando), e no meu trabalho com os docentes durante os �ltimos 15 anos, achei �til envolv�-los em uma abordagem de planejamento bem estruturada que enfatize quatro processos; embora, � claro, existam in�meros protocolos que poderiam ser adotados para o planejamento de a��es, mas nossa experi�ncia no trabalho com os professores no desenvolvimento de sua pr�tica na avalia��o formativa indica que as seguintes caracter�sticas s�o particularmente importantes:

1. O planejamento deve identificar um pequeno n�mero de mudan�as que o professor realizar� em sua doc�ncia. Quando os professores tratam de transformar mais do que duas ou tr�s coisas em sua pr�tica simultaneamente, o resultado costuma ser que suas rotinas de classe se deterioram de maneira significativa, e ent�o tendem a recorrer �quelas com as quais se sentem c�modos e “seguros”.

2. O plano deve ser escrito. Escrever um plano faz com que seja mais prov�vel que o professor pense nele enquanto o escreve, tornando as ideias mais concretas e igualmente crie um registro que signifique que os professores t�m menos probabilidade de esquecer o que planejaram fazer.

3. O plano deve se concentrar nas �reas da pr�tica que possam beneficiar os estudantes. Nem todas as mudan�as feitas pelos professores em sua pr�tica beneficiar�o os estudantes. Dado o imperativo moral de melhorar a educa��o, os docentes devem se concentrar nos aspectos que tenham mais possibilidades de aprimorar os resultados dos alunos. Devido a que as evid�ncias das pesquisas raramente proporcionem sinais de que possam ser aplicadas em todos os contextos, os professores precisam utilizar de seu julgamento profissional na hora de decidir onde concentrar seus esfor�os, no entanto devem ser capazes de proporcionar alguma evid�ncia de que a parte que escolhem para trabalhar se trata, ao menos, de um caso prima facie, ou seja, que � primeira vista surte efeitos nos resultados de seus estudantes.

4. O plano deve identificar o que professor planeja reduzir, ou deixar de lado, para dar tempo �s mudan�as. A maioria dos professores trabalham t�o duro quanto podem, por isso, se essas mudan�as s�o interpretadas como fardos extras � carga j� existente, � pouco prov�vel que alguma vez sejam postas em pr�tica. Para dar tempo a essas mudan�as, o plano de a��o deve identificar algo que os docentes est�o fazendo, que cessem ou reduzam parte disso a fim de ter tempo dispon�vel �s transforma��es. Quando as pessoas s�o solicitadas a estabelecer essas prioridades claras, geralmente esperam que as mudan�as necess�rias possam ser feitas por serem mais eficientes no uso do tempo, entretanto comumente trata-se de um otimismo sem esperan�a. A �nica maneira de ter tempo dispon�vel para coisas novas � reduzir, ou deixar de fazer completamente as coisas que est�o sendo feitas, com a finalidade de abrir espa�o � inova��o.

Suporte

O �ltimo elemento do processo – suporte – est� intimamente relacionado � responsabilidade. Certamente, alguns autores t�m descrito essa atividade como uma caracter�stica individual aos ambientes de aprendizagem efetivos para os professores: apoiar a responsabilidade (Ciofalo & Leahy, 2006). A ideia central se baseia na cria��o de estruturas que, ao mesmo tempo em que responsabilizam os professores pelo desenvolvimento de sua pr�tica, tamb�m fornecem o suporte para alcan��-la. Portanto, pode ser concebido como apoio e responsabilidade, dois lados da mesma moeda. Conforme foi observado anteriormente, o papel do professor � comprometer-se a melhorar a sua pr�tica, e concentrar-se nas mudan�as que possam beneficiar seus estudantes. Os dirigentes podem criar ambientes de aprendizagem efetivos para seus professores ao engendrar expectativas de uma pr�tica que melhore continuamente, mantendo no centro das aten��es coisas que fa�am a diferen�a para os alunos, proporcionando-lhes tempo, espa�o, isen��o e apoio � inova��o e, finalmente, apoiando os professores na hora de correr riscos

Conclus�o

Esse artigo revisou uma pesquisa acerca de v�rias estrat�gias para a melhoria dos resultados educativos dos estudantes, e concluiu que o investimento em servir os professores deve ser a estrat�gia central de qualquer tentativa s�ria de aprimorar a educa��o. Para obter o efeito m�ximo, o investimento em professores deve ser constru�do sobre as evid�ncias em torno de que tipo de mudan�as na pr�tica docente tem o maior impacto no desempenho dos estudantes, mas igualmente tenha em mente como aprendem e se desenvolvem os docentes. A evid�ncia aqui apresentada indica que as melhorias significativas nos resultados educativos para os jovens, com os benef�cios concomitantes para os indiv�duos e � sociedade s�o poss�veis se nos concentrarmos no poder da avalia��o para melhorar, ao inv�s de medir o desempenho dos professores.

Refer�ncias

Allen, J. P., Pianta, R. C., Gregory, A., Mikami, A. Y., & Lun, J. (2011), An lnteraction-based Approach to Enhancing Secondary School Instruction and Student Achievement, Science, 333 (6045): 1034-1037.

Amabile, T. M., & Kramer, S. J. (2011), The Progress Principle: Using Small Wins to Ignite joy, Engagement and Creativity at Work, Cambridge, MA, Harvard Business Review Press.

Antil, L. R., Jenkins, J. R., Wayne, S. K., & Vadasy, P. F. (1998). Cooperative Learning: Prevalence, Conceptualization and the Relation between Research and Practice, American Educational Research journal, 35 (3): 419-454. 196

Ausubel, D. P. (1968), Educational Psychology: A Cognitive View, Nueva York.

Bangert-Drowns, R. L., Kulik, C.-L. C., Kulik, J. A., & Margan, M. (1991), The Instructional Effect of Feedback in Test-Like Events, Review of Educational Research, 61 (2): 213-238.

Barber, M., & Mourshed, M. (2007), How the Worlds Best-Performing School Systems Come Out on Top, Londres, McKinsey & Co.

Belbin, R. M. (1981), Management Teams: Why They Succeed or Fail, Oxford, Heinemann.

Berliner, D. C. (1994), Expertise: The Wonder of Exemplary Performances, in J. N. Mangieri y C. C. Block (comps.), Creating Powerful Thinking in Teachers and Students: Diverse Perspectives, Fort Worth, TX, Harcourt Brace College, pp. 161-186.

Black, P. J., & Wiliam, D. (2009), Developing the Theory of Formative Assessment, Educational Assessment, Evaluation and Accountability, 21 (1): 5-31.

Bloom, B. S. (1969), Some Theoretical Issues Relating to Educational Evaluation, en R. W. Tyler (ed.), Educational Evaluation: New Roles, New Means: The 68th Yearbook of the National Society for the Study of Education (Part Il), 68 (2): 26-50, Chicago, IL, University of Chicago Press.

Bloom, H. S., Hill, C. J., Black, A. R., & Lipsey, M. W. (2008), Performance Trajectories and Performance Gaps as Achievement Effect-Size Benchmarks for Educational Interventions, Journal of Research on Educational Effectiveness, 1 (4): 289-328.

Bryk, A. S., Sebring, P. B., Allensworth, E., & Luppescu, S. (2010), Organizing Schools for Improvement: Lessons from Chicago, Chicago, IL, University of Chicago Press.

Buckingham, M. (2007), Now Go Put Your Strengths to Work, Nueva York, Simon & Schuster.

Ciofalo, J., & Leahy, S. (2006), Personal Action Plans: Helping to Adapt and Modify Techniques, documento apresentado no Annual Meeting of the American Educational Research Association, San Francisco, CA.

Cohen, J. (1988), Statistical Power Analysis for the Behavioral Sciences, Hillsdale, NJ, Lawrence Erlbaum Associates.

Cronbach, L. J. (1971), Test Validation, in R. L. Thomdike (ed.), Educational Measurement, 2a ed., Washington, D. C., American Council on Education, pp. 443-507.

Danielson, C. (1996), Enhancing Professional Practice: A Framework for Teaching, Alexandria, ASCo.

Dobbie, W. (2012), Teacher Characteristics and Student Achievement: Evidence from Teach for America, Cambridge, MA, Harvard University Faculty of Arts and Sciences.

Dweck, C. S. (2006), Mindset: The New Psychology of Success, Nueva York, Random House.

Ericsson, K. A. (2002), Attaining Excellence through Deliberate Practice: Insights from the Study of Expert Performance, in M. Ferrari (ed.), The Pursuit of Excellence through Education, Mahwah, NJ, Lawrence Erlbaum Associates, pp. 21-55.

Ericsson, K. A., Charness, N., Feltovich, P. J., & Hoffman, R. R. (2006), The Cambridge Handbook of Expertise and Expert Performance, Cambridge, Cambridge University Press.

Feinstein, L., Budge, D. , Vorhaus, J., & Duckworth, K. (2008), The Social and Personal Benefits of Learning: A Summary of Key Research Findings, Londres, Institute of Education, University of London.

Fitzpatrick, M. D., Grissmer, D., & Hastedt, S. (2011), What a Difference a Day Makes: Estimating Daily Learning Gains During Kindergarten And First Grade Using A Natural Experiment, Economics of Education Review, 30 (2): 269-279.

Fullan, M., & Stiegelbauer, S. (1991), The New Meaning of Educational Change, Londres, Cassell.

Gladwell, M. (2008), Most Likely to Succeed, New Yorker, 15 de dezembro, pp. 3642.

Goldhaber, D. D., Goldschmidt, P., & Tseng, F. (2013), Teacher Value-added at the High School Level: Different Models, Different Answers? Educational Evaluation and Polietj Analysis, 35 (2): 220-236.

Goos, M., & Manning, A. (2007), Lousy and Lovely Jobs: The Rising Polarization of Work in Britain, Review of Economics and Statistics, 89 (1): 118-133.

Grabner, R. H., Stern, E., & Neubauer, A. C. (2007), Individual Differences in Chess Expertise: A Psychometric Investigation, Acta Psychologica, 124 (3): 398-420.

Hamre, B. K., & Pianta, R. C. (2005), Academic and Social Advantages for At-Risk Stu dents Placed in High Quality First Grade Classrooms, Child Development, 76 (5): 949-967.

Hanushek, E. A. (1971), Teacher Characteristics and Gains in Student Achievement: Estimation Using Micro Data, American Economic Review, 61 (2): 280-288.

Hanushek, E. A. (2004), Some Simple Analytics of School Quality, NBER Working Paper W10229, Washington, D. C., National Bureau of Economic Research.

Hanushek, E. A. (2010), Teacher Deselection, en D. Goldhaber y J. Hannaway (comps.), Creating a New Teaching Profession, Washington, D. C., Urban Institute Press, pp. 165-180.

Hanushek, E. A. (2011), The Economic Value of Higher Teacher Quality, Economics of Education Review, 30 (3): 466-479.

Hanushek, E. A., & Steven G. R. (2006), Teacher Quality, en Handbook of the Economics of Education, Elsevier.

Hanushek, E. A., & Woessmann, L. (2010), The High Cost of Low Educational Perfor mance: The Long-Run lmpact of lmproving PISA Outcomes, Par�s, OCDE.

Harris, D. N., & Sass, T. R. (2007), Teacher Training, Teacher Quality and Student Achievement, vol. 3, Washington, D. C., National Center for Analysis of Longitudinal Data in Education Research.

Holt, R., & Winston. Atteberry, A., et al. (2013), Do First Impression Matter? lmprovement in Early Career Teacher Effectiveness, Panel III: New Research on Training, Growing and Evaluating Teachers, Center for Analysis of Longitudinal Data in Education Research (CALDER), Conference, Washington, D. C.

Ireland (2012). International Review Panel on the Structure of Initial Teacher Education Provision in Ireland. Dubl�n, Department of Education and Skills.

Johnson, G. (1996), Fire in the Mind: Science, Faith and the Search for Order, Londres, Viking.

Kane, T. J., & Staiger, D. O. (2012), Gathering Feedback for Teaching: Combining High-Quality Observations with Student Surveys and Achievement Gains, Redmond, WA, Bill and Melinda Gates Foundation.

Kluger, A. N., & DeNisi, A. (1996), The Effects of Feedback Interventions on Performance: A Historical Review, A Meta-Analysis, and a Preliminary Feedback Intervention Theory, Psychological Bulletin, 119 (2): 254-284.

Kulhavy, R. W. (1977), Feedback in Written lnstruction, Review of Educational Research, 47 (2): 211-232.

Marzano, R. J., & Toth, M. D. (2012), Teacher Evaluation that Makes a Difference: A New Model for Teacher Growth and Student Achievement, Alexandria, VA, ASCD.

McCaffrey, D., Sass, T. R., & Lockwood, J. R. (2008), The Intertemporal Stability of Teacher Effect Estimates, Nashville, TN, NCPI Working Paper No. 2008-22.

McGaw, B. (2008), 11The Role of the OECD in International Comparative Studies Of Achievement, Assessment in Education: Principles Policy and Practice, 15 (3): 223-243.

Messick, S. (1988), 11The Once and Future Issues of Validity: Assessing the Meaning and Consequences of Measurement, en H. Wainer y H. l. Braun (comps.), Test Validity, Hillsdale, NJ, Lawrence Erlbaum Associates, pp. 33-45. OCDE

Messick, S. (2013a), Education at a Glance, Paris, OCDE.

Messick, S. (2013b), What Teachers Know and How that Compares with College Graduates Around the World, Education Today. Disponivel em http://oecdeducationtoday.blogspot.com/2013/11/what-teachers-know-and-how-that.html

Pfeffer, J. (1998), Seven Practices of Successful Organizations, California Management Review, 40 (2): 96-124.

Rivkin, S. G., Hanushek, E. A., & Kain, J. F. (2005), Teachers, Schools and Academic Achievement, Econometrica, 73 (2): 417-458.

Rockoff, J. E., & Speroni, C. (2011), Subjective and Objective Evaluations of Teacher Effectiveness: Evidence from New York City, Labour Economics, 18 (5): 687-696.

Rowe, K. J. (2003), The Importance of Teacher Quality as a Key Determinant of Students Experiences and Outcomes of Schooling, documento apresentado na ACER Research Conference, Melbourne, Australia. Acesso em novembro de 2013 de https://www.det.nsw.edu.au/proflearn/docs/pdf/qt_rowe2003.pdf

Ruiz-Primo, M. A., & Li, M. (2013), Examining Formative Feedback in the ClassroomContext: New Research Perspectives, in J. H. McMillan (comp.), Sage Handbook of Research on Classroom Assessment, 2a ed., Thousand Oaks, CA, Sage, pp. 215-232.

Sadler, D. R. (1989), Forma ti ve Assessment and the Design of Instructional Systems, Instructional Sdence, 18: 119-144.

Santiago, P., & Benavides, F. (2009), Teacher Evaluation: A Conceptual Framework and Examples of Country Practices, Par�s, OCDE.

Sartain, L., Stoelinga, S. R., Brown, E. R., Luppescu, S., Matsko, K. K. M., Miller, F. K., Durwood, C. E., Jiang, J. Y., & Glazer, D. (2011), Rethinking Teacher Evaluation in Chicago: Lessons Learned from Classroom Observations, Principal-Teacher Conferences, and District Implementation, Chicago, IL, Consortium on Chicago School Research.

Scriven, M. (1967), The Methodology of Evaluation, en R. W. Tyler, R. M. Gagn� y M. Scriven (comps.), Perspectives of Curr�culum Evaluation, vol. 1, Chicago, IL, Rand McNally, pp. 39-83.

Skinner, B. F. (1968), The Technology of Teaching, Nueva York, Appleton-Century-Crofts.

Slater, H., Davies, N., & Burgess, S. (2008), Do Teachers Matter? Measuring the Variation in Teacher Effectiveness in England, vol. 09/212), Bristol, Inglaterra, University of Bristol, Institute of Public Affairs.

Slavin, R. E. (1995), Cooperative Learning: Theory, Research and Practice, 2a ed., Boston, MA, Allyn & Bacon.

Springer, M. G., Ballou, D., Hamilton, L., Le, V.-N., Lockwood, J. R., McCaffrey, D., Pepper, M. & Stecher, B. M. (2010), Teacher Pay for Performance: Experimental Evidence from the Project on Incentives in Teaching, Nashville, TE, National Center on Performance Incentives at Vanderbilt University.

Wiener, N. (1948), Cybernetics, or Control and Communication in the Animal and the Machine, Nueva York, John Wiley & Sons.

Wiener, N. (1950/1989), The Human Use of Human Beings: Cybernetics and Society, Londres, Free Association Books.

Wiliam, D. (1994), Assessing Authentic Tasks: Alternatives to Mark-Schemes, Nordic Studies in Mathematics Education, 2 (1): 48-68.

Wiliam, D. (2010), Standardized Testing and School Accountability, Educational Psychologist, 45 (2): 107-122.

Wiliam, D. (2011a), How Do We Prepare Students for a World We Cannot Imagine? documento presentado en el Salzburg Global Seminar, Salzburgo, Austria. Acesso em junho de 2012 de http://www.dylanwiliam.net

Wiliam, D. (2011b), What is Assessment for Leaming? Studies in Educational Evaluation, 37 (1): 2-14.

Wiliam, D. (2012), Sustaining Formative Assessment with Teacher Learning Communities, Seattle, WA, Kindle Direct Publishing.

Wiliam, D., & Black, P. J. (1996), Meanings and Consequences: A Basis for Distinguishing Formative and Summative Functions of Assessment? British Educational Research Journal, 22 (5): 537-548.

Wiliam, D., & Thompson, M. (2008), Integrating Assessment with Instruction: What Will It Take to Make It Work? in C. A. Dwyer (ed.), The Future of Assessment: Shaping Teaching and Learning, Mahwah, NJ, Lawrence Erlbaum Associates, pp. 53-82.

Wiliam, D., Lee, C., Harrison, C., & Black, P. J. (2004), Teachers Developing Assessment for Learning: impact on Student Achievement, Assessment in Education: Principles Policy and Practice, 11 (1): 49-65.

Winters, M. A., & Cowen, J. M. (2013), Who Would Stay, Who Would Be Dismissed? An Empirical Consideration of Value-Added Teacher Retention Policies, Educational Researcher, 42 (6): 330-337

Notas

[1] Traduzido por Ana Cristina Vieira Lopes Romeiro.

[2] Nota do tradutor: no Brasil os respectivos n�veis de ensino s�o identificados como Ensino Fundamental e Ensino M�dio.

[3] Baseado em Wiliam e Thompson, 2008.

Enlace alternativo

https://periodicos.unb.br/index.php/linhascriticas/article/view/24275 (pdf)

Qual é a característica principal da avaliação formativa?

Quais são os princípios de uma avaliação formativa?

Quais são as principais características de uma avaliação?

Quais são as avaliação formativa?