Qualidade do processo de supervisão da investigação doutoral - desenho de um referencial para a sua avaliação e monitorização

Face à existência de um vazio teórico-conceptual e empírico no contexto investigativo português no que concerne à supervisão da investigação doutoral, este trabalho visa contribuir para a compreensão integrada deste fenómeno. Especificamente, com este estudo pretendemos construir um referencial de qualidade do processo de supervisão da investigação doutoral, em particular na ‘corporização’ dos perfis de qualidade dos dois mais importantes intervenientes - supervisores e estudantes de doutoramento – pela identificação de competências transversais às mais variadas áreas disciplinares. Desta forma, será possível desenhar-se, num futuro próximo, não só recomendações a nível institucional de índole mais praxiológica, como também um processo de avaliação e de monitorização adequado. Tendo em consideração o contexto português e o objetivo central do estudo, foram revisitados (i) discursos da política educativa de Ensino Superior de âmbito europeu e (ii) discursos fundamentados na investigação de índole internacional. Ambos permitiram contextualizar o fenómeno, perceber as tendências existentes, sintetizar as contribuições de variados referenciais e modelos existentes, e planear, em específico, a investigação, particularmente em termos de recolha de dados. A investigação, predominantemente de cariz qualitativo, foi conduzida na Universidade de Aveiro, tendo sido seguido o método de estudo de caso: baseou-se nas ‘vozes’ de supervisores e estudantes de doutoramento desta instituição relativamente ao que deve estar presente no processo de supervisão de investigação doutoral. A recolha de dados iniciou-se com entrevistas semiestruturadas, de âmbito exploratório, a especialistas em supervisão pedagógica - o tema semântica e epistemologicamente mais próximo do fenómeno em estudo. Foi realizada, pois, uma primeira aproximação ao ‘terreno’ a nível nacional e foram depuradas as dimensões que deveriam estar presentes no instrumento de recolha de dados do momento subsequente. Em seguida, foram realizados focus groups com supervisores e estudantes de doutoramento da Universidade de Aveiro. As conceções partilhadas em grupo puderam ser categorizadas segundo (i) o enquadramento do processo supervisivo e investigativo de doutoramento, nomeadamente no que concerne à natureza e ao valor do doutoramento atribuídos pelos participantes, assim como ao processo de transformação que experienciam; (ii) a qualidade do processo supervisivo e investigativo de doutoramento, consoante aspectos intrínsecos, dos quais se ressalta o perfil desejável de qualidade do supervisor e do estudante, pela identificação de um conjunto de competências fulcrais, e aspectos extrínsecos aos indivíduos; e (iii) os problemas do processo supervisivo e investigativo de doutoramento, considerando, novamente, aspectos intrínsecos e extrínsecos aos indivíduos. O último momento de recolha de dados foi realizado através da aplicação de questionários a supervisores e estudantes da Universidade de Aveiro. Assim, foi possível debruçarmo-nos especificamente sobre os perfis de qualidade de estudantes e supervisores. As competências integradas nos questionários foram provenientes dos resultados dos focus groups, tendo sido consideradas as mais importantes. Nos questionários foi solicitado aos respondentes que revelassem o seu grau de concordância relativamente às competências que deveriam fazer parte dos perfis de qualidade. Foi, então, possível proceder a uma análise e reflexão sobre o estabelecimento de uma hierarquia de competências, numa tentativa de depurar os perfis de qualidade dos elementos da díade supervisiva. Assim, conclui-se que há variáveis que podem influenciar o estabelecimento dessa hierarquia, reforçando que o processo supervisivo, quando refletido, avaliado e monitorizado, deve considerar diversos ‘contextos’ que o poderão influenciar. Todavia, há um conjunto de competências que parecem ‘isentas’ de influências, apesar de serem necessários estudos mais aprofundados para esclarecer esta assunção. Face a todo o percurso investigativo, apresenta-se, no final, um referencial de qualidade integrado e sistematizado, considerando o enquadramento teórico e o estudo empírico, assim como um sistema articulado de competências referente aos perfis de qualidade que supervisores e estudantes de doutoramento devem demonstrar e desenvolver.

Da avaliação do impacte à articulação da investigação - práticas - o caso da articulação na formação didáctica pós-graduada de professores de ciências e desafios futuros

A linha de investigação deste estudo é a ‘articulação da Investigação em Didáctica das Ciências e Práticas de Ensino dos Professores de Ciências’. O seu enquadramento teórico e metodológico inicial assentou nos estudos das áreas ‘Relações entre Investigação e as Práticas’ e ‘Avaliação da Formação Pós-Graduada – vertente impacte/articulação’. Inicialmente, fez-se uma análise histórico-epistemológica da Didáctica desde a sua génese até aos dias de hoje, para se compreender quer as raízes do gap entre académicos e práticos em geral, quer a crescente necessidade de articulação. Posteriormente, avançou-se para a primeira área, partindo da polémica despoletada por Hargreaves, ao defender que o ensino deveria ser uma profissão baseada na investigação. Em seguida, partiu-se de uma análise mais geral sobre a Investigação e as Práticas no contexto educacional em vários países antes se centrar especificamente no contexto da Didáctica das Ciências (impacte da IDC nas Práticas e constrangimentos na articulação). Analisou-se também brevemente as relações entre a IDC e Práticas no contexto da Formação de Professores, e não a área da Formação de Professores, para mantermos sempre o foco nas questões inerentes à articulação. Culminou-se na análise das culturas e epistemologias da acção e da investigação, com especial destaque para o conceito de professorinvestigador na actualidade e para a descrição das barreiras epistemológicas e ontológicas. Concluiu-se que as comunidades da investigação e da acção utilizavam o conceito ‘articulação’ indiscriminadamente como sinónimo de interacções, contacto, aproximação, impacte, etc., o que acabou esvaziando-o do seu verdadeiro significado. No que diz respeito à segunda área, a sua análise partiu da descrição da evolução de dez anos (1997-2007) de estudos sobre a Avaliação do Impacte dos CM nas práticas por ser considerada uma forma eficaz de articular as dimensões da Didáctica em direcção a um novo olhar sobre o conceito ‘articulação’. Além disso, apontou a dificuldade de se avaliar o impacte ao nível macro, por um lado, por não se tratar de uma prática investigativa institucionalizada no estatuto da carreira dos professores dos EB e ES e, por outro, por ainda colidir com diferentes concepções da natureza das investigações realizadas por Professores encontradas em ambas as comunidades, entendida ora como processo cognitivo (para o desenvolvimento profissional dos professores), ora como prática social (para construção de conhecimento no campo da Didáctica). Foram compiladas ainda as sugestões para se potenciar o impacte da IDC nas Práticas e/ou a articulação entre a IDC-Práticas em contexto formativo de diversos estudos avaliativos. Finalizou-se a análise chamando a atenção para cinco aspectos que ainda carecem de maior aprofundamento nesta área. Este longo enquadramento evidenciou a complexidade da problemática ‘articulação’ decorrente da interdependência das várias dimensões (epistemológica, política, ontológica, psicológica, ética, entre outras). Por exemplo, a ausência de consenso sobre critérios para a avaliação da qualidade da investigação produzida por professores (dimensões política e epistemológica) acaba, por vezes, por não conferir legitimidade às mesmas e por influenciar a legitimação pela comunidade académica, o que resulta na necessidade de diferenciação dos contributos e no maior afastamento entre as comunidades (dimensão ontológica), entre outros. Assim, optou-se por iniciar a análise do fenómeno ‘articulação entre IDCPráticas’ através dos primeiros modelos de articulação investigação-ensino, os quais visavam, contudo, fundamentalmente o impacte da IDC nas Práticas de Ensino das Ciências. Posteriormente, foram apresentadas as potencialidades da Avaliação ↔ Feedback, TIC e Colaboração (estratégias/métodos) para potenciar a articulação entre Investigação- Práticas. No que diz respeito à investigação empírica, realizou-se um estudo de caso descritivo e explorativo de natureza mista. O caso único, crítico e instrumental foi o fenómeno “articulação entre a IDC-Práticas na Formação Didáctica Pós- Graduada” no contexto da unidade curricular ‘Metodologia do Ensino da Física’ (MEF) do Curso de Mestrado em Ensino de Física. A técnica de análise geral utilizada foi a “descrição do caso” pelo facto de não se ter um referencial teórico especificamente sobre o caso. O caso contemplou três unidades de análise, a saber: Caracterização dos Professores-Formandos; Funcionamento da Unidade Curricular e Dinâmica dos currículos dos módulos articuladores. Estas unidades de análises permitiram evidenciar de que forma as características e/ou alterações implementadas na disciplina MEF contribuíram (ou podem contribuir) para a articulação da IDC-Práticas e descrever as dinâmicas do currículo (intencional – negociado – acção), evidenciando em que medida promoveram (ou inibiram) a articulação IDC – práticas. O estudo de caso aqui descrito revelou, ainda, a existência de dois níveis de articulação entre a Investigação e as Práticas no contexto formativo. O primeiro nível foi a articulação entre a Investigação sobre o Ensino Superior/Formação de Professores de Ciências (patente nas estratégias/métodos utilizados na disciplina) e a prática formativa dos IF no contexto da disciplina. O segundo nível centrou-se na articulação entre a Investigação sobre o Ensino não-Superior/Didáctica das Ciências e as práticas de Ensino das Ciências, base orientadora do currículo da disciplina aqui analisada, concretizado nos dois módulos articuladores descritos. Destacam-se algumas dimensões de análise descritas na presente investigação empírica, a saber: Utilização das TIC; Avaliação do Ensino baseada no feedback dos alunos; Avaliação Formativa das Aprendizagens e feedback; Trabalho de grupo realizado nos módulos articuladores; Currículo centrado na IDC; Currículo centrado na articulação da IDC-Práticas de Ensino das Ciências; Currículo centrado nas Práticas de Ensino das Ciências; Currículo centrado na articulação da Investigação-Práticas formativas e Currículo centrado nas Políticas Educativas. Relativamente a dinâmica dos currículos (intencional - negociado - acção) dos dois módulos articuladores, foram definidos quatro construtos (objectos de ensino, objectos de aprendizagem, objectivos de ensino e objectivos de aprendizagem) que culminaram na discussão de vários aspectos a serem considerados nos próximos cursos como, por exemplo: 1) Importância de o contrato didáctico prever a inclusão de objectos de aprendizagem; 2) Incompatibilidade do objectivo de aprendizagem ‘compreender a importância da IDC e a sua relevância para as práticas lectivas em contextos específicos’ num quadro formativo articulador; e 3) Importância de os cursos de formação de professores explicitarem quais ferramentas investigativas são necessárias à produção autónoma de conhecimento no contexto escolar e académico (mesmo que não sejam mobilizadas), de forma a que os professores possam delinear previamente planos individuais de formação/investigação. O estudo termina com a apropriação do modelo de articulação entre a Investigação Educacional e Práticas de McIntyre (2005) ao contexto da Didáctica das Ciências evidenciando uma relação dialógica com a investigação empírica. Apesar de este modelo priorizar a dimensão epistemológica (que aceita o gap pela impossibilidade epistemológica do seu total desaparecimento), na sua apropriação foi considerada a influência das outras dimensões. Esta apropriação assentou, portanto, numa visão moderada de articulação e na complexidade inerente à interdependência das dimensões. Foram propostos três caminhos epistemológicos complementares para a articulação entre a IDC-Práticas: 1º) Interacções entre Didáctica Investigativa – Didáctica Profissional; 2º) Utilização de estratégias na IDC especialmente desenhadas para informar as práticas de ensino; e 3º) Realização de IDC pela escola. Em cada um destes caminhos procurou-se enquadrar algumas sugestões e iniciativas já levadas a cabo para potenciar o impacte e/ou articulação e que se encontravam referenciadas na literatura em geral e no contexto português em particular. O primeiro caminho (composto por cinco etapas) evidenciou-se como aquele que leva a maior vantagem pelas inúmeras intervenções possíveis. A investigação empírica aqui apresentada enquadrou-se inclusivamente neste primeiro caminho pelo facto de ter sido uma iniciativa com a intencionalidade explícita de articular a Didáctica Investigativa e Profissional e por ter sido realizada no contexto da Formação Pós-Graduada (cenário considerado privilegiado para a promoção de interacções). Esta iniciativa foi realizada exclusivamente no âmbito curricular da Formação Pós-Graduada (Didáctica Curricular) e procurou articular as dimensões epistemológicas da Didáctica através da utilização de ‘mecanismos potencialmente articuladores’ (Avaliação - feedback, TIC e Colaboração). Foram descritas as quatro etapas deste primeiro caminho percorridas empiricamente com variações no grau de concretização, com excepção da quinta etapa ‘Investigação sobre a prática de ensino com generalização situada’ porque a vertente dissertativa do respectivo curso não fez parte do corpus. Assim, a articulação ocorreu fundamentalmente no nível epistemológico (currículo da disciplina). No que diz respeito ao 2º caminho, é aquele em que a comunidade académica mais tem investido, quer pelas críticas voltadas especificamente para a investigação, quer pelo sucesso na potenciação do impacte nas propostas até agora implementadas. Deve ser utilizado de forma complementar ao 1º, envolvendo, de preferência, os Professores que percorrem frequentemente o 1º caminho na sua prática diária. Esta condição justifica-se pela necessidade de se integrar legitimamente os professores nas equipas de investigação, aumentando concomitantemente a contribuição das Práticas para a construção de conhecimento no campo educacional. Finalmente, o 3º caminho é aquele que ainda não pode ser concretizado porque, para as Escolas serem diferentes das actuais na dimensão epistemológica (tornando-se produtoras de conhecimento didáctico), seriam necessárias medidas estruturais e articuladas nas várias dimensões anteriormente referidas. Entretanto, foram apontadas algumas soluções como, por exemplo, a utilização de investigações de generalização situada nas Escolas e a ligação das Escolas em redes. Estas investigações locais não substituiriam, mas mobilizariam a IDC produzida nas Universidades (centradas na construção do campo Didáctica das Ciências). Este caminho visionário culmina por um lado, com uma análise prospectiva assente na relação de complementaridade entre as evidências científicas e experienciais porque uma prática sem suporte investigativo é imprudente e uma investigação sem suporte experiencial é imatura. Por outro com uma constatação tardia (deveras reconfortante) que os estudos centrados na relação entre a Investigação e Práticas são estudos voltados para a Formação de Investigadores-Seniores por exigirem uma meta-reflexão da prática investigativa e do processo investigativo. As implicações do estudo são: (i) futuras iniciativas de articulação entre IDCPráticas; (ii) implementar e avaliar as sugestões advindas em novos contextos formativos; e (iii) na Educação a distância na área da Didáctica e Formação Didáctica de Professores. Assume-se a limitação estrutural da investigação resultante da alteração do projecto inicial que o restringiu a uma única etapa. Faz-se ainda uma reflexão do processo formativo-investigativo mediante a descrição dos constrangimentos de natureza interna e externa. Explicitam-se as limitações de carácter geral e específico e algumas tentativas de minimização dos respectivos efeitos no estudo. Finaliza-se o estudo com algumas sugestões de trabalhos futuros, a saber: (i) Continuidade dos estudos centrados na articulação entre IDC-Práticas; (ii) Continuidade dos estudos de Avaliação da Formação Pós-Graduada em termos de eficiência, eficácia, impacte e articulação; (iii) Análise da Epistemologia da Prática Docente em comunidades de práticas escolares; (iv) Articulação entre a Investigação sobre a Formação de Professores e as práticas dos formadores e futuros-formadores; e (v) Constituição de “Scholarship of teaching” na Formação de Professores.

Avaliação em contextos de blended learning no ensino superior

The increasing complexity of the Information Society and the Bologna Declaration in the European context has led Higher Education (HE) institutions to revise their curricula courses, as far as the adoption of new strategies for teaching and learning as well as evaluation are concerned. It can also be emphasized that there has been a growing use of eLearning and of blended learning (bLearning) in HE, since these modes of training seem to be a very convenient option for lifelong learning. In this context, quality is taken as an essential goal in the development of the European Space for Education and Training, where HE institutions compete among themselves, and where evaluation is determinant as a promoter of this quality. Considering the problems summarized above, the research developed, based on four published scientific papers, intended to answer a set of research questions related to evaluation of bLearning contexts in HE. The study used diverse techniques and instruments (questionnaires, document analysis, and observation mediated technologies) spanning two methodological approaches: i) study of descriptive and exploratory nature and ii) case studies of bLearning modules. In the first approach an evaluation model for bLearning courses was developed, where we collected and analyzed, at a national level, the opinions of teachers with bLearning experience about the model dimensions. The case studies presented are post graduation curricular units, where bLearning teaching, learning and evaluation strategies were explored and evaluated, namely peer assessment. The main contributions of the first approach are: the process of questioning around the evaluation of bLearning courses, namely the quality assurance criteria for bLearning, as well as the model developed, providing a framework of theoretical, methodological and empirical elements that can be adapted in similar contexts. From the case studies emerged: the developed evaluation guidelines and the data collection instruments, in order to disseminate evaluation “best practices” that may be useful for other units in similar contexts. Regarding the recommendations about the evaluation of teaching of bLearning courses we emphasize: the use of versatile evaluation objects; the evaluation throughout the process and not just at the end; and the involvement of multiple evaluators, including students (whose feedback is essential to monitor the quality of teaching and learning). From the case studies we highlight: the need for discussion of evaluation frameworks to explore, and consequent increase in the transparency of the evaluation process; the increased interaction between groups; and the peer assessment as a strategy to promote active and autonomous learning. In addition to the contributions and recommendations for practice and research in the area of evaluation in bLearning contexts in HE, listed above, it also emerged from this study useful guidelines regarding educational evaluation in bLearning contexts, in order to improve the quality of teaching, learning and evaluation in such contexts.

A avaliação do impacto da formação : um estudo exploratório na Força Aérea

Tese de mestrado, Ciências da Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2010

O impacto da avaliação externa numa escola da Marinha Portuguesa

Tese de mestrado, Ciências da Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2010

Avaliação das aprendizagens no âmbito do Projecto Metas de Aprendizagem

Relatório de estágio de mestrado, Ciências da Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2011

Avaliação do impacto da formação profissional : aplicação da técnica cliente mistério

Relatório de estágio de mestrado, Ciências da Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2011

Práticas de modernização administrativa : relação entre formação e avaliação

Relatório de estágio de mestrado, Ciências da Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2011

Avaliação da formação promovida pela ANQ em 2010 a avaliadores externos RVCC e coordenadores CNO : análise e problematização

Relatório de estágio de mestrado, Ciências da Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2011

Avaliação da formação continuada de professores:programa sala de educador (Mato Grosso-Brasil)

Tese de doutoramento, Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2014

Avaliação para a aprendizagem:a articulação entre ensino, aprendizagem e avaliação : (Mato Grosso-Brasil)

Tese de doutoramento, Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2014

Avaliação para as aprendizagens de alunos com necessidades educativas especiais no 1º ciclo de ensino básico : da diversidade da avaliação à avaliação da diversidade

Tese de doutoramento, Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2014

Do currículo de física e química instituído ao aplicado nas escolas : das metodologias de ensino à avaliação

Tese de doutoramento, Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2015

Uma avaliação do processo de constituição e desenvolvimento de um observatório num agrupamento de escolas

Dissertação de mestrado, Ciências da Educação (Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2014

Avaliação da Implementação de um Sistema de Gestão da Qualidade num Centro de Formação Profissional

Relatório de estágio de mestrado, Ciências da Educação (Especialização em Avaliação em Educação), Universidade de Lisboa, Instituto de Educação, 2015