CURSO DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
Mecanismos Complementares para a Avaliação
do Aluno na Educação a Distância
LUCIANO EMILIO HACK
Dissertação submetida à avaliação, como requisito parcial para
Ciência da Computação
Prof. Dra. Liane M. R. Tarouco
Porto Alegre, dezembro de 1999.
Hack, Luciano E.
Mecanismos Complementares para a Avaliação do Aluno na Educação a Distância/Luciano Emilio Hack – Porto Alegre: CPGCC da UFRGS, 1999.
xxf.
Dissertação (mestrado) – Universidade Federal do Rio Grande do Sul. Curso de Pós-Graduação em Ciência da Computação, Porto Alegre, BR – RS, 1999. Orientadora: Tarouco, Liane M. R.
1.
Lista de Abreviaturas
BD: Banco de Dados
CGI: Common Gateway Interface
CPGCC: Curso de Pós-Graduação em Ciência da Computação
DNS: Domain Name Server
EAD: Educação a Distância
FAQ: Frequently Asked Question
HTML: Hypertext Markup Language
HTTP: HyperText Transfer Protocol
IDC: International Data Corporation
IP: Internet Protocol
JDBC: Java DataBase Connectivity
LES: Laboratório de Engenharia de Software
RNP: Rede Nacional de Pesquisa
RISC: Reduced Instruction Set Computers
SDL: Specification and Description Language
SDL/GR: Specification and Description Language / Graphic Representation
SDL/PR: Specification and Description Language / Plain Representation
SGBD: Sistema de Gerenciamento de Banco de Dados
SQL: Structured Query Language
SSL: Secure Sockets Layer
TCP/IP: Transmission Control Protocol / Internet Protocol
UFRGS: Universidade Federal do Rio Grande do Sul
ULM: Unit of Learning Material
URL: Uniform Resorce Locator
WBT: Web-Based Training
WWW: World Wide Web
Lista de Figuras
Lista de Tabelas
Resumo
O evolução ocorrida na área de redes de computadores, proporcionando condições, aceitáveis, de trabalho a Distância, faz com que este recurso também seja aproveitado para a Educação a Distância. Podendo-se considerar a Internet como a ferramenta mais completa, abrangente e complexa para o aprendizado.
No entanto, no que diz respeito a forma de avaliar o aluno, especialmente a distância, os procedimentos ainda precisam ser mais trabalhados e divulgados. A avaliação precisa acompanhar as evoluções ocorridas, deixando de ser algo isolado, para ser um componente presente em todo o processo de aprendizado.
Seguindo este pensamento, este trabalho apresenta alguns mecanismos complementares, que auxiliam o professor na avaliação do aluno, fazendo com que a avaliação possa ser mais completa e abrangente, pois são tratadas também as informações provindas da parte informal.
Para tanto, a implementação destes mecanismos está
apoiada no modelo de avaliação de Kirkpartrick. a partir
do qual foram desenvolvidos mecanismos para obter a reação
do aluno, e o nível de aprendizado alcançado. Complementando,
é apresentada uma forma de obter-se informações, para
a avaliação do aluno, também das ferramentas normalmente
usadas em um curso ministrado via Web, que são o correio eletrônico,
salas de chat e listas de discussão.
Palavras-Chaves: Educação a distância, avaliação, sistemas de ensino, Internet.
Abstract
A avaliação do aluno, sempre foi algo que desafiou e estimulou professores, na busca de algo que realmente perceba a real situação do aprendizado do aluno. Uma das definições que expressa o que vem ser avaliação, é a apresentada por Bloom, Hastings e Madaus [MEN 98]:
"Avaliação é a coleta sistemática de evidências por meio das quais determinam-se mudanças que ocorrem nos alunos e como elas ocorreram. Inclui uma grande variedade de evidências que vão além do tradicional exame final de lápis e papel. É um sistema de controle de qualidade pelo qual pode ser determinada, em certa etapa do processo ensino-aprendizagem, a efetividade ou não do processo e, em caso negativo, que mudanças precisam ser feitas para assegurar sua efetividade antes que seja tarde".
Para verificar o nível de aprendizado dos alunos em aulas presenciais, além dos mecanismos formais, como testes, trabalhos, exercícios, etc, os professores utilizam também alguns mecanismos complementares, como a observação da expressão facial do aluno, a participação em aula, perguntas que reforçam o material apresentado, etc. Desta forma, o professor poderá fazer ajustes nos seus procedimentos de ensino, diminuindo ou aumentado o ritmo da aula, fazendo revisões, passando material complementar, etc.
Na Educação a Distância (EAD), o que normalmente tem-se visto é a utilização apenas dos mecanismos formais [DIR 98]. Os professores estão deixando de lado os mecanismos complementares, para que mesmo a distância possam ter uma mais completa e abrangente avaliação do aluno. Isto devido ao fato de não terem, de forma acessível, mecanismos que possam auxiliá-los neste trabalho, mas também, porque muitos professores tem se acomodado e utilizado apenas os métodos tradicionais de avaliação [DIR 98].
No entanto, é graças a evolução da área de redes de computadores, especialmente no que refere-se a Internet, que existem hoje em dia mecanismos que podem quebrar esta barreira, e trazer até os professores ferramentas com as quais poderão ter um melhor acompanhamento dos alunos [LOY 98], sem que com isto tenham um aumento significativo em suas atividades.
Esta evolução na área de redes de computadores, teve um efeito direto na forma como algumas universidades, como a Open University da Inglaterra [OPE 99] e a Universidade do Iowa nos Estados Unidos [GOL 97], tem disponibilizado atualmente alguns cursos, e buscado formas de utilizar o meio eletrônico para auxiliar na obtenção de informações para avaliar o aluno. O número de instituições de ensino que usam o WWW aumenta a cada ano [HOO 98].
A Internet apresenta-se atualmente como a mais excitante oportunidade para que se obtenha significantes contribuições na área de aprendizagem. É impossível imaginar sistemas de treinamento no futuro sem o uso da Internet, para prover aprendizado no sentido de proporcionar a alunos e professores informações e pesquisas que mantenham-nos atualizados com as mudanças. Proporcionar maneiras dos alunos aprenderem através de interações com o professor e colegas; e proporcionar que as organizações rapidamente desenvolvam e disponibilizem novas informações e módulos de ensino.
A International Data Corporation (IDC) acredita que o treinamento baseado na Web, que é algo recente, chegará a um mercado de 2 bilhões de dólares no ano 2000. Sendo que o que mais tem incentivado este tipo de educação é a necessidade de métodos que tragam o treinamento diretamente para o desktop de uma forma just-in-time contínua [LAB 98].
No entanto, muitos materiais educacionais baseados na Web, nisto inclui-se a avaliação, ainda estão sendo desenvolvidos utilizando-se tecnologias aquém do que se tem disponível no mercado.
O futuro do treinamento baseado na Web (WBT, do inglês Web-Based Training), está no projeto de sistema híbridos, que deverão ser [GRE 99]:
Cada tipo de mídia (material impresso, áudio, vídeo, computador, etc) consegue atingir determinado aspecto do processo de ensino-aprendizagem, e fornece informações que são valiosas neste processo.
Tem-se dado ênfase no processo de ensino-aprendizagem apenas para a entrega dos conhecimentos pelo professor, em detrimento de oportunidades para discussão e interação, isto porque são mais caros e necessitam de um maior tempo para se implementar.
Laurillard [LAU 94] propõe que a mídia deixe de ser apenas um meio de transmissão, mas que contribua também no processo, fornecendo mecanismos que venham a desafiar e orientar o aluno.
Pesquisas em EAD tem mostrado que o sucesso para programas on-line, está altamente relacionado com a habilidade do aluno em disciplinar seu tempo de estudo [GRE 99]. Com relação a isto, a avaliação entra como um fator importante, pois é uma forma de incentivar e estimular o aluno a cumprir o programa, dando-lhe recompensas ao completá-las com êxito.
Foi através da constatação da necessidade de implantar-se uma metodologia de avaliação mais próxima do aluno, ou seja, que o veja mais de perto no seu dia-a-dia e que consiga captar o seu real estado de aprendizado, que se busca através deste trabalho mecanismos que proporcionem ao professor, sem grandes conhecimentos tecnológicos e pouca utilização do seu tempo de trabalho, acompanhar a evolução do aluno, também através de mecanismos inovadores. Pois acredita-se que se o ambiente em que o aluno aprende é um sistema baseado na Internet, também deve ser através deste ambiente, rico em possibilidades, que o professor deverá obter informações suficientes para perceber se o aluno está avançando adequadamente no curso, e se ao final alcançou um bom nível de aprendizado, dentro das metas desejadas.
Para tanto, aqui está descrito todo o processo de estudo, projeto, implementação e teste de mecanismos complementares para a avaliação do aluno em um curso fornecido através de páginas WWW, dividido em 11 capítulos, e cada capítulo está disposto numa seqüência lógica para facilitar a compreensão de todo o sistema.
O capítulo 2 apresenta o motivo que levou ao desenvolvimento deste trabalho, bem como uma descrição geral da maneira como se pretende resolver as carências aqui levantadas. Para tanto são apresentados os mecanismo que auxiliarão na avaliação do aluno na EAD.
O capítulo 3 apresenta alguns conceitos e idéias fundamentais à construção dos mecanismos para a avaliação do aluno a distância. Neste capítulo, são descritas as tecnologias e teorias que estão direta ou indiretamente ligadas a avaliação em sistemas de EAD, bem como a solução aqui adotada.
O capítulo 4 relaciona alguns ambientes que trabalham na parte de educação a distância, relacionando as tecnologias e metodologias que utilizam, especialmente no que diz respeito a avaliação do aluno.
O modelo de avaliação que é proposto neste trabalho é apresentado, em detalhes, no capítulo 5. Neste capítulo é apresentada a solução adotada para auxiliar o professor na avaliação do aluno, bem como as informações que ele terá a seu dispor ao utilizar este tipo de solução.
Os recursos disponíveis para a implementação do protótipo, a forma como foi implementado, bem como a maneira como foi estruturado para a obtenção das informações através dos mecanismos complementares, é apresentado no capítulo 6.
O capítulo 7 apresenta a especificação do protótipo em SDL (Specification and Description Language), descrevendo o comportamento real do sistema, independentemente da linguagem utilizada para a implementação.
O processo de validação do protótipo, identificando quais os tipos de testes, bem como as etapas que foram realizadas para avaliar e validar este modelo, é apresentado no capítulo 8.
O capítulo 9 apresenta algumas idéias importantes que surgiram durante a realização deste trabalho, mas que no entanto não foram postas em prática primeiro por fugirem ao escopo deste trabalho, e em segundo pela falta de tempo em implementá-las de forma adequada.
O capítulo 10 apresenta as considerações finais
deste trabalho, onde são relatadas, de forma sintética, as
principais contribuições trazidas com a utilização
da solução aqui apresentada.
2 OBJETIVOS E DESCRIÇÃO GERAL DO TRABALHO
Atualmente, o paradigna de aprendizado vem sendo alterado, passando da forma tradicional de ensinar, baseada no instrutor, para uma forma onde o aluno está amplamente engajado no processo de aprendizado, não tendo uma atitude passiva [GRE 99].
Tendo como base esta necessidade, especialmente nos sistemas de Educação a Distância, o objetivo central deste trabalho é proporcionar ao professor, que trabalha a distância, disponibilizando o conteúdo do curso em páginas Web, ferramentas que possam auxiliá-lo na busca da situação no aprendizado do aluno, colocando a sua disposição mecanismos que venham a apresentar-lhe como está a participação do aluno no curso, e o seu desempenho nas atividades desenvolvidas.
A utilização da Internet como o meio para a Educação a Distância, deve-se ao fato do seu uso possuir as seguintes vantagens na EAD [TAR 98a]:
O objetivo inicial deste trabalho, portanto, é baseado no modelo de avaliação de Kirkpatrick [KIR 98], elaborar uma estrutura que procure avaliar o aluno via Internet, preenchendo este modelo com mecanismos que venham fornecer informações para complementar a avaliação de forma adequada. Pelo fato da parte de avaliação informal ser a que apresenta uma maior carência atualmente, este será o enfoque deste trabalho.
O enfoque colaborativo do ensino, é uma nova tendência na EAD, buscando ferramentas e metodologias que sejam apropriadas para o ensino e aprendizagem [TIJ 97]. Portanto, este enfoque não deverá ser esquecido ao buscar-se mecanismos para a avaliação do aluno.
O primeiro mecanismo a ser apresentado é o o rastreamento ou monitoramento do aluno no curso, que é o registro de cada passo dado, e apresentação destas informações de forma que o professor possa ter a noção do andamento do curso. Neste trabalho serão apresentadas algumas formas para implementar-se o rastreamento atualmente, obtendo informações sobre a participação do aluno nas atividades (unidades visitadas, ferramentas utilizadas, etc), bem como o tempo gasto com o acesso desses [GIB 97].
O foco aqui está em que a estratégia de avaliação está baseada na captura automática e análise sobre as ações do usuário. Fazendo assim com que obtenha-se algo além do estilo tradicional [HOO 98].
Muitas ferramentas tem sido usadas para facilitar a comunicação em cursos via Web. No entanto, elas tem sido muito pouco usadas na hora de avaliar o aluno, de fornecer informações sobre o seu aprendizado, pois este campo tem sido de domínio completo de testes e trabalhos. Para preencher esta lacuna, outro mecanismo que será abordado, é o controle do fluxo das informações. Aqui, toda informação eletronicamente trocada entre os alunos e destes com o professor, terá um determinado registro, procurando fornecer indícios de quais são os alunos mais ativos.
As ferramentas de comunicação que farão parte da avaliação são o correio eletrônico, sala de chat e lista de discussão, pois são as mais utilizadas e que podem fornecer informações úteis para a avaliação do processo de aprendizagem.
Na EAD, os alunos, na maioria das vezes, não se conhecem pessoalmente, pela natureza do curso, então o uso de ferramentas de discussão habilita a troca de idéias, e e é claro deverá ser usada também para a avaliação.
Cada ferramenta de comunicação traz até o aluno, uma possibilidade de interação diferente, e para que possam ser utilizadas em um processo de avaliação, devem ter registradas informações referentes a sua utilização, cada uma dentro da sua característica. Para o serviço de correio eletrônico, é interessante o número de mensagens enviadas e recebidas. Para a sala de chat e a lista de discussão, é importante o número de contribuições.
Com o objetivo de visualizar também a qualidade das informações enviadas, na ferramente de chat, deverão ser armazenadas, de forma aleatória, também algumas das mensagens enviadas pelo aluno. Esta é uma maneira do professor perceber o interesse do aluno, pela qualidade de informações que ele troca com os seus colegas ou consigo.
Outro mecanismo que será implementado, tem como finalidade proporcionar ao professor um ambiente, onde possa verificar como o aluno vem reagindo ao fazer o curso. O objetivo deste mecanismo não é medir conhecimento, mas que o aluno dê um feedback ao professor sobre a forma como o curso é apresentado e conduzido, deixando, sem medo de perseguição, a sua idéia. A este mecanismo foi dado o nome de Votação, justamente para fortalecer esta idéia, de que o que interessa é o que o aluno vem percebendo do curso, e que isto é importante para o professor.
O último mecanismo é baseado na técnica Delphi [LAN 9?], e traz até o professor um ambiente, onde poderá apresentar uma questão instigadora, e os próprios alunos classificarão as melhores respostas ao questionamento, e através das respostas e posterior posicionamento dos alunos sobre as colocações, será apresentado de forma organizada as melhores definições. Desta forma, obteve-se mais uma maneira de classificar os alunos, não apenas por proporcionarem as respostas consideradas melhores, como pela participação neste tipo de mecanismo. A este mecanismo foi dado o nome de Ponto de Vista, pois cada aluno registrará o que achar correto no que refere-se a pergunta do professor, e as respostas dos colegas.
A técnica Delphi, é uma técnica utilizada por um grupo de pessoas que estão fisicamente dispersas, e todo o processo está baseado em questionários enviados por um coordenador e a resposta dos participantes [LAN 9?]. É um método subjetivo, e portanto não tem maior fundamentação matemática.
Todas estas funcionalidades, foram implementadas de tal forma, que o professor não necessite de grandes conhecimentos, a não ser a utilização do browser, bem como possa obter os resultados esperados sem grandes manobras e gasto de tempo. Mas que tudo esteja ao seu alcance de forma simples e direta.
O resultado é um protótipo implementando estas características. É importante ressaltar que a não inclusão de uma ferramentas para elaboração de testes on-line, deve-se ao fato da escassez de tempo para o seu desenvolvimento, e por existirem várias excelentes opções no mercado. Não querendo, com isto, desmerecer ou ignorar a importância desta ferramentas, pois também tem seu papel na avaliação do aluno, mesmo porque é o meio mais utilizado atualmente, o que é proposto aqui são mecanismos complementares, que trarão informações extras.
Este trabalho nasceu da convicção de que se o ambiente
em que o aluno aprende é um sistema de multimídia, ele deve
permanecer neste ambiente, rico em possibilidades, para proceder regularmente
as avaliações, e este ambiente deverá fornecer o maior
número possível de informações, para auxiliar
o professor na avaliação do aluno, antes, durante e após
o processo de aprendizagem, podendo fazer ajustes e complementar o processo
de avaliação.
3 CONCEITOS BÁSICOS
Este capítulo apresenta alguns conceitos e idéias que são fundamentais para a construção do protótipo para a avaliação do aluno na Educação a Distância.
Os conceitos básicos apresentados aqui, englobam a especificação de modelos e técnicas que serão utilizados, bem como a apresentação de teorias que respaldam este trabalho. Os tópicos abordados são os seguintes:
3.1 O Modelo de Kirkpatrick
Um dos poucos modelos para a avaliação do aluno existentes atualmente, é o proposto por Donald L. Kirkpatrick. Ele é um modelo bastante utilizado para avaliação, em programas de treinamento presenciais, e define quatro níveis para medir a qualidade e efetividade de um treinamento [KIR 98], conforme apresenta a figura 3.1.
Figura 3.1 - Modelo de Kirkpatrick
Cada nível é importante e tem impacto no nível
seguinte. Conforme se avança nos níveis, o processo torna-se
mais difícil e trabalhoso, mas também proporciona informações
mais valiosas. Nenhum dos níveis deve ser ignorado, por considerar
o nível seguinte mais importante. A seguir é apresentado
um detalhamento de cada um dos níveis.
3.1.1 Nível 1 : Reação
Aqui avalia-se o aluno pela sua participação nas atividades de aprendizado, indicando assim se está se adaptando a forma como o material é apresentado. O nível 1 é o método de avaliação mais primitivo e usado. Ele é fácil, rápido e de baixo custo de administração. As avaliações baseadas no nível 1 são apropriadas para muitas atividades de aprendizado.
Através de ferramentas implantadas neste nível, é possível observando as reações do aluno, evitar uma avaliação errada por parte do professor. Neste nível tem-se um número considerável de informações, sendo relativamente rápido e barato, e fornecendo informações para a modificação do conteúdo do curso, apresentação, etc.
É importante não apenas obter a reação,
mas a reação positiva, pois o futuro do treinamento depende
de reações positivas. É claro que se o aluno não
reagir favoravelmente, ele provavelmente não está motivado
a aprender. Uma reação positiva não significa que
o aluno aprendeu, mas uma reação negativa certamente reduz
as possibilidades disto ocorrer. Também é uma forma de demonstrar
a qualidade do curso, pela aceitabilidade que conseguiu alcançar
dos alunos que o fizeram.
3.1.2 Nível 2 : Aprendizado
Existem três coisas que pode-se ensinar em um curso: conhecimento, habilidades e atitudes. Medir-se o aprendizado então, significa saber que conhecimento foi aprendido; que habilidades foram desenvolvidas ou aperfeiçoadas; ou que atitudes foram mudadas [KIR 98].
A utilização de ferramentas para implantar este nível serve como um controle de qualidade, para confirmar que o aprendizado está alcançando os seus objetivos. Através das respostas obtidas, tem-se informações para melhoria do material apresentado e os resultados podem identificar áreas que necessitam de reforço.
No entanto, é importante ficar atento, pois as avaliações podem apresentar comportamentos que tem mais a ver com a resposta ao processo de avaliação do que com o que foi aprendido. Na observação do progresso do aluno, o professor precisa ter habilidade para prover um feedback construtivo, sendo este feedback considerado como o centro da experiência de aprendizado.
É importante medir o aprendizado, porque nenhuma mudança
de comportamento pode ser esperada a não ser que ao menos um dos
objetivos do aprendizado tenha sido alcançado. Entretanto o inverso
nem sempre é verdade, ou seja, pode haver aprendizado sem mudança
de comportamento.
3.1.3 Nível 3 : Comportamento
O primeiro ponto que deve ser considerar é que o aluno deve ter tempo e oportunidade para assimilar e procurar mudar seu comportamento. Em segundo lugar é impossível prever quando ocorrerá mudanças, pode não ser imediato. E em terceiro lugar, o aluno poderá chegar a conclusão que, mesmo com o aprendizado, não deverá mudar o seu comportamento.
É importante medir o comportamento do aluno, pois o objetivo principal do aprendizado é exatamente proporcionar uma mudança no comportamento, novos ensinamentos somente são bons se refletem nas atitudes e habilidades dos alunos. Portanto este nível procura identificar que mudanças são esperadas se o aluno cumprir o programa de treinamento.
O principal objetivo em usar-se o nível 3, é determinar se há barreiras no processo de aprendizagem. Kirkpatrick identifica cinco requisitos que devem estar presentes para ocorrer mudanças no comportamento:
É necessário ficar atento ao fato de que os alunos reagem
de maneira distinta as formas com que são estimulados a mudar seu
comportamento, portanto é importante observar as realidades do grupo
a que se destina a avaliação.
3.1.4 Nível 4 : Resultados
Este é, segundo Kirkpatrick o mais importante e talvez o mais difícil dos quatro níveis, a determinação do resultado final, do efeito da participação no programa de treinamento. Isto, porque muitas vezes não se sabe como medir os resultados, e também porque o que existe são evidências de que houve melhora, e não provas incontestáveis.
O objetivo deste nível, é identificar se a empresa obteve um retorno do seu investimento, e para proporcionar uma visão mais completa do impacto do aprendizado na empresa, indicadores como os dados do mercado, crescimento, etc, podem ser adicionados.
A identificação dos resultados é um procedimento simples, e são facilmente relacionados com melhorias na empresa. No entanto, obter, organizar e analisar informações neste nível pode ser difícil, consome tempo, e é mais caro que os outros três níveis, mas os resultados valem a pena e deve ser visto o contexto mais amplo da organização.
No entanto percebe-se que é difícil o estabelecimento
de ligações entre o aprendizado e os resultados, nem todo
programa de aprendizado suporta o nível 4, e pode ser complicado,
demorado e caro.
3.1.5 Considerações sobre os Quatro Níveis
Segundo Kirkpatrick [KIR 98], a avaliação deve iniciar no nível 1, e avançar para os demais níveis conforme se avança no curso. Alguns professores querem chegar logo ao nível 3 ou 4, pois acham que os outros dois não são importantes, o que não representa a realidade. O que aconteceria se, por exemplo, em uma avaliação no nível 3 verificar-se que não houve mudanças de comportamento? A que conclusão se chegaria?
Observando e analisando esta estrutura de avaliação, e procurando encaixá-la nos diversos tipos de curso que são ministrados, Gerber [FAR 9?], argumenta que o nível 1 deverá ser feito para todos os tipos de cursos. O nível 2 deverá ser feito para cursos onde o aluno deverá assimilar um conjunto de conhecimentos ou desenvolver certa habilidade. O nível 3 é necessário nos casos em que o principal objetivo do curso é a mudança no comportamento do aluno no trabalho. E o nível 4 deverá ser desenvolvido quando os resultados representam alta prioridade para a empresa.
A utilização de vários instrumentos para proceder a avaliação do aluno, proporciona uma maior credibilidade, e um conjunto maior de informações, as quais são a base para que o professor proceda a avaliação do aluno. Fica difícil aceitar que um único instrumento possa fornecer informações suficientes que completem os quatro níveis mencionados.
No entanto, deve-se tomar bastante cuidado ao selecionar os instrumentos, para que sejam adequados as características do curso e do perfil do aluno, verificando assim se fornecem informações de forma consistente e completa.
Para cursos presenciais, os instrumentos que normalmente são
utilizados, para preencherem o modelo de Kirkpatrick [FAR 9?], são
os questionários (níveis 1 e 2), entrevistas (níveis
1, 2 e 3), testes (níveis 2 e 3), observações (níveis
1, 2 e 3) e registro da performace (nível 4).
3.1.6 Adaptando Kirkpatrick para a Internet
O modelo desenvolvido por Donald Kirkpatrick para a avaliação da aprendizagem, foi elaborado para programas de treinamento presenciais. No entanto, procurando adaptá-lo para melhor organizar a avaliação na EAD, utilizando a Internet como meio, foi elaborada uma estrutura que procura, usando alguns dos recursos disponíveis atualmente através da Internet, fornecer informações suficientes para responder de forma aceitável cada nível do modelo.
Primeiramente, é importante observar que, conforme Gerber [Far 9?], a utilização dos níveis 3 e 4 depende do objetivo para o qual o curso foi criado. Devendo avançar até o nível 3 quando a mudança do comportamento for importante, e até o nível 4 quando os resultados representam a prioridade para quem custeia o curso.
Procurando abranger os mais diversos tipos de cursos via Internet, apresenta-se a seguir uma estrutura que responde a necessidade de cada um dos níveis do modelo de Kirkpatrick.
Nível 1 – Reação: Na busca de informações que venham a revelar o nível de satisfação do aluno com o material apresentado via Web, o professor poderá dispor, por exemplo, de questionários em páginas HTML, onde buscará identificar se o aluno se sentiu estimulado pelo que foi apresentado (tanto a nível da forma como o conteúdo). Poderá, através de recursos de rastreamento (monitoramento), obter o ritmo de evolução no curso (páginas acessadas, ferramentas utilizadas, etc) e desta forma concluir se o aluno tem se sentido estimulado a acessar o curso, levando em consideração o perfil do aluno e a regularidade com que acessa as informações. Outra forma de captar a reação do aluno é através de ferramentas de comunicação como o correio eletrônico e listas de discussão, quando o professor, através de questionamentos, poderá identificar a reação que o aluno tem ao receber o conteúdo do curso. A implementação de salas de chat também é algo que proporciona subsídios para perceber a reação do aluno.
Nível 2 – Aprendizado: Para verificar se o aluno aprendeu o que foi apresentado via Internet, poderá ser usado a aplicação de testes formais, através de páginas HTML ou CGIs, ao final de cada módulo ou ao final do curso. Também poderá ser utilizado, a inserção de perguntas no contexto em que o aluno está inserido e enquanto está fazendo a aula, para auxiliar na fixação do conteúdo e também verificar o andamento da aprendizagem. O uso do dispositivo de rastreamento do aluno poderá ser usado, observando sua contribuição em listas de discussão, mails enviados ao professor, etc. Para identificar o que realmente foi aprendido no curso, poderá ser utilizado também pré-testes (em HTML ou CGI), procurando obter o grau de conhecimento do aluno para aquela área antes de fazer o curso, mas este deve ser usado quando sabe-se que o aluno já vem com algum conhecimento. Pode ser usado também a monitoração de salas de chat, armazenando o que foi conversado, para posterior avaliação, devendo existir uma sala virtual onde isto poderá ser feito, ou reservar horários para este registro.
Nível 3 – Comportamento: a verificação da mudança no comportamento do aluno, de uma forma não presencial, utilizando a Internet é algo que depende do público alvo do curso. Se o curso estiver sendo produzido por uma empresa, pode-se disponibilizar mecanismos para que ela forneça informações sobre o comportamento do aluno após o curso, no ambiente de trabalho, para isso pode-se usar questionários via Web que serão respondidos pelo chefe imediato e pelo aluno (auto-avaliação). Mas na maioria dos cursos, o que pode-se medir é a mudança de comportamento conforme o aluno avança, na forma de participar em salas de chat, listas de discussão e correio eletrônico, isto com relação a freqüência (assiduidade) e contribuições (quantidade e qualidade), determinando se existem barreiras no processo de aprendizagem. A observação da evolução em testes e perguntas aplicados, procurará identificar se existe alguma barreira para colocar em prática o que foi aprendido;
Nível 4 – Resultados: num programa de treinamento, os resultados são obtidos através de um feedback da empresa, sobre a evolução do funcionário. Neste caso, as informações podem ser obtidas por questionários via Web para o chefe imediato do aluno. Nos casos onde não se tem a figura do chefe, o próprio aluno é um termômetro para medir o nível de resultado alcançado (auto-avaliação), a sua evolução em cada ferramenta utilizada (mail, chat, lista, testes, questionários, etc) e uma avaliação do curso apresentado, também é uma fonte para verificar-se os resultados.
Desta forma, fica claro que o professor deverá dispor de um ambiente onde além das páginas com o conteúdo do curso, o aluno tenha acesso a ferramentas como o correio eletrônico, listas de discussão e salas de chat, sendo monitorado no acesso a estas, assim como no acesso ao curso. O professor deverá dispor também de uma ferramenta para construção de questionários, para que possa construir um Banco de Dados, onde a seleção das questões seja feita de forma aleatória. A figura 3.2, apresenta esta estrutura.
Figura 3.2 – Mecanismos para preencher o modelo
3.2 Técnicas de Decisão em Grupo
Técnicas de decisão em grupo, são métodos onde um grupo procura a resolução de um determinado problema, através da troca de informações entre si.
Conforme Souza [SOU 93], dentre as diversas técnicas de decisão, pode-se destacar três:
A técnica Grupo Nominal é uma técnica onde os membros estão agrupados fisicamente, mas não interagem entre si. O funcionamento básico, consiste de que ao apresentar-se uma questão, os participantes geram suas idéias, as idéias são apresentadas uma por vez, logo após todos terem sido apresentadas é feito uma discussão e avaliação das idéias geradas. Em seguida faz-se uma votação, dando uma nota a cada idéia, e ao final é discutido o resultado obtido.
Na técnica Delphi, os participantes estão dispersos, e o processo está baseado em questionário que é elaborado por um coordenador e apresentado ao grupo, quando cada um compõe sua resposta. O conteúdo das respostas é organizado, quando é apresentado um segundo questionário levando-se em consideração o que foi apresentado. Isto é repetido até o ponto onde não se identifique mais avanços.
A seguir será detalhado o método Delphi, que é
o utilizado neste trabalho, para implementar-se um mecanismo para a avaliação
do aluno.
3.2.1 Técnica Delphi
O método Delphi, desenvolvido pela Rand Corporation, para a Força Aérea dos EUA, é uma técnica utilizada por um grupo de pessoas que tenham conhecimento sobre um determinado assunto, e que possam de alguma forma contribuir com o fornecimento de informações adicionais ao grupo. Aqui não existe interação face-a-face, não sendo necessária a identificação do autor das colocações. Este método é subjetivo, e portanto não tem maior fundamentação matemática.
Neste método, procura melhorar-se uma estimativa inicial, normalmente extremamente grosseira, submetendo os pontos de vista dos indivíduos do grupo para os outros membros do grupo, solicitando a opinião sobre o que foi apresentado, e as razões que levaram a dar esta opinião. Assim, a cada nova entrevista, são fornecidas as opiniões apresentadas pelos participantes, quando cada elemento fará nova participação, levando em conta o que foi apresentado, e assim se procede de maneira sucessiva, até que se atinja um ponto onde não registre nenhum progresso na resolução do questionamento levantado.
Conforme Hiltz e Turoff [TUR 9?], existem muitas definições e opiniões sobre o método Delphi na literatura, podendo destacar:
Desta forma, percebe-se que a essência do método Delphi é a estruturação do processo de comunicação em grupo, permitindo que mesmo em grupos maiores seja possível uma boa circulação de idéias.
É claro que uma das grandes características deste método é a habilidade dos membros de um grupo participarem de forma assíncrona de uma discussão. Esta característica faz com que o membro do grupo possa participar do processo quando sentir-se capaz, dando sua contribuição na parte em que achar estar mais apto por fazê-la. No entanto, mesmo após ter dado sua contribuição, o autor de uma idéia pode rever sua posição, antes que o coordenador do grupo apresente-a ao grupo como um todo.
Outra característica interessante é que a solução de um determinado problema pode apresentar-se de diferentes perspectivas, podendo ser tanto bottom-up como top-down. Além de permitir diferentes visões sobre a mesma questão, pois cada participante tem suas habilidades cognitivas e enxerga o problema por um determinado ângulo, contribuindo desta forma para a solução do problema.
O fato das contribuições serem feitas de forma anônima, faz com que o autor da idéia não se sinta embaraçado caso não se sinta capaz de expressar sua opinião sobre determinado assunto. Além de que quando se conhece o autor de um determinado conceito, a posição que se toma frente a este, torna-se tendenciosa, pelo título ou função que o mesmo tem, ficando difícil descordar ou questionar as colocações. Com o anonimato, procura-se exatamente eliminar alguns preconceitos que normalmente ocorrem em um processo face-a-face.
Todas estas vantagens do método Delphi tem um preço. Como a produção das soluções é feita em paralelo, é necessário uma organização e estrutura que responda as necessidades do grupo. É preciso definir uma estrutura de comunicação, e inseri-la numa rede, produzindo assim uma visão do grupo e uma sincronização dos processos, sendo esta talvez a parte mais difícil do método.
Neste método existe o papel de coordenador da discussão, que é a pessoa responsável pela elaboração dos questionamentos e posterior apresentação dos resultados obtidos. Este deve exercer o papel de moderador, observando nas soluções que são apresentadas se não atingem de forma extremamente grosseira outro membro do grupo, podendo neste caso até alterar a forma como este expressou o pensamento. E também o papel de facilitador, procurando estimular a participação nos questionamentos.
O coração do método Delphi é a estrutura que relaciona todas as contribuições feitas e que produz a visão e perspectivas do grupo. Sendo normalmente divididos em três ou mais fases eliminatórias, mas podendo ser também apresentado de forma contínua, em sistemas informatizados. Para se alimentar esta estrutura, conforme o modelo Trend, é solicitado a cada participante que faça uma avaliação de cada resposta dada. Esta pode ser, por exemplo, entre "verdadeiro", "falso" ou "pode ser", pode atribuir uma nota (de 0 a 10), ou outra forma de se quantificar. O resultado desta avaliação será reordenado, e as proposições que foram consideradas, pela maioria, falsas são recusadas, as verdadeiras são aceitas e as intermediárias ("pode ser") são reapresentadas para avaliação. Ao final são apresentados os resultados.
A parte de análise das contribuições, que é realizada pelo coordenador, em cada fase, tem como objetivo produzir um material que fique com uma apresentação clara da visão do autor sobre o assunto e suas considerações. Para tanto, o coordenador procurará identificar informações que foram omitidas, casos de ambiguidade na interpretação, se a resposta está clara e se não prejudica a busca da solução entre outros.
Delphi como um ferramenta, tem alcançado um bom grau de maturidade,
sendo largamente utilizado em empresas, sozinho ou em combinação
com a técnica de grupo Nominal [TUR 9?], apresentando-se assim como
um bom meio para a cooperação de grupos.
Busca-se a melhor forma de fazer o rastreamento ou monitoramento do aluno no curso, registrando cada passo que é dado, e apresentando estas informações de forma que o professor possa ter a noção exata do andamento do curso, no que refere-se a maneira com que o aluno tem participado do curso. É claro que neste caso o aluno deverá identificar-se ao iniciar o curso.
O rastreamento é importante primeiramente porque permite ao professor monitorar o progresso dos alunos no curso, registrando cada passo dado, mostrando assim que tipo de acesso o aluno tem feito (unidades visitadas, ferramentas utilizadas, etc), bem como o tempo gasto com o acesso desses [GIB 97].
O mecanismo de rastreamento também é importante, pois pode ser um guia do aluno, em virtude dos recursos que tem utilizado, e das páginas que tem acessado, pode orientá-lo em como proceder para ter um melhor aproveitamento do material. Com o uso deste recurso dinâmico, o sistema mais facilmente se adaptará as diferentes necessidades dos alunos.
A forma não-linear, não-hierárquica com que os cursos normalmente são estruturados na Web, faz com que muitas vezes o aluno perca a direção de onde está e para onde vai. Para isto, também pode-se usar um sistema de rastreamento que identifique as páginas acessadas pelo aluno, e desta forma possa orientá-lo a seguir no curso [BRA 96].
No rastreamento, o foco está no fato da estratégia de avaliação estar baseada na captura automática e análise sobre as ações do usuário. Procurando desta forma, informações que vão além do estilo tradicional de avaliação [HOO 98].
Com este recurso, o professor pode verificar o grau de dificuldade e de interesse de um determinado item, e então proceder com as devidas alterações para que os alunos tenham um melhor aproveitamento do conteúdo. Pode também verificar o ponto onde o aluno está, e então poder orientá-lo para que agilize o acesso ao material, para que consiga encerrar o curso sem que haja a necessidade de atropelos, entre outras utilidades. É importante que o aluno também tenha acesso a este tipo de informação, para que esteja ciente sobre o seu comportamento, visto da visão do professor.
Dentre as formas de implementação deste tipo de recurso via Internet, pode-se destacar:
3.3.1 Análise do Log do Servidor WWW
O servidor Web gera várias informações de acesso. Para o tipo de informação que pretende-se obter aqui, deve-se utilizar apenas as informações geradas pelo log de acessos ao servidor HTTP, através de consultas às páginas disponibilizadas no servidor, principalmente as páginas HTML.
Os arquivos de log dos servidores WWW, são arquivos no formato texto, e que contém informações sobre os acessos as páginas do sistema. Ele possui um registro completo da atividade do servidor, no entanto extrair informações dos dados brutos não é uma tarefa simples.
Neste tipo de solução, é necessário a implementação de um analisador de logs, que possa fazer a varredura do arquivo de logs, e obter informações sobre o comportamento de cada aluno, que deverá ter uma identificação única dentro do sistema.
Desta forma, será possível obter-se cada passo que o aluno
deu, e assim identificar alunos mais ativos.
3.3.2 Applet Java
Para se monitorar cada passo que o aluno dará ao acessar o curso, pode-se implementar um applet Java, que é ativado no momento em que o aluno acessa o curso.
Nesta solução deverá existir um applet Java monitor, que trabalhará no lado do cliente (browser), enviando mensagens sobre os passos do aluno para outro applet Java, o receptor, que estará no servidor, conforme figura 3.3. As informações que são passadas incluem o curso que está sendo acessado e o nome do usuário. Para cada mensagem recebida, o applet receptor fará um acesso ao BD, onde registrará as informações recebidas, juntamente com a data e horário em que ocorreu.
Figura 3.3 - Funcionamento da Applet Java
Desta forma, tem-se um BD com as informações de cada atividade
executada pelo aluno, de onde deverá ser obtido as informações
para a avaliação do aluno.
3.3.3 Common Gateway Interace (CGI)
Outra forma de fazer o rastreamento é construir todas as páginas que serão acessadas no curso através de um script CGI. Assim, cada vez que o aluno solicitar o acesso a um página ou recurso deverá fazê-lo através de um CGI, quando então será feito o registro da identificação do aluno, a página que está acessando e o momento em que está fazendo isto (data e hota). Desta forma fica fácil obter-se uma relação das páginas que já acessou e das que ainda deverá acessar [BRA 96].
A figura 3.4 apresenta o funcionamento básico desta tecnologia. Ali, pode-se observar que ao solicitar acesso ao servidor (1), imediatamente é retornado ao cliente uma página (CGI), onde o aluno deverá identificar-se através do seu nome (id) e senha (2). Após preenchimento com os dados do aluno, a solicitação é enviada ao servidor para validação (3). Conseguindo acesso ao curso, então o servidor criará um registro no BD de Logs (4) armazenando o id do aluno, a página que acessou (página inicial), a data e a hora que isto ocorreu, quando o BD retornará um flag dizendo se a operação foi completada com sucesso (5). Em seguida, retorna ao cliente uma página CGI com a página inicial do curso (6). A cada nova solicitação de página ao servidor os passos 4 e 6 são repetidos [HAZ 98a].
Figura 3.4 - Funcionamento da CGI
É muito importante que a parte de segurança no acesso as CGI seja verificada a cada tentativa de acesso, fazendo a validação do usuário, para que possa fazer o devido registro.
Desta forma, tem-se um Banco de Dados com todas as ações tomadas pelo aluno no curso, e através destas informações será possível montar relatórios dos mais variados formatos.
Em muitos casos, os scripts CGI são escritos utilizando a linguagem
Perl, por ser uma linguagem de fácil aprendizado, modificação
e também por ser portável para vários sistemas operacionais.
3.3.4 Geração dinâmica de páginas
Na geração dinâmica de páginas, deve existir um módulo inicial, que ao receber uma requisição de uma determinada página, ele abre uma conexão URL com o servidor WWW destino, busca a página e devolve-a para o navegador do cliente, de forma transparente.
No momento em que o módulo de navegação busca a página no servidor remoto, ele modifica seus links de modo que todas as futuras requisições do cliente também passem pelo sistema. A figura 3.5 apresenta um trecho do código HTML de uma página modificada.
Na medida em que o usuário navega pelo curso, são armazenadas várias informações, tais como a seqüência de navegação, informações de cada página, entre outras, que serão utilizadas na geração dos logs do sistema.
Através da geração dinâmica das páginas,
obtém-se um controle bastante apurado das operações
dos alunos, no entanto faz-se necessário a inclusão de um
link para o encerramento da sessão, para que se registre o tempo
final de conexão.
Figura 3.5 – Página modificada
3.4 Teorias de Aprendizagem
O processo de avaliação pressupõe uma teoria de
aprendizado. Para um melhor entendimento sobre as principais correntes
existentes, no que diz respeito ao processo de aprendizagem, é apresentado
a seguir uma descrição das principais características
delas, e o seu impacto na Educação a Distância e na
forma de avaliar-se o aluno.
3.4.1 Teoria Comportamentalista
Neste tipo de abordagem acredita-se que os comportamentos complexos podem ser interpretados a partir de conceitos e princípios simples, e que a aprendizagem é um processo pelo qual o comportamento é modificado como resultado da experiência, ou seja, mecanicamente determinada por estímulos externos, podendo ser resumido como [BLA 95]:
A ênfase está na programação do ensino. Existe todo um planejamento cuidadoso da aprendizagem, das seqüências das atividades de estudo, sendo totalmente linear e guiado. O professor tem como função planejar, arranjar e controlar a aprendizagem para um maior desempenho, sendo ele e os textos a fonte de informação. Ao aluno cabe adquirir os comportamentos desejáveis, fazendo os ajustes necessários. Todo o processo de ensino-aprendizagem é direcionado, programado a atingir os objetivos e habilidades que levem a competência. O aluno precisa de incentivos e motivação para compreender e cumprir os requisitos colocados pelo professor, devendo ser premiado de acordo com um padrão que é definido para a sua classe. O aluno é ensinado a procurar a resposta certa, segundo o método do professor.
A primeira versão de softwares educacionais, e muitos ainda hoje, são projetados de forma linear, usando princípios do comportamentalismo [BLA 95]:
Como formas da utilização desta teoria na EAD [LAA 97], tem-se:
A avaliação está voltada aos aspectos mensuráveis e observáveis do comportamento. Visa o progresso do aluno e da estrutura do processo, sendo feita através de testes, desconsiderando todo o processo de aprendizagem do aluno. O papel da avaliação na aprendizagem está num contexto que supervaloriza o acerto (a incidência de erro deve ser igual a zero). A avaliação deve ser feita por itens, para que haja controle do estímulo- resposta.
A teoria comportamentalista, ainda tem as seguintes considerações sobre a avaliação do aluno [DIE 91]:
3.4.2 Teoria Construtivista
O Construtivismo é uma filosofia de aprendizado baseada na premissa de que pela reflexão de nossas experiências construímos nosso próprio entendimento sobre o mundo em que vivemos. Cada um gera suas próprias regras e modelos, e o aprendizado é um processo de ajuste do nosso modelo mental para acomodar novas experiências. Daí o termo construtivismo, pois acredita que uma pessoa aprende melhor quando participa de forma direta na construção do conhecimento que adquiri. Para os construtivistas não se aprende por pedacinhos, mas por mergulhos em conjuntos de problemas que envolvem vários conceitos ao mesmo tempo.
O construtivismo baseia-se nos estudos do psicólogo suíço Jean Piaget, a maior autoridade do século sobre o processo de funcionamento da inteligência e de aquisição do conhecimento. Em sua teoria da formação da inteligência, chamada de Epistemologia Genética, ele apresenta a mais conhecida concepção construtivista. De acordo com suas teorias, o conhecimento é gerado através de uma interação radical do sujeito com seu meio, a partir de estruturas previamente existentes no sujeito. Portanto, a construção do conhecimento ocorre quando ações físicas ou mentais atuam sobre objetos que, provocando o desequilíbrio, resultam em assimilação (incorporação de elementos do meio externo a estrutura do sujeito) ou acomodação (modificação de uma estrutura em função das particularidades do objeto a ser assimilado) e assimilação dessas ações. Adaptação é um equilíbrio entre a assimilação e a acomodação.
Pelo aprendizado ser considerado um processo que está sempre em desenvolvimento, esta teoria foi denominada de Construtivismo, dando-se a idéia de que novos níveis de conhecimento estão sendo indefinidamente construídos através das interações entre o sujeito e o meio.
Desta forma, deve-se considerar a aprendizagem como um processo de transformação do ser humano, envolvendo seus domínios cognitivos, afetivo e psicomotor, e um processo de apropriação do conhecimento e aquisição do saber. Então para que a aprendizagem aconteça, é preciso haver um desenvolvimento integrado do domínio cognitivo, afetivo e psicomotor, levando em conta a dinâmica do aprender e a realidade do aluno; e também a apropriação do conhecimento.
O construtivismo condena a rigidez nos procedimentos de ensino, as avaliações padronizadas e a utilização de material didático demasiadamente estranho ao universo pessoal do aluno.
A combinação visual/sonora da informação, estimula a aprendizagem construtivista, pois proporciona a alteração da dinâmica da memória. Os sistemas hipermídia incorporam esta característica construtivista, por possuir uma estrutura que permite ao aluno Ter um maior controle sobre as lições [EKL 97]. O sucesso do aprendizado recai desta forma no interesse, inteligência e habilidade do aluno em tomar as decisões sobre a seqüência, o tempo e a ênfase das lições.
O aluno é o sujeito do processo, devendo participar ativamente do próprio aprendizado, mediante a experimentação, a pesquisa em grupo, o estímulo à dúvida, o desenvolvimento do raciocínio, a revisão dos seus pensamentos e a apresentação da melhor solução que puderem encontrar. Ele deve, tendo como ponto de partida a sua realidade, apossar-se do conhecimento, considerando as mudanças das suas estruturas cognitivas, afetivas e psicomotoras. Ao saber como se organiza a aprendizagem na estrutura cognitiva, o aluno capacita-se a aprender como se aprende.
Portanto, a EAD com uma abordagem construtivista, deve pautar-se nos seguintes pressupostos:
Nesta abordagem, como função da avaliação temos a verificação de que o aprendizado produziu modificações no comportamento do aluno e na sua capacidade de desempenho, compreendendo a coleta de dados sobre o aproveitamento do aluno, através de provas, exercícios e tarefas ou meios auxiliares. A avaliação deve preocupar-se também com a qualificação, fazendo a comprovação dos resultados alcançados em relação aos objetivos, e conforme o caso, atribuição de notas ou conceitos.
No processo de avaliação temos a eliminação dos testes padronizados, aqui a avaliação torna-se parte de todo o processo de aprendizagem, onde o próprio aluno analisará o seu progresso, e onde tem-se realimentações e reavaliações durante o desenvolvimento do processo. Podemos destacar como principais técnicas de avaliação [FER 98]:
3.4.3 Teoria Cognitivista
Cognição significa qualquer operação mental (percepção, atenção, memorização, leitura, escrita, compreensão, comunicação, etc). A psicologia cognitiva trata de saber como os organismos conhecem seu mundo ou obtêm conhecimentos a respeito deste, e como usam este conhecimento para guiar suas decisões e agir. Procura-se compreender a mente e suas capacidades ou realizações na aprendizagem, de que maneira obtêm o conhecimento e como o utiliza. A aquisição do conhecimento se dá pela pesquisa, investigação, solução de problemas e pelos erros cometidos.
Em contraste ao comportamentalismo, o cognitivismo está mais preocupado em como os indivíduos processam os estímulos que encontram. O estudo desta forma de processar inclui como os indivíduos percebem, interpretam e mentalmente armazenam a informação que eles recebem do ambiente [GRA 91].
Esta abordagem organiza-se de maneira a estimular o desenvolvimento de mecanismos intelectuais, possibilitando a aquisição de novos conceitos, estabelecendo relações, levantando hipóteses e apresentando soluções. Os horários, técnicas e o programa são flexíveis, assim como as atividades e materiais, para que possam atender a diferentes estilos de aprendizagem.
O psicólogo educacional David P. Ausubel [PFR 87] afirmou que decorar passivamento sem atentar para a significação do material, é armazenar na memória itens que tem pouca ou nenhuma associação com a estrutura cognitiva existente no sujeito. A aprendizagem acontece quando o aprendiz trabalha com material potencialmente significativo e que pode ser relacionado com a estrutura cognitiva de um modo não arbritário. Ele realça duas características das estruturas cognitivas: a disponibilidade de idéias relevantes e bem organizadas na mente, e a estabilidade e clareza destas idéias que servirão como base para novos conhecimentos.
Piaget, com suas teorias de como se forma o conhecimento, teve um grande impacto nas teorias cognitivas. Podendo-se destacar a definição de que para o aprendizado ocorrer, o aluno deve assimilar a nova informação na sua estrutura cognitiva existente [GRA 91]. Também tem muita influência na definição dos quatro estágios do desenvolvimento cognitivo.
Ao professor cabe propor problemas sem apresentar soluções. Deve dar aos alunos liberdade para elaborarem suas conclusões, bem como evitar rotinas e respostas padronizadas. Ele atua investigando, pesquisando, orientando e criando ambientes que favoreçam a troca e cooperação. Ele deve criar desequilíbrios e desafios sem nunca oferecer aos alunos a solução pronta, mas deve apresentar a informação de forma organizada e mostrar ao aluno como as idéias novas se relacionam com as antigas. O professor deve observar e analisar o comportamento dos alunos e tratá-los de acordo com suas características peculiares dentro de sua fase de evolução.
Ao aluno cabe adquirir experiência pelo trabalho autônomo, integrar e processar as informações.
Com relação a Educação a Distância, esta teoria tem contribuído com o seguinte [LAA 97]:
Os cognitivistas, tem as seguintes considerações no que refere-se a avaliação do aluno [DIE 91]:
3.4.4 As Teorias e a Educação a Distância
Os sistemas tradicionais de EAD, em geral, vêem o estudante trabalhando sozinho, com o pretexto de auto-aprendizagem e formação de hábitos de estudo. No entanto esta individualização promove a verticalidade e hierarquização das relações, dando ênfase a transmissão do conhecimento [RAM 96]. Ao estudante, cabe basicamente fazer a leitura do material e resolver os exercícios, sem ter direito a influenciar na temática a ser abordada, a metodologia de ensino, pois já está tudo previamente definido.
Conforme Bordanave, sitado em [RAM 96]: "De fato, a mediatização do processo educativo pelos meios de comunicação, que separam o professor dos alunos e estes entre si, conspira contra a educação reflexivo-participativa. Compatibilizar a educação a distância com as educações pedagógicas problematizadoras e libertadoras constitui um desafio para as novas gerações de educadores e comunicólogos."
É necessário uma forma alternativa de Educação a Distância [GUT 94], diferente daquela em que o bom estudante é aquele que a distância possui um conjunto de características que garantam sua capacidade de assimilar eficazmente os ensinamentos dados, sem questionamentos ou desvios, sem necessidade de juízo crítico. Mas esta forma alternativa deve estar em todos os momentos da EAD, iniciando com a forma da produção dos materiais auto-instrucionais, indo até o produto, maneira de acessá-lo e no seu uso.
Se o ambiente em que o estudante aprende é um sistema de multimídia, ele deve permanecer neste ambiente, rico em possibilidades, para proceder regularmente as avaliações [GUA 97].
Hoje, com as ferramentas disponíveis, pesquisadores buscam através de adaptações usar as teorias da educação existentes na Educação a Distância, em face de não haver uma teoria desenvolvida exclusivamente para a EAD.
Laaser, [LAA 97] ao buscar as abordagens teóricas para a Educação a Distância afirma que ainda não foram produzidas teorias completamente novas que possam ser oficialmente chamadas de teorias da Educação a Distância por si próprias. Em lugar têm sido adotadas as teorias de ensino a aprendizagem já desenvolvidas. Abaixo é apresentado uma tabela apresentando alguns autores e a idéia que é utilizada pela EAD:
Para se ter um modelo de uma teoria de EAD, deve-se levar em conta alguns pressupostos educacionais como:
4 SISTEMAS DE AVALIAÇÃO EXISTENTES
Para apoiar o trabalho desenvolvido, e na busca de padrões e
metodologias utilizadas por outras instituições, foi realizada
uma pesquisa, e o seu resultado é apresentado neste capítulo.
Aqui são relacionados seis sistemas de aprendizagem, mostrando a
forma como cada um trata a avaliação do aluno a distância,
e os mecanismos que utiliza neste procedimentos.
4.1 CyberQ
É um sistema de avaliação, desenvolvido pelo grupo Apollo da InterEd [TUC 95], sendo o coração deste sistema um modelo conceitual que pode ser adaptado as plataformas Windows e Unix. Ele gerencia um conjunto de atividades (das mais básicas as mais complexas), através de um software que está instalado em um servidor, e que faz todo este gerenciamento. O sistema funciona de forma transparente tanto para alunos como para professores, automatizando a administração de questões para avaliar a estrutura acadêmica, conteúdo, processo e resultados. Estas questões podem ser aleatórias ou apresentadas quando se chega a alguns marcos. Por exemplo, uma avaliação de 3 minutos pode ser disparada quando o aluno completa uma lição ou a primeira vez na semana em que ele acessa o sistema.
Através do CyberQ tem-se a implementação de uma estratégia de avaliação multi-característica e multi-método de vários alunos e em diferentes níveis, agregando um grande número de informações para avaliações futuras. Possui um baixo custo por unidade
Os componentes funcionais deste sistema são:
4.2 Carnegie Mellon University
O modelo desenvolvido por Carnegie Mellon University [BRU 97] [REN 97], considera a avaliação importante para o estudante, pois é a maneira de estimular o aprendizado, verificando suas habilidades e dando-lhe o feedback necessário. Os resultados de avaliações são a única maneira de monitorar as classes a distância e de adaptar uma aula ao aluno.
O Sistema é baseado em um Banco de Dados (Oracle V7), onde é armazenado todo o conteúdo do curso, através de informações declarativas, e processadas por um sistema genérico. Pelo fato de ter-se todo o conteúdo representado no BD, o registro dos passos do aluno também estar no BD, e a entrega ser feita pelo sistema (Internet), o processo de avaliação fica bem mais fácil. A interface Web do sistema com o BD é feita pelo Oracle Web Server.
Figura 4.1 - Estrutura do Curso Carnegie Mellon
Tem-se também um sistema de segurança e autenticação na rede, mas o aluno necessita de apenas um Web browser e uma conexão à Internet. A segurança é feita com transações SSL Web, e a autenticação com Kerberos login.
As principais informações contidas no BD incluem:
Cada curso possui um número de características específicas para representar e processar a avaliação. Por exemplo, o sistema pode gerar um exame personalizado baseado em um número de diferentes critérios e parâmetros, incluindo os trabalhos já realizados pelo aluno, bem como seus resultados.
A correção é feita automaticamente ou posteriormente pelo professor, caso seja necessário, e o seu resultado (detalhado e personalizado) é enviado para o aluno.
Com relação ao progresso do aluno, cada vez que ele acessa
o Banco de Dados para uma determinada unidade, registra-se o momento do
acesso, bem como a duração deste acesso. A figura 4.1 apresenta
a estrutura do curso.
4.3 WebCT
O WebCT [GOL 97] é uma ferramenta que facilita a criação de sofisticados ambientes educacionais baseados na Web. Podendo ser usado para criar desde cursos on-line até a divulgação de material suplementar para algum curso.
Ele foi desenvolvido em PERL sobre a plataforma UNIX, possuindo cerca de 40.000 linhas de código. É utilizado por mais de 500 instituições, sendo que na University of British Columbia, possui aproximadamente 140 cursos.
Este sistema pode ser dividido sob três aspectos:
Questões de múltipla-escolha podem ser colocadas em algumas páginas do curso, e uma explicação pode ser anexada indicando porque a resposta estava incorreta ou dando informações adicionais. Também tem-se a opção de perguntas on-line, que são feitas enquanto o aluno está acessando o curso, devendo a resposta ser dada de pronto. Sempre é dado um feedback imediato ao aluno. Cada aluno tem acesso as notas que recebeu em todas as atividades já realizadas.
Também é disponibilizado uma área de apresentação, que consiste de uma área para a apresentação do projeto desenvolvido em grupo, sendo visualizada por todos.
As ferramentas de Administração são utilizadas para auxiliar na entrega, manutenção e desenvolvimento do material do curso. Pode-se destacar a identificação do progresso, que pode ser feita através das informações obtidas nas seguintes páginas:
Figura 4.2 - Tela de distribuição do acesso do WebCT
Através de ações simples, pode-se modificar a indexação das tabelas, sendo que os resultados destas consultas podem ser copiados para uma área de trabalho e serem reaproveitados em outro componente, como por exemplo no serviço de e-mail.
Existe também um Banco de Dados de questões, onde as questões são armazenadas e agrupadas por tópicos. Podem ser questões do tipo: true/false, múltipla-escolha, combinação, preencher espaço em branco ou resposta curta. Todas tem feedback imediato indicando a resposta correta e alguma informação extra, menos a resposta curta que possui um modelo de correção aproximado, onde inclui-se o que é correto/errado. É mantido um histórico da performance dos alunos em cada questão, para saber as questões que são mais difíceis
Todo acesso ao WebCT é controlado pelo nome do usuário
e senha. Pode-se também definir importância para cada atividade,
permitindo assim que o conceito final seja gerado automaticamente. O projetista
define os campos do Banco de Dados que interessam e o peso de cada um.
4.4 TopClass
TopClass, foi desenvolvido pela WBT Systems, sendo um poderoso mecanismo
para gerenciamento virtual de classes de ensino, cuidando de todos os aspectos
no que diz respeito ao conteúdo, gerenciamento e entrega do material
[LEN 98], sendo um sistema que trabalha sob a Internet ou Intranet. É
usado por várias instituições, entre elas destaca-se
a University of New York (SUNY).
Figura 4.3 - Funcionamento do TopClass
O Sistema é composto de um servidor que possui um Banco de Dados Orientado a Objeto, onde estão armazenadas todas as informações dos usuários, conteúdo e classes, bem como o serviço de servidor Web. A segurança é feita através de transações SSL.
A migração de uma plataforma para outra é feita simplesmente pela transferência de um servidor para outro, sem qualquer conversão.
A solicitação do usuário é processada como mostra a figura 4.3.
Aqui, os alunos e instrutores são agrupados em classes, podendo participar em mais de uma classe.
O TopClass inclui componentes como:
4.5 ClassNet
Classnet [GOR 96] é uma ferramenta que proporciona automatizar funcionalidades administrativas para classes de ensino, através da Internet. Professores, alunos e administradores, interagem com esta ferramenta apenas usando um Web browser, e desta forma poderão organizar e ter acesso as informações da sua classe, pois o Classnet é quem faz a ligação entre o Banco de Dados e o browser.
Ele consiste de quatro objetos:
Figura 4.4 - Tela do Menu do Instrutor
4.6 AulaNet
O AulaNet é um ambiente de aprendizagem cooperativo baseado na Web, desenvolvido no Laboratório de Engenharia de Software (LES) do Departamento de Informática da Pontificia Universidade Católica do Rio de Janeiro (PUC-RJ), para a criação e assistência de cursos a distância. Existem 1050 alunos e 240 professores registrados. esses professores estão desenvolvendo 72 cursos (dos quais 22 estão disponíveis) sobre os mais variados assuntos, fazendo um total de 509 alunos matriculados.
Os cursos do AulaNet se baseiam nas seguintes premissas:
Como maneira de fazer a comunicação entre professor e aluno, e entre alunos, tem-se os seguintes mecanismos:
As provas são controladas por uma ferramenta de criação
e correção automática desenvolvida no LES, chamada
Quest. Os objetivos do Quest são auxiliar o professor na criação
de provas, dar feedback aos alunos e gerar relatórios para o professor.
esses relatórios são importantes para que o professor seja
capaz de avaliar o quanto os alunos aprenderam e o seu relacionamento com
os objetivos do processo de aprendizagem.
4.7 Comparação dos Sistemas
Como foi observado através deste levantamento, o número de mecanismos de avaliação disponíveis, em alguns sistemas atualmente, é bastante abrangente. Apesar de não se conseguir, em muitos casos, um material mais aprofundado sobre o funcionamento dos sistemas, através de artigos e fisualização dos softwares, ficou clara a preocupação dos autores em fazer com que a avaliação do aluno não esteja restrita a provas, mas sim também através de outras formas, utilizando as tecnologias disponíveis hoje.
A tabela 4.1, apresenta os mecanismos de avaliação utilizados
em cada sistema. Através desta apresentação, é
possível observar que apesar de existirem sistemas bastante complexos,
como o CyberQ, não se tem um sistema completo, mas cada um tem uma
ênfase.
| Mecanismos de avaliação |
|
|
|
|
|
|
| Testes via Web |
|
|
|
|
|
|
| Sistema de Rastreamento |
|
|
|
|
||
| Sistema de análise de textos |
|
|||||
| Testes Web adaptáveis |
|
|||||
| Trabalhos via Web |
|
|
|
|
||
| Testes personalizados |
|
|||||
| Registro de informações trocadas em Chats |
|
|
||||
| Registro de informações trocadas em listas |
|
|
|
Tabela 4.1 - Comparação dos sistemas de avaliação
5 PROPOSTA DE UMA ESTRUTURA PARA A AVALIAÇÃO
COMPLEMENTAR
A teoria de aprendizagem que se apresenta atualmente como guia no processo ensino-aprendizagem é a construtivista. Nela, como já foi mencionado, a avaliação torna-se parte de todo o processo de aprendizagem, onde o próprio aluno analisará o seu progresso, e onde tem-se realimentações e reavaliações durante o desenvolvimento do processo. Pode-se destacar como principais técnicas de avaliação [FER 98]:
Para tanto, é apresentado a seguir, as bases que definiram o
modelo, a estrutura que visa fornecer informações para a
avaliação do aluno, bem como as diferentes formas que estas
informações serão apresentadas estruturadas para que
tragam dados relevantes ao professor e ao aluno.
5.1 Mecanismos segundo Kirkpatrick
Primeiramente, é importante ressaltar que na identificação destes componentes para a avaliação, o que se apresenta não é uma estrutura completa, mas sim que busque exatamente fornecer informações adicionais ao que vem sido normalmente oferecido, que são ferramentas para testes on-line.
Não se pretende com isto, desmerecer ou ignorar a importância destas ferramentas, pois também tem seu papel na avaliação do aluno, mesmo porque é o meio mais utilizado atualmente. O que é proposto aqui é a identificação de mecanismos complementares, que trarão informações extras.
Com relação ao modelo de avaliação de Kirkpatrick(capítulo 3.1), é importante observar que, conforme Gerber [Far 9?], a utilização dos níveis 3 e 4 depende do objetivo para o qual o curso foi criado. Devendo avançar até o nível 3 quando a mudança do comportamento for importante, e até o nível 4 quando os resultados representam a prioridade para quem custeia o curso.
Nos mecanismos desenvolvidos neste trabalho, pretende-se concentrar-se nos níveis 1 (reação) e 2 (aprendizado) do modelo de Kirkpatrick, pois são nestes dois níveis onde se encontraram os tipos de cursos que são alvo deste trabalho. Aqui, o principal objetivo é passar para os alunos determinados conhecimentos, não existindo a figura de um observador, que possa fornecer informações sobre mudanças, especialmente na forma como o aluno coloca em prática no seu dia-a-dia o que foi aprendido.
Neste cenário, e nas busca da identificação de mecanismos complementares que forneçam informações que validarão a avaliação do aluno, foi identificado que para o nível 1 do modelo, a obtenção da reação do aluno, pode ser obtida, em primeira instância, através de informações fornecidas pelo rastreamento, de onde o professor poderá identificar se o aluno está realizando as atividades dentro do esperado. Através do correio eletrônico e sala de chat, buscar identificar o que tem levado o aluno a não reagir bem ao curso. No entanto, ainda faz-se importante uma ferramenta, onde o professor possa buscar a resposta dos alunos de forma mais direta e diferenciada, que seja algo onde o aluno possa expressar sua opinião, dizendo se está gostando ou não da forma e conteúdo apresentado, etc, sendo estimulado a isto. Para tanto, um mecanismo onde o professor possa fazer uma pergunta, e receber as respostas dos alunos, de uma forma simples e direta, e deixando o aluno a vontade, seria de grande utilidade.
Para o nível 2, o aprendizado do aluno pode ser medido primeiramente pelo nível de suas contribuições em listas de discussão e salas de chat. Contudo, isto pode ser muito trabalhoso para o professor, sendo então interessante, uma ferramenta onde o professor possa apresentar uma questão instigadora aos alunos, e deixar que eles mesmos identifiquem as melhores respostas, estimulando assim também o seu senso crítico.
Desta forma, coloca-se a disposição do professor, um conjunto
bastante abrangente de mecanismos, conforme Kirkpatrick, e que virão
a fornecer informações relevantes no que diz respeito a avaliação
do aluno, buscando especialmente a ação informal dele.
5.2 Arquitetura Geral
Chegou-se então, aos seguintes mecanismos, como meio de obtenção de informações para a avaliação do aluno na Educação a Distância:
Figura 5.1 – Os mecanismos conforme Kirkpatrick
Estas funcionalidades, serão implementadas de tal forma, que o professor não necessite de grandes conhecimentos, a não ser a utilização do browser, bem como possa obter os resultados esperados sem grandes manobras e gasto de tempo. Mas que tudo esteja ao seu alcance de forma simples e direto via Internet. Para tanto, pretende-se implementar os recursos, conforme mostrado na figura 5.2.
Aqui pode ser observado que os dados, que fornecerão registros
para a avaliação do fluxo informações, virão
através de ferramentas de Chat, Correio Eletrônico
e Lista de Discussão, onde as duas primeiras terão suas informações
registradas no disco, para posterior busca e seleção de informações
úteis para a avaliação do aluno, registrando-as no
BD. E a Lista de Discussão terá suas informações
registradas diretamente no Banco de Dados.
Figura 5.2 – O modelo proposto
As informações da parte de rastreamento, serão fornecidas através da comunicação da rotina de navegação, que gerencia toda a parte de acesso ao curso na Web, com a rotina de registro de logs, que ficará responsável por armazenar as informações úteis para a avaliação no BD.
A rotina ponto de vista, cuidará de implementar a ferramenta de Ponto de Vista, proporcionando que os alunos primeiramente dêem a sua resposta a questão levantada, e assim que possível façam uma avaliação das respostas dos colegas, mantendo as informações armazenadas no BD, para avaliação posterior.
A rotina que faz implementação da ferramenta Votação, que é de onde o professor poderá, através das respostas dos alunos, ter a idéia explícita da sua reação com relação ao material apresentado, é a Votação.
E por último, a rotina de avaliação, que é a rotina encarregada de buscar as informações armazenadas no BD e apresentá-las de forma organizada ao professor, a fim de que este possa obter informações úteis para a avaliação do aluno, no que diz respeito a utilização dos mecanismos complementares.
A seguir será apresentado em detalhe, cada um dos mecanismos que fará a obtenção de informações para a avaliação do aluno, bem como a forma como se apresentam como solução para a resolução do problema da avaliação informal.
5.3 Mecanismo de Rastreamento
O objetivo deste mecanismo é registrar o caminho que o aluno faz durante o curso, registrando cada página que acessou. O acesso detalhado as outras ferramentas do sistema, será controlado pelas próprias ferramentas, que farão o registro das informações que lhe são necessárias.
Desta forma, serão coletadas informações de como o aluno tem se comportado no curso, através da maneira como tem feito o acesso as páginas. No capítulo 5.7 será apresentado a forma como estas informações serão aproveitadas para auxiliar na avaliação do aluno.
A estrutura que faz esta coleta de informações e armazenamento no BD, é implementada pelo trabalho do aluno Maurício Fiorese, fornecendo informações para a parte de avaliação.
5.4 Mecanismo de Controle do Fluxo de Informações
Assim como ocorre numa sala de aula, os alunos que estão fazendo um curso via Web, devem realizar uma boa comunicação informal entre si, trocando idéias e ajudando uns aos outros, para que não se sintam isolados, e possam também desta forma manter-se estimulados na realização do curso.
Desta forma, este mecanismo fará a monitoração das ferramentas de comunicação que serão implementadas (correio eletrônico, chat e lista de discussão), obtendo destas, informações que sejam relevantes para a avaliação do aluno. Procurando a melhor forma de apresentá-las ao professor para que possa tirar suas conclusões sobre o andamento e aproveitamento do curso.
Observando esta estrutura, é apresentando a seguir, um detalhamento
do funcionamento de cada uma das ferramentas de comunicação
e a obtenção das informações para a avaliação.
5.4.1 Correio Eletrônico
As informações armazenadas, referentes aos mails que serão trocados entre alunos e destes com o professor, conforme apresentado na figura 5.2, ficarão armazenadas de forma seqüencial em disco. Optou-se pelo armazenamento em disco, pois muitas das informações produzidas não serão úteis ao modelo de avaliação, desta forma faz-se uma seleção, sem com isto sobrecarregar o sistema .
Sendo assim, para cada mail enviado, será criado, em um determinado arquivo, uma linha com as seguintes informações:
| Remetente | Destinatario | Data | Hora |
Onde:
| Aluno | Periodo | Prof | Colega1 | Msg1 | Colega2 | Msg2 | Enviada | Recebida |
Onde:
5.4.2 Sala de Chat
Para a sala de Chat, serão armazenadas informações referentes as conversas feitas entre alunos e destes com o professor, conforme apresentado na figura 5.2. Aqui também optou-se pelo armazenamento em disco, primeiramente para aproveitar uma ferramenta já desenvolvida para esta finalidade, e em segundo lugar porque muitas das informações produzidas não serão úteis ao modelo de avaliação, desta forma faz-se uma seleção, sem com isto sobrecarregar o sistema .
Sendo assim, estas informações ficarão armazenadas, de forma seqüencial em disco, tendo registrado em cada linha as seguintes informações:
| Aluno | Texto | Data | Hora |
Onde:
| Aluno | Periodo | Participa | Ultima | Texto1 | Texto2 | Texto3 |
Onde:
5.4.3 Lista de Discussão
As listas de discussão já possuem uma forma natural de armazenarem suas informações, onde para cada colocação ou pergunta feita, os participantes que desejarem apresentam sua posição sobre o assunto. Desta forma as informações já ficam armazenadas de tal forma que as respostas ficam relacionadas as perguntas feitas, sendo um formato aproximado o seguinte:
Contribuição/Pergunta - Aluno autor
Resposta/Complemento - Aluno autor
Para a avaliação, o que interessa neste tipo de mecanismo em primeira instância, é o número de contribuições ou perguntas que o aluno insere na lista, assim como a quantidade de respostas ou complementos feitos. Para tanto, será apresentado ao professor como o aluno tem se comportado na participação da lista de discussão.
Pelo fato das informações estarem todas armazenadas no
BD, o professor tem a sua disposição também um mecanismo
bastante forte de identificação da validade da contribuição
do aluno, dando a noção exata da qualidade das contribuições
do aluno.
5.5 Ferramenta Ponto de Vista
Ao apresentar o método Delphi, no capítulo 3.2, ficou demonstrado a sua adaptabilidade a Educação a Distância como mecanismo que poderá prover, especialmente ao professor, informações que virão a proporcionar subsídios para uma avaliação mais apurada sobre o desenvolvimento do aprendizado do aluno.
Pensando nesta ênfase, e dentro destas caracterísitcas do ambiente onde está inserido o presente estudo, chegou-se a seguinte metodologia para uma ferramenta que utilize o método Delphi, e que procure obter informações sobre o aprendizado do aluno:


Figura 5.3 – Estrutura da ferramenta Ponto de Vista
Uma característica interessante é que pelo fato dos próprios alunos fazerem a avaliação, não existirá sobrecarga de trabalho para o professor, mas é aconselhável que ele verifique as respostas enviadas no início, antes de submetê-las para uma avaliação pelos alunos, percebendo se não existem aberrações ou respostas que fogem ao contexto.
As informações geradas por esta ferramenta serão
armazenadas em um Bando de Dados, de onde o professor obterá informações
para a avaliação do aluno. Primeiro pela qualidade de suas
respostas, na visão dos seus colegas. Em segundo pela freqüência
de participação nesta ferramenta, seja ao dar sua resposta,
seja em avaliar os colegas. E por último pela coerência e
equilíbrio ao atribuir uma nota para as colocações
de seus colegas.
5.6 Ferramenta Votação
Na busca de uma ferramenta, na qual o professor possa elaborar questões para identificar a reação do aluno, de forma bem direta, chegou-se a ferramenta Votação, que funcionará da seguinte maneira:
Esta ferramenta também poderá ser usada como um mecanismo de auto-avaliação, lembrando sempre que o professor deverá elaborar sentenças e alternativas simples e diretas.
As informações geradas por esta ferramenta, ficarão armazenadas no Banco de Dados, de onde o professor obterá informações para poder proceder com a avaliação do aluno. As informações geradas nesta ferramenta, trarão até o professor se o aluno está reagindo bem a forma como o curso vem sendo conduzido, pelo valor de sua resposta, mas também pela sua participação nas questões levantadas, indicando assim que tem procurado participar das atividades do curso.
Lembrando que o objetivo desta ferramenta é obter a reação do aluno ao curso, e não se ele está assimilando algum conhecimento. Portanto, o professor deverá ter bastante cuidado ao elaborar questões neste nível.
5.7 Análise das Informações Geradas
Cada um dos mecanismos implementados, possui relatórios onde apresenta informações sobre o desempenho do aluno naquele mecanismo. Desta forma, caso o professor deseje saber informações detalhadas sobre uma determinada ferramenta, poderá obter estas informações acessando a página da ferramenta, onde terá a sua disposição estes relatórios.
Além destes relatórios, baseando-se nas informações geradas pelos mecanismos de Rastreamento, Controle do Fluxo de Informações, Ferramenta Ponto de Vista e Votação, montou-se um conjunto de páginas Web onde o professor poderá fazer um acompanhamento de perto do andamento do curso para cada aluno, e também páginas que apresentem ao aluno a sua situação no curso.
Não basta apenas coletar informações que sejam relevantes para a avaliação do aluno, é necessário que estas sejam apresentadas em um formato que estimule o professor a usá-las. Não sendo páginas que exijam muito da rede, bem como tragam as informações em formatos resumidos e também detalhados, para que sejam aproveitadas nas diferentes etapas do processo de aprendizagem.
Através da observação destas páginas, o professor poderá identificar alunos que estão em um ritmo muito lento ao acessar o curso, assim como tem participado pouco das discussões em grupo.
Para as ferramentas de Ponto de Vista e Votação, é tratado aqui apenas o resultado final obtido, desconsiderando o processo de elaboração e execução dos questionamentos.
É claro que o nível de detalhe das informações
colocadas a disposição do professor, é muito maior
do que a do aluno. Os tópicos a seguir apresentam os tipos de páginas
e informações que serão disponibilizadas para o professor
e aluno.
5.7.1 Informações Geradas para o Professor
Na busca de proporcionar algo prático e eficiente, sem que com isto se perca na qualidade da avaliação do aluno, identificou-se um conjunto de páginas Web, que disponibilizarão um leque bastante amplo de opções, onde o professor poderá obter informações resumidas e ter uma visão global da turma, até uma visão mais detalhada de certo aluno. Desta forma, o professor poderá monitorar a evolução do aluno no curso e a sua participação nas atividades realizadas.
Para tanto, o sistema colocará a disposição do professor as seguintes páginas:
5.7.1.1 Resumo do Curso
Na busca de uma página, que procure agrupar informações relevantes a nível final para a avaliação do aluno, onde o professor poderá ter de forma simples e direta um extrato da turma, chegou-se ao formato de uma tabela, onde em cada linha será inserida as informações do aluno, com os seguintes campos:
5.7.1.2 Participação
A página de Participação, tem como objetivo, apresentar como esta a participação dos alunos nas atividades que exigem comunicação com os colegas ou discussão com o grupo. É importante que o professor observe como está a participação do aluno, para que possa incentivar aqueles que estão mais inativos, pois o aluno que participa ativamente se sente mais engajado ao estudo, despertando o seu interesse.
Estas informações são apresentadas no formato de uma tabela, onde em cada linha será inserida as informações do aluno, com os seguintes campos:
5.7.1.3 Desempenho do Aluno
Neste tipo de página, o professor terá acesso a informações detalhadas sobre a participação e o desempenho do aluno no curso, no que se refere aos mecanismos complementares de avaliação selecionados nesta proposta. Desta forma, chegou-se a uma página onde serão apresentadas as seguintes informações:
5.7.1.4 Evolução do Aluno
Neste tipo de página, o professor terá acesso a informações detalhadas sobre a evolução do aluno desde que iniciou o curso, no que se refere aos mecanismos complementares de avaliação selecionados nesta proposta. Assim, obteve-se a uma página onde serão apresentadas as seguintes informações:
5.7.1.5 Rastreamento do Aluno
A página de Rastreamento do Aluno, tem como objetivo apresentar ao professor um esboço de como o aluno tem acessado o curso, informando-lhe que tipo de página ele tem gasto mais tempo, quantas páginas já acessou, qual seu último acesso, bem como um histórico dos acessos feitos. Assim, os dados foram organizados em uma página, onde serão apresentadas as seguintes informações:
5.7.2 Informações Geradas para o Aluno
Outro lado da avaliação é a visão do aluno. Aqui é necessária a organização de informações que mostrem ao aluno que imagem o professor vem construindo dele, e de sua participação no curso, é o boletim do aluno.
É importante que o aluno tenha esta visão, primeiramente para que não seja surpreendido ao final do curso pelo seu desempenho. Em segundo lugar para servir de um estímulo para acessar o curso e participar das discussões, pois se sua participação ou desempenho está a baixo da média, é necessário que ele se disponha a mudanças na forma de atuar para que melhore, assim como se tem participado freqüentemente sinta-se recompensado por isto.
Das informações disponíveis para a avaliação, o aluno terá a sua disposição uma página, onde encontrará as seguintes informações:
5.8 Considerações Finais
Através desta estrutura o professor terá uma visão bastante ampla no que refere-se a forma como o aluno vem participando no curso, e se vem se sentindo estimulado pela maneira como o conteúdo lhe é apresentado.
Com a utilização dos mecanismos de Rastreamento, Controle do Fluxo de Informações, Votação e Ponto de Vista, apresentados anteriormente, proporciona-se ao professor quatro visões sobre o desempenho do aluno no curso, cumprindo desta forma com um dos requisitos para que se tenha uma avaliação mais completa, que é a abrangência.
Também é através destes quatro mecanismos que o professor poderá dar uma maior credibilidade na forma como conduz a avaliação, pois terá a sua disposição informações provenientes de várias fontes.
A seguir é apresentado como foi implementado o protótipo,
que coloca em prática esta estrutura.
6 A implementação do Protótipo
A fim de validar este modelo de avaliação complementar,
foi desenvolvido um protótipo. Este capítulo apresenta o
ambiente em que foi desenvolvido e implementado este protótipo,
e a descrição de cada parte que o compõe.
6.1 Plataforma de Hardware
O protótipo foi desenvolvido para uso em qualquer tipo de configuração de equipamento, desde que conectado a Internet, e que possua sistema operacional compatível com os softwares necessários a sua operação.
Com o objetivo de deixar o protótipo disponível de forma facilitada, optou-se pela sua instalação na estação Sparc - ULTRA 1, que possui 64 Mb de memória, e que está instalada na rede da UFRGS, possuindo o endereço IP 143.54.1.30, nome da máquina é penta2.ufrgs.br, sendo o servidor de nomes é a própria máquina.
Esta estação está conectada a Internet através
do link da RNP, tendo seu acesso especialmente facilitado para equipamentos
conectados a esta rede. Não existe qualquer restrição
quanto à utilização simultânea do protótipo
pelos usuários (alunos, professores e administradores).
6.2 Recursos de Software
O desenvolvimento do protótipo exigiu vários recursos de software, alguns já disponíveis na estação SUN no momento de sua implantação, e alguns instalados especificamente para este trabalho, sendo eles:
Neste capítulo será apresentado como foi implementado cada mecanismo para que forneça informações para a avaliação do aluno.
Primeiramente é importante destacar, que toda a parte da identificação
do aluno no curso (username, senha, etc), bem como a parte de cadastro
de informações iniciais aos cursos, ficam a cargo do sistema
desenvolvido pelo Maurício Fiorese, e que trabalha em conjunto com
este trabalho.
6.3.1 Mecanismo de Rastreamento
O mecanismo de Rastreamento, como já foi mencionado anteriormente, foi implementado por Maurício Fiorese. Dentre as funções desenvolvidas pelo seu protótipo, a parte que tem maior relação com a avaliação do aluno é o módulo de geração de logs.
Neste módulo, são armazenadas informações sobre a atividade dos usuários no sistema. Estas informações referem-se às sessões e à seqüência de páginas acessadas pelos usuários. Dentre as informações da sessão destacam-se a data e hora de acesso, tempo despendido em cada sessão, endereço IP da máquina do usuário e agente do usuário - HTTP_USER_AGENT ( contém o nome e a versão do navegador do usuário ). Além disso, armazena a seqüência de navegação do usuário, contendo informações sobre cada página acessada como título da página, URL, data e hora de acesso, tamanho da página e taxa e tempo de leitura. A figura 6.1 apresenta uma parte do log gerado no final de uma sessão.
Figura
6.1 - Log gerado no final de uma sessãoA implementação desta parte foi feita utilizando-se Servlets
e JDBC. As servlets fornecem um mecanismo simples e consistente para estender
a funcionalidade de um servidor web. Uma servlet pode ser pensada
como uma applet que roda no servidor. A JDBC é uma API que
permite o acesso à qualquer fonte de dados através de programação
Java. Ela consiste em um conjunto de classes e interfaces escritas em Java,
fornecendo conectividade o SGBD MySql.
6.3.2 Mecanismo de Controle do Fluxo de Informações
O controle do fluxo das informações trocadas entre alunos, e destes com o professor, foi implementado através do controle das ferramentas de comunicação mais comumente usadas que são o correio eletrônico, sala de chat e lista de discussão.
A seguir será apresentado em detalhes como ficou esta implementação.
6.3.2.1 Correio Eletrônico
Para facilitar a manutenção do sistema, sem que seja necessário a criação de usuários no Sistema Operacional Solaris, e também para a praticidade dos usuários do sistema, de forma que tenha acesso a tudo de forma direta, mantendo-se um determinado padrão, optou-se pelo desenvolvimento de um sistema de correio eletrônico para esta aplicação.
Para tanto, cada aluno e o professor, possuem um arquivo com a extensão .IN e outro com a extensão .OUT, onde ficam registrados os mails recebidos (.IN) e enviados (.OUT). Também existirá uma arquivo com a extensão .LOG onde ficarão armazenadas as informações de cada mail enviado, conforme descrito no capítulo 5.4.1. A figura 6.2 apresenta esquematicamente como o sistema armazena as informações, a partir do momento que o aluno/professor decide enviar um mail para alguém.
A leitura dos mails recebidos consistirá então da leitura do arquivo com a extensão .IN, sendo organizado de tal forma que primeiramente apareçam os mails ainda não lidos, ordenados do mais antigo ao mais recente, em seguida os demais mails recebidos.
Figura 6.2 - Funcionamento do envio de mensagens
A figura 6.3 apresenta a tela para envio de mensagens. Observe que, para facilitar, no campo destinatário são apresentados todos os alunos do curso para quem pode ser enviado um mail. O aluno também tem a opção de enviar uma mensagem para todos os alunos do curso, ou para a lista de discussão, de forma facilitada.
Figura 6.3 - Tela de envio de mensagens
A tela onde é apresentado ao aluno os mails recebidos esta representada na figura 6.4. Observe que o sinal "N>" antes do assunto da mensagem indica que é uma mensagem não lida ainda, e "R>" indica uma mensagem já respondida.
Figura 6.4 - Seleção de um mail para leitura
A partir do momento em que o aluno resolve ler um mail, é
apresentado a ele o texto que lhe foi enviado, e se desejar poderá
responder o mail recebido ou excluí-lo, conforme mostrado
na figura 6.5.
Figura 6.5 - Leitura de um mail
A geração de informações para o Banco de Dados, está esquematicamente representada na figura 6.6. E sempre que for feita, percorrerá todo o arquivo mail.log, agrupando as informações de cada aluno, e armazenando no BD. Desta forma, cada vez que for executada, será realizado o registro sobre a participação do aluno do início do curso até a data em que a geração foi feita.
Figura 6.6 - Geração de informações ao BD
O professor tem a sua disposição
duas formas de ver como está a participação do aluno
na utilização do Correio Eletrônico. Numa primeira
forma, apresenta-se informações referentes a participação
geral no curso, o que tem representado as suas contribuições
para o curso em geral, e é apresentado na figura 6.7.
Figura 6.7 - Participação no correio eletrônico
Outra visão fornecida para o professor refere-se exatamente a forma como o aluno vem evoluindo no curso. Desta forma o professor poderá perceber se o aluno esta se sentindo estimulado a participar, ou como vem percebendo a utilização deste recurso. A figura 6.8 apresenta este relatório.
Figura 6.8 - Evolução na participação
6.3.2.2 Sala de Chat
A ferramenta de chat foi implementada baseada na CGI de nome everychat.cgi, disponível na Web. No entanto, foram necessárias algumas modificações, para que se adequasse a ênfase que é dada neste modelo, que é a avaliação do aluno. A figura 6.9 apresenta como ficou a tela da sala de chat.
Figura 6.9 - Sala de
chat
Desta forma, o sistema se comporta da seguinte maneira. Ficam armazenados em um determinado arquivo, as últimas vinte e cinco participações no chat, com o username, data e hora. Sempre que é realizada uma nova participação, a mais antiga é removida deste arquivo e inserida em um arquivo de logs, onde ficará como registro da participação do aluno. A figura 6.10 apresenta esquematicamente como fica este registro.
Figura 6.10 - Funcionamento da sala de chat
De tempos em tempos, o professor deverá fazer a transferência das informações úteis da sala de chat para o Banco de Dados. Que consistirá da varredura do arquivo de logs, ignorando as informações que já foram contabilizadas na geração anterior, identificando, para cada aluno, as suas participações, e escolhendo de forma aleatória três participações. Através da figura 6.11 é possível visualizar esquematicamente como funcionará este processo.
Figura 6.11 - Geração para o BD
O professor tem a sua disposição duas formas de ver como
está a participação do aluno na sala de Chat. Numa
primeira forma, apresenta-se informações referentes a participação
dos alunos num determinado período, que identifica a data em que
foi realizada a geração. Aqui, o que se tem é a participação
entre uma geração e outra, e é apresentado na figura
6.12.
Figura 6.12 - Participação num período
Outra forma de verificar a participação do aluno nesta ferramenta, é a apresentação de como tem sido a sua evolução desde o início do curso. Aqui, as informações procuram fornecer subsídios para que o professor veja como o aluno vem se comportando do início do curso até a última geração. O formato que foi elaborado, é apresentado na figura 6.13.
Figura 6.13 - Evolução na sala de Chat
6.3.2.3 Lista de Discussão
A ferramenta de lista de discussão foi implementada totalmente no Banco de Dados, pelo mesmo motivo que levou a criação do correio eletrônico, que são a praticidade, em não precisar-se criar contas para cada aluno no UNIX, e pelo fato da ferramenta estar integrada ao sistema, seguindo o mesmo padrão dos demais recursos.
Sendo assim, foram criadas duas tabelas. A primeira conterá as perguntas ou mensagens enviadas à lista, iniciando assim uma discussão, e tem seguinte formato:
| Curso | Id_pergunta | Aluno | Assunto | Mensagem | Data |
Onde:
| Curso | Id_pergunta | Aluno | Assunto | Mensagem | Data |
Onde:
Para facilitar e estimular a participação dos alunos,
a leitura de perguntas e respostas enviadas pelos colegas, será
feita dentro da própria ferramenta de correio eletrônico,
que é uma ferramenta que o aluno deverá acessar diariamente.
Da mesma forma o aluno poderá enviar perguntas e respostas para
a lista de discussão através desta ferramenta.
Figura 6.14 - Tela para envio de mensagem à lista
No entanto, se o aluno desejar, poderá utilizar as opções disponíveis dentro da lista de discussão para envio de perguntas e respostas. As figura 6.14 e 6.15 apresentam, respectivamente, a tela para envio de perguntas e respostas à Lista de Discussão.
Figura 6.15 - Envio de resposta à lista
Sempre que o aluno ou o professor desejarem observar, de uma forma organizada,
as mensagens que já foram enviadas à lista, podem fazer isto
selecionando a opção Observar a Lista. A figura 6.16
apresenta a forma como estas informações são apresentadas.
Figura 6.16 - Observação das contribuições à Lista
Para que o professor possa verificar como está a participação do aluno na lista de discussão, é colocado a sua disposição um relatório, onde é apresentado os números gerais desta ferramenta, bem como o que tem representado a contribuição de cada aluno. Este relatório é apresentado na figura 6.17.
Figura 6.17 - Participação na Lista
6.3.3 Ferramenta Ponto de Vista
A ferramenta Ponto de Vista, descrita no capítulo 5.5, foi implementada utilizando-se de três tabelas. A primeira conterá as informações referentes a questão elaborada pelo professor, e tem seguinte formato:
| Curso | Id | Descricao | P_resposta | P_aval1 | P_aval2 | Data | Status | Limite |
Onde:
| Curso | Aluno | Id | Media1 | Dado1 | Media2 | Media2 | Data |
Onde:
| Curso | Aluno | Id | Colega | Nota1 | Nota2 |
Onde:
Figura 6.18 - Inclusão de pergunta
As datas limites, representam um controle à participação dos alunos. No entanto, o professor deverá encerrar cada etapa, podendo fazer isto independente das datas. A figura 6.19 apresenta a tela onde o professor poderá encerrar o período para as respostas. E assim deverá proceder para cada etapa do processo.
Figura 6.19 - Tela de
encerramento de período para respostas
No decorrer da votação, o professor terá acesso a relatórios, como o apresentado na figura 6.20, onde poderá observar, em detalhes, como está o andamento da votação, e como está a participação de cada aluno.
Figura 6.20 - Participação
dos alunos
Caso o professor deseje saber como o aluno tem avaliado seus colegas, que notas tem atribuído às suas participações, o sistema oferece a ele um relatório onde estas informações são apresentadas de forma detalhada. A figura 6.21 mostra como estes dados ficaram organizadas.
Figura 6.21 - Relação de notas atribuídas aos colegas
Para o aluno, está disponível uma opção que é a participação na ferramenta. Através desta opção ele deverá, em primeiro lugar, enviar uma resposta a pergunta apresentada pelo professor, conforme mostrado na figura 6.22.
Figura 6.22 - Elaboração de resposta à questão
Após o professor ter encerrado o prazo para respostas, o aluno deverá fazer uma avaliação das respostas dos seus colegas. Para tanto, o sistema lhe apresenta cada resposta dada, e o aluno deverá então atribuir uma nota de 3 a 10 para cada resposta. As opções são apresentadas sem o autor, o que torna o processo mais isento. A figura 6.23 mostra como ficou esta etapa.
Figura 6.23 - Avaliação
da resposta dos colegas
Durante todo o processo
de votação, o aluno tem a sua disposição um
relatório onde poderá observar os resultados de sua participação
na ferramenta, bem como verificar que tipo de passo deverá dar para
dar continuidade ao processo. A figura 6.24 apresenta este relatório.
Aqui as perguntas são apresentadas em ordem decrescente da data
de envio.
Figura 6.24 - Relatório de participação
6.3.4 Ferramenta Votação
A ferramenta Votação, descrita no capítulo 5.6, foi implementada utilizando-se de duas tabelas. A primeira conterá as informações referentes a questão elaborada pelo professor, e tem seguinte formato:
| Curso | Id | Descricao | Alt1 | Alt2 | Alt3 | Alt4 | Alt5 |
Onde:
Figura 6.25 - Elaboração de questão
A segunda tabela utilizada para implementar esta ferramenta, conterá informações referente as respostas dos alunos, e tem o seguinte formato:
| Curso | Aluno | Id | Resposta | Data |
Onde:
Figura 6.26 - Resultado geral da votação
Caso deseje observar os
detalhes deste processo de votação, está disponível
uma opção onde são apresentadas informações
detalhadas da participação de cada aluno, conforme mostrado
na figura 6.27.
Figura 6.27 - Resultado detalhado da votação
Para o aluno, está disponível inicialmente a opção para responder as questões levantadas para o professor. Aqui, diferente da ferramenta Ponto de Vista, o aluno não tem um limite para responder, mas é estimulado a fazê-lo pois somente poderá ver os resultados, a partir do momento que responder a questão. A figura 6.28 apresenta a tela onde o aluno deverá dar sua resposta. Observe que é apresentado um campo comentário, onde o aluno poderá registrar alguma informação adicional.
Figura 6.28 - Participação do aluno
O aluno também tem a sua disposição um relatório onde poderá observar os resultados das votações que participou, conforme apresentado na figura 6.29. Caso exista alguma questão que ele ainda não participou, aparecerá uma mensagem no início da página, alertando-o para isto.
Figura 6.29 - Participação do aluno
6.4 Páginas dos Resultados para o Professor
Como foi apresentado, cada mecanismo possui recursos para que o professor possa visualizar como está a participação do aluno, naquele mecanismo.
No entanto, faz-se necessário que o professor tenha também uma visão integrada, buscando informações em cada um dos mecanismos, e apresentando ao professor, para que este possa perceber como o aluno vem se desenvolvendo no decorrer do curso.
Desta forma, como mencionado no capítulo 5.7, delimitou-se alguns relatórios. Num primeiro, o professor obterá informações resumo sobre o curso, buscando-se informações em cada um dos mecanismos. Aqui, a primeira informação da tabela é a média da turma naquele mecanismo, facilitando desta forma a identificação do rendimento do aluno. A figura 6.30 apresenta este relatório.
Figura 6.30 - Resumo
do curso
Um segundo relatório, busca-se indícios da participação dos alunos no curso. Aqui, para cada mecanismo são selecionadas as informações que apresentam a freqüência com que os alunos tem participado daquele mecanismo. Da mesma forma como o anterior, a primeira informação apresentada é a média da turma. A figura 6.31 apresenta como as informações são apresentadas.
Figura 6.31 - Participação
no curso
Outro relatório, procura apresentar como um determinado o aluno tem se desenvolvido no decorrer do curso. Aqui, busca-se informações de cada um dos mecanismos, no que diz respeito a participação e ao desempenho dele nas ferramentas. As informações que foram selecionadas, e que preenchem esta necessidade, são apresentadas na figura 6.32.
Figura 6.32 - Desempenho do aluno
Além deste relatório, o sistema também deixa a disposição do professor um relatório da evolução do aluno, onde apresenta informações desde o início do curso, separando-as em período, demonstrando assim como o aluno vem se comportando no decorrer do curso. E também um relatório de rastreamento, onde o professor poderá visualizar que tipos de acessos o aluno tem feito ao site do curso.
6.5 Página dos Resultados para o Aluno
É claro que o aluno necessita também ter acesso a informações, que lhe sirvam de guia, e também de estímulo no seu desempenho no curso.
Para tanto, foi elaborada uma página onde o aluno terá
acesso a informações referentes aos índices alcançados
no decorrer do curso, e desta forma poder observar como tem sido seu desempenho.
Esta página é mostrada na figura 6.33.
Figura 6.33 - Boletim do aluno
É claro que além desta página, em cada ferramenta
o aluno tem acesso as informações referentes aquele mecanismo.
7 ESPECIFICAÇÃO EM SDL DOS MECANISMOS
Este capítulo contém a especificação formal do sistema proposto em SDL ( Specification and Description Language ). Segundo [TRI 92], o propósito desta linguagem é prover uma especificação e descrição dos sistemas de telecomunicações de forma não ambígua.
O SDL possui duas formas de representação dos sistemas. Uma forma textual (SDL/PR) e uma forma gráfica (SDL/GR). A forma escolhida para representar este sistema foi a SDL/GR (Graphical Representation). Ambas formas são equivalentes.
A proposta da linguagem SDL é descrever o comportamento real do sistema independentemente da linguagem utilizada para implementação.
O sistema possui dois grandes blocos que se comunica com o ambiente externo através de quatro canais bidirecionais. A figura 7.1 apresenta a especificação do sistema de avaliação.
Figura 7.1 – Sistema de avaliação em SDL
Figura 7.2 – Descrição geral da Avaliação Complementar do Professor
Figura 7.3 – Descrição geral da opção chat
Figura 7.4 – Descrição da opção entra sala
Figura 7.5 – Descrição da opção correio
Figura 7.6 – descrição da opção enviar correio
Figura 7.7 – Descrição da opção receber correio
Figura 7.8 – Descrição geral da opção lista
Figura 7.9 – Descrição geral de enviar lista
Figura 7.10 – Descrição geral de responder lista