Confira artigo de Flavia Moraes, Professora especialista em Ciência de Dados e de Programação Estatística
A maneira tradicional de se avaliar competências socioemocionais nos indivíduos é através do preenchimento de questionários em que o próprio respondente se autoavalia. São inúmeros os testes disponíveis no mercado e, apesar de muitos deles terem um tratamento estatístico rigoroso, enfrentam algumas limitações que podem ser superadas pelo uso da tecnologia e da análise baseada em dados.
A primeira limitação está na capacidade de concentração especialmente de jovens para responder questionários muito extensos. É muito comum questionários de mais de vinte perguntas e a grande dúvida é a confiabilidade das respostas, tendo em vista que o respondente não está pronto para ficar um período de tempo prolongado respondendo esse tipo de pergunta.
A segunda limitação vem do viés natural das pessoas. Não por má fé ou desonestidade, as pessoas costumam ter uma visão distorcida sobre elas mesmas. São muitos estudos neurológicos que demonstram que nossos lobos parietais – responsáveis por essa função de produzir nossa autoimagem – podem ser gravemente enganados por aspectos psicológicos.
A terceira limitação está no tamanho da amostra. A rigor existe um único indivíduo fazendo a avaliação e é ele mesmo. De modo geral, bons instrumentos de medida deveriam se possível contemplar mais de uma fonte de dados. Isso dá robustez ao processo avaliativo, pois traz em si diferentes perspectivas.
Uma forma de tentar superar essas limitações seria permitir que múltiplos avaliadores pudessem participar do processo. Seria desejável também que o tempo de avaliação fosse sucinto e não demandasse um tempo excessivo. Finalmente, seria bastante valioso que essas respostas curtas e de diferentes avaliadores pudessem alimentar um banco de dados para facilitar a análise seja do ponto de vista individual ou coletivo ao longo do tempo.
Esse tipo de abordagem foi feito pela Voa Educação, uma edtech que recebeu aporte da Microsoft para desenvolver um aplicativo para avaliar as competências socioemocionais em crianças em idade escolar. Fui sócia e diretora de data Science dessa solução que facilitava o registro diários dos professores de comportamentos observados em sala de aula pelos alunos. Os dados eram consolidados pelo aplicativo e alimentava um dashboard que apresentava o desempenho dos alunos em determinadas competências e poderia ser acompanhado em tempo real, facilitando o acompanhamento dos alunos e das turmas ao longo do ano inteiro.
Abordagem similar eu introduzi no IBMEC com mais de dois mil alunos das unidades do Rio de Janeiro, São Paulo, Belo Horizonte e Brasília. Nesse caso, os alunos tinham maturidade suficiente para realizar avaliações em pares através do aplicativo desenvolvido dentro instituição, chamado Iskills. As avalições são realizadas semestralmente dentro de disciplinas baseadas em projetos, em que os alunos trabalham colaborativamente na construção de um projeto ou na resolução de um problema. Ao final, eles têm condições de responder perguntas bem simples e rápidas através do app sobre os comportamentos dos colegas como, por exemplo, sua capacidade de receber feedbacks ou de se relacionar bem com os demais.
Os resultados demonstram que os alunos que recebiam avaliações piores de seus pares também tinham um CR (coeficiente de rendimento) significativamente inferior à média. Por sua vez, aqueles mais bem avaliados em competências como empatia e adaptabilidade, apresentavam CR significativamente superior à média. Os resultados demonstraram também que menos de 10% dos alunos que se encontravam no cluster com as menores avaliações de suas competências socioemocionais se atribuíam notas de mesmo nível em suas autoavaliações. Ou seja, os alunos com piores desempenho não se viam da mesma maneira.
Concluímos, assim, que através do uso de ferramentas digitais é possível aumentar a interatividade dentro de um grupo de trabalho, em especial, dentro de uma sala de aula, a fim de consolidar as visões de diferentes avaliadores sobre os comportamentos de um determinado indivíduo ao longo de um período de tempo especifico. A facilidade no manejo da ferramenta permite que possa ser usado inúmeras vezes sem a necessidade de preenchimento de questionários longos e demorados. Por fim, as observações coletadas podem ser usadas para formar um banco de dados que permite diferentes cortes de análise que vai desde análise dos comportamentos de um indivíduo em particular, uma turma específica ou uma unidade.
*Flavia Moraes é Professora especialista em Ciência de Dados e de Programação Estatística, tem se destacado na aplicação de técnicas de Data Mining para produzir avaliações socioemocionais baseadas em dados através do uso da tecnologia, em contraposição às técnicas tradicionais baseadas no preenchimento de questionários de autoavaliação. Foi pesquisadora visitante do Departamento de Estatística de Berkeley, consultora do Banco Mundial, economista da Área de Gestão de Risco do BNDES e atualmente é professora dos cursos de graduação e de pós-graduação do IBMEC. É coautora do livro “Soft Skills Teens” (Literare Books).
