CPA - Comissão Própria de Avaliação

A CPA é uma comissão autônoma, nomeada pelo Reitor, destinada a conhecer e acompanhar a realidade institucional por meio de avaliações externas e da autoavaliação propondo melhorias relacionadas aos processos educativos. De acordo com o Art. 11 da Lei nº 10.861 de 14 de abril de 2004, que instituiu no Brasil o Sistema Nacional de Avaliação da Educação Superior (SINAES), toda instituição de ensino superior deve constituir sua Comissão Própria de Avaliação (CPA), por ato do dirigente máximo da instituição, ou por previsão do próprio estatuto ou regimento.

QUAIS SÃO AS ATIVIDADES DA CPA? 

A CPA coordena e articula as ações de avaliação institucional, sendo que essas ações envolvem, mas não se limitam a: elaborar o Programa de Avaliação Institucional, sensibilizar a comunidade acadêmica quanto à avaliação institucional, produzir relatórios analíticos, comunicar os resultados das avaliações, buscar a melhoria contínua dos seus processos e elaborar o Relatório Anual de Autoavaliação Institucional.
O grande desafio da CPA é produzir uma autoavaliação institucional de qualidade, que subsidie a gestão na condução de planos de ação para melhorias efetivas.
A autoavaliação institucional é realizada em nível estratégico, tendo como base as 10 dimensões do SINAES, agrupadas em cinco eixos pelo Instrumento de Avaliação Institucional Externa do INEP/MEC:

Para realizar seu trabalho, a CPA reúne-se periodicamente, em intervalos de 2 semanas no período entre novembro e março e em intervalos de 3 semanas entre abril e outubro. Também pode realizar reuniões extraordinárias, seja para acompanhar as avaliações externas a que a Universidade está sujeita, seja para realização de seus trabalhos internos. A comissão é composta por representantes de todos os segmentos da comunidade acadêmica (a saber: docentes, discentes, colaboradores e sociedade civil organizada). Além dos membros da CPA nomeados em portaria do reitor, a comissão conta com apoio técnico-administrativo de colaboradores da PUCPR para realização de suas atividades e com equipes específicas para atendimento a projetos de seu interesse.

Na Avaliação Institucional há um calendário de ações para o ano todo, seguido pela comissão e sua equipe de apoio. Já o restante da comunidade acadêmica vai participar principalmente de dois passos: no passo 1 vai precisar entender a cultura de avaliação e participar dos questionários e enquetes ao longo do ano; no passo 2 vai receber os resultados da Avaliação Institucional nos veículos de comunicação interna, também de coordenadores de curso e outras pessoas da PUCPR, para acompanhar as mudanças e melhorias promovidas pela avaliação.

RELATÓRIO SINTÉTICO DE RESULTADOS DA AVALIAÇÃO INSTITUCIONAL

A avaliação interna (ou autoavaliação) realizada pela CPA da PUCPR faz parte do processo global de avaliação da Educação Superior, que é determinado em lei para todas as IES (Instituições de Ensino Superior) do Brasil e regido pelo Governo Federal através de autarquias como o INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira).

Uma parte significativa da autoavaliação institucional provém de pesquisas com os diversos públicos da comunidade acadêmica e, no sentido de se fazerem conhecer, seguem neste relatório os principais dados das pesquisas realizadas nos últimos anos.

PESQUISA DE SATISFAÇÃO: conhecida assim pela escala de resposta em termos de satisfação ou não com diversos atributos da instituição e dos cursos, é aplicada aos estudantes regularmente matriculados nos cursos de graduação e de pós-graduação, nas modalidades presencial e online. Os índices desta pesquisa são calculados numa escala de 0 a 100. O relatório da pesquisa é detalhado nos níveis de unidade de ensino e curso, além das perguntas individuais de cada bloco temático de questões (atributos). A seguir, algumas figuras ilustrativas de resultados gerais.

Na graduação presencial podemos observar a queda na satisfação no ano de 2020, possivelmente motivada pela imposição do afastamento social na pandemia de Covid. O período de adaptação à nova realidade foi desafiador tanto para estudantes como para docentes, mas nos períodos seguintes observa-se a recuperação do índice e melhoria histórica da satisfação nesse público. Já na educação online houve a queda do índice um ano antes, motivada por questões envolvendo mudança de plataforma (AVA) e ações acadêmico-administrativas. Após enfrentar as dificuldades, os períodos seguintes foram de melhoria do índice e aproximação, em comparação, com a graduação presencial, mostrando a dedicação da PUCPR em atender as necessidades dos estudantes de ambas as modalidades de ensino.

Na pesquisa de Satisfação também são levantados outros indicadores muito importantes, como o NPS (Net Promoter Score) e as observações dos respondentes sobre o motivo de terem atribuído tal resposta. Os textos das respostas abertas, nesse caso, são analisados em uma ferramenta digital, que realiza uma análise de sentimento e classificação do texto usando inteligência artificial para capturar, interpretar e agrupar os comentários em tópicos. A figura a seguir ilustra o resultado dessa análise para a pesquisa aplicada com a graduação presencial em 2023, onde o tamanho da circunferência indica a representatividade do tópico, quanto maior, mais citações ocorreram. As cores indicam se o sentimento da resposta foi positivo, negativo, neutro ou misturado.

Observando a figura, percebe-se que os temas mais descritos nos comentários são “Infraestrutura” e “Ensino”, que apresentam os maiores círculos, eles também apresentam a maior proporção de comentários positivos. Já o tema “Financeiro” se destaca por ter recebido muitos comentários do tipo “misturado”, de onde se conclui que o público reconhece o esforço para resolução, mas ao mesmo tempo está insatisfeito com os problemas enfrentados.

 

AVALIAÇÃO DA EDUCAÇÃO A DISTÂNCIA

Na modalidade de Educação à Distância, a PUCPR oferece cursos em matrizes modulares (trimestrais) ou semestrais. Ao final de cada módulo ou cada semestre, conforme o caso, é aplicada pesquisa com os estudantes para verificação das condições de ensino, avaliação da disciplina, do material didático, dos professores e da coordenação. Além disso, o estudante é convidado a uma reflexão sobre sua própria atuação no processo de ensino-aprendizagem através da autoavaliação.

Uma vez por ano também é aplicado o questionário de Satisfação aos estudantes da Graduação Online, no ano de 2023 contou com participação de 21% dos estudantes, totalizando 1.432 respostas ao questionário. Os textos das respostas abertas, de forma semelhante ao feito na graduação presencial, são analisados em uma ferramenta digital, que realiza uma análise de sentimento e classificação do texto usando inteligência artificial para capturar, interpretar e agrupar os comentários em tópicos. A figura a seguir ilustra o resultado dessa análise, onde o tamanho da circunferência indica a representatividade do tópico, quanto maior, mais citações ocorreram. As cores indicam se o sentimento da resposta foi positivo, negativo, neutro ou misturado.

 

Observando a figura, percebe-se que o tema mais descrito nos comentários é “Ensino”, que apresenta o maior círculo. O tema “Infraestrutura” apresenta a maior proporção de comentários positivos. Os demais temas receberam comentários de todas as categorias. No geral, o cenário denota que há pontos positivos para reconhecer assim como melhorias a fazer.

Independente do formato do questionário, os resultados são disponibilizados aos coordenadores e gestores dos cursos, com o uso de ferramentas de tecnologia, como o Power BI e sistemas internos como o Pergamum Analysis. Ainda, os comentários também são enviados para as áreas de interesse classificadas, para as pessoas responsáveis por tratar e responder às demandas emergentes do processo de avaliação institucional.

 

AVALIAÇÃO DA GRADUAÇÃO PRESENCIAL

ÍNDICE DE BOM ENSINO (IBE)

O IBE faz parte da avaliação institucional, sua nota é computada anualmente para os docentes da graduação presencial, é composta pela avaliação que os estudantes fazem a respeito do docente na disciplina, e integra também a avaliação docente no Plano de Carreira Docente. A pesquisa é composta de 8 perguntas objetivas, sendo uma para validação do questionário que, portanto, não contribui para a nota e mais duas perguntas dissertativas.

Cada professor recebe um feedback com seu resultado individual e os comentários deixados pelos estudantes no campo aberto da pesquisa. Os relatórios gerais são formados pelo agrupamento das notas atribuídas aos docentes com vínculo naquele curso/UA (unidade acadêmica), são apresentados no nível de unidade acadêmica, a saber: Escola de Belas Artes (EBA), Escola de Direito (ED), Escola de Educação e Humanidades (EEH), Escola de Medicina e Ciências da Vida (EMCV), Escola de Negócios (EN), Escola Politécnica (EP), Câmpus Londrina (LDN) e Câmpus Toledo (TLD).

A figura abaixo apresenta os resultados de 2020 até o primeiro semestre de 2023.

O resultado na figura é apresentado por Unidade Acadêmica (Escola ou Campus Fora de Sede, conforme o caso).

O IBE deve sempre ser avaliado levando em consideração que é composto por todas as respostas a respeito de um mesmo professor, consolidadas dentro de seu curso de vínculo. Assim sendo, trata-se do índice que avalia o docente, sempre apresentado numa escala de resposta de 0 a 10. Diferente do IAD, apresentado a seguir, que agrupa as respostas de acordo com o curso de oferta de cada disciplina avaliada, sendo, portanto, uma avaliação da disciplina e que é apresentado na escala de resposta original de 4 pontos (1 a 4).

O questionário que gera os resultados do IBE e do IAD recebeu no 2º semestre de 2022 uma melhoria relacionada ao campo de pergunta aberta, que tinha uma pergunta única (“Caso deseje complementar suas respostas, utilize o espaço abaixo.”) e passou a ser composto por duas perguntas (“Registre aqui os pontos positivos deste(a) professor(a)”, “Deixe aqui sua contribuição, sugerindo melhorias a este(a) professor(a)”). Essa mudança melhorou tanto quantitativamente como qualitativamente as respostas dos estudantes ao questionário, provendo bons subsídios para a identificação de boas práticas e de oportunidades de melhoria.

ÍNDICE DE AVALIAÇÃO DE DISCIPLINA (IAD)

É um indicador de acompanhamento semestral, calculado a partir da mesma pesquisa que gera o IBE, porém considerando o curso da oferta da disciplina.

O relatório da pesquisa é detalhado nos níveis de unidade de ensino, podendo ser desdobrado até o nível de disciplina.

Com a medida sendo obtida a cada semestre, há um histórico de 8 observações entre 2020 e 2023, proporcionando bons insights para o período. Observando o resultado por pergunta é notável que P1, P2 e P3 possuem um resultado superior às demais, o que segue muito de acordo com o perfil da PUCPR, uma vez que essas perguntas versam sobre o domínio de conteúdo do docente, o respeito demonstrado nas aulas e a disponibilidade docente em sanar as dúvidas dos estudantes. As demais perguntas apresentam, ainda, um desempenho muito bom, basta observar que a escala de resposta é de 1 a 4 e a média de todas elas se encontra próximo ou acima de 3,5.

A análise do índice por pergunta ajuda a identificar os aspectos positivos da docência dos professores da PUCPR e quais ponto possuem oportunidades de melhoria. Combinando-se com a análise histórica dos resultados, fomenta a melhoria contínua da relação Estudante-Docente que está no centro dos processos de ensino e aprendizagem.

 

ÍNDICE DE BOA PESQUISA (IBP)

Os Programas de Pós-Graduação na PUCPR também passam por avaliações internas e externas e, todo semestre, os estudantes dos programas de Mestrado e Doutorado são convidados a avaliar o corpo docente de seu respectivo programa. Eles respondem a uma assertiva, com escala de concordância de 4 pontos (concordo totalmente, concordo mais que discordo, discordo mais que concordo e discordo totalmente são as opções de resposta), sendo posteriormente esse resultado transformado para uma escala de 0 a 10 para compor o Índice de Boa Pesquisa (IBP). Na figura abaixo estão apresentados os resultados dos últimos anos, por programa (PPG).

Esse formato de avaliação é aplicado aos PPGs desde 2020 e disponibilizado com diversas informações além do indicador apresentado nos gráficos, como por exemplo a quantidade de respostas recebidas, a porcentagem de participação do público em cada ano e o número de professores avaliados. De forma semelhante ao IBE na Graduação Presencial, também aqui no Mestrado e Doutorado cada professor recebe um feedback com seu resultado individual e os comentários deixados pelos estudantes no campo aberto da pesquisa.

 

AVALIAÇÕES EXTERNAS

Além de se autoavaliar, a PUCPR também recebe instituições externas para realização de avaliações na Universidade. Algumas dessas avaliações são obrigatórias, como as realizadas pelas comissões designadas pelo MEC/INEP (Ministério da Educação / Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira), que realizam o reconhecimento de cursos de Graduação, nas modalidades presencial e online e as avaliações realizadas pela CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) nos cursos de Pós-Graduação Stricto Sensu, nos níveis de Mestrado e Doutorado. No entanto, outras avaliações são opcionais, para as quais a PUCPR se inscreve para participar e obter reconhecimento por sua excelência em ensino e pesquisa. O curso de Medicina, tem a certificação do SAEME (Sistema de Acreditação de Escolas Médicas), os cursos de Engenharia de Produção e Engenharia de Controle e Automação, da Escola Politécnica, são acreditados pela ABET (Accreditation Board of Engineering and Technology), e os cursos da Escola de Negócios (EN) possuem acreditação internacional pela AACSB – Association to Advance Collegiate Schools of Business.

A influência internacional da PUCPR em pesquisa foi reconhecida pelo Times Higher Education World University Rankings (THE) desde a publicação 2015-16, com o 1º lugar na categoria citações, entre 17 IES brasileiras ranqueadas naquela edição. Em 2021 (2019-20), foi considerada a 4ª melhor universidade privada do Brasil na posição geral e a primeira do Paraná em international outlook (pesquisas e citações). No mais recente THE América Latina, 2022, a Instituição subiu no ranking e está em 39ª colocação (em 2021 estava na 45ª) sendo a 3ª melhor universidade privada do país. A PUCPR também tem alcançado destaques nos rankings CWRU (Center for World University Rankings) e QS (Quacquarelli Symonds) World University Rankings.

Maiores detalhes sobre os rankings educacionais podem ser obtidos na página específica no site da PUCPR.

O IGC (ou Índice Geral de Cursos), que é calculado pelo MEC/INEP a partir das notas de CPC dos cursos de Graduação e das notas CAPES dos cursos de Mestrado e Doutorado, leva em conta diversas características de qualidade do ensino e da instituição e cada resultado tem seu peso equilibrado pelo número de alunos matriculados no respectivo curso, no ano do resultado. Nota-se que na PUCPR o índice é crescente em seu valor contínuo e, desde 2014, encontra-se na faixa de conceito 4 de acordo com as métricas estabelecidas para esse indicador.

Os resultados de CPC/ENADE dos cursos de graduação e da avalição CAPES dos programas de Mestrado e Doutorado também são analisados individualmente, para promoção de melhoria contínua no âmbito do curso, da mesma forma que os resultados conjuntos oferecem subsídio para as melhorias institucionais.

 

COMO É COMPOSTA A CPA?

Constituída com representação dos segmentos da comunidade universitária e da sociedade civil organizada, a CPA da PUCPR, com regulamento aprovado pelo Conselho Universitário – CONSUN – pela resolução 412/2019, é composta por membros titulares e suplentes, indicados pelas lideranças da instituição e atendendo ao disposto no edital de seleção (edital 16/2019), nomeados por ato do Reitor para um mandato de três anos para docentes, técnico-administrativos e sociedade civil e de um ano para discentes, podendo ser reconduzidos

Composição

PRESIDENTE DA CPA
Prof. Dr. Paulo Sergio Macuchen Nogas

REPRESENTANTES DO CORPO DOCENTE
Júlio César Nievola (Curso de Ciência da Computação) – Titular
Paulo Sergio Miguel (Curso de Ciências Contábeis) – Titular
Rodrigo Campagnolo (Curso de Agronomia/Toledo) – Suplente
Paulo Henrique Maravieski Brambilla (Curso de Eng. de Produção/Londrina) – Suplente
Camila Ament Giuliani dos Santos Franco (Curso de Medicina) – Suplente
Fabio Inácio Pereira (Curso de Teologia/Londrina) – Suplente

REPRESENTANTES DO CORPO DISCENTE
Eduardo Henrique Custódio Matté (Curso de Cibersegurança) – Titular
Geovana de Almeida Silva (Curso de Direito, Câmpus Londrina) – Titular
Sophia Silva Colmenero de Oliveira (Curso de Psicologia, Toledo) – Suplente
Amanda Castelano Dias (Curso de Direito, Toledo) – Suplente

REPRESENTANTES DO CORPO TÉCNICO-ADMINISTRATIVO
Andreia Ribeiro dos Santos (Escola de Negócios) – Titular
Luciano Cardoso (Escola Politécnica) – Titular
Ana Cláudia da Silva Palomares (Campus Londrina) – Suplente
Marcio Ricardo Vianna (PR de desenvolvimento Educacional, PUCPR Online) – Suplente

REPRESENTANTES DA COMUNIDADE EXTERNA
Gustavo Ribeiro Cercal (Gerente de Projetos da Robert Bosch – Brasil)
Maria Sílvia Bacila (Secretária Municipal da Educação de Curitiba 2017-2024 e Gestora da REBRACE – Rede Brasileira de Cidades Educadoras)