Envoyé par io2a via Google Reader :
Chroniques précédentes : "Les concepts, les définitions", "Brève histoire du financement selon la performance". La chronique d'aujourd'hui est consacrée à la mesure des résultats des activités et des projets mis en oeuvre par les universités. Sans mesure rigoureuse des résultats obtenus et des ressources engagées pour les atteindre, un financement selon la performance est impossible ; sans mesure de l'efficience et de l'efficacité des universités, un financement selon la performance n'a pas de sens. Mais attention : les mesures quantifiées (les indicateurs) sont indispensables, mais la réalité n'est jamais totalement quantifiable ! Il faut interpréter les résultats quantifiés.
Pour obtenir des mesures rigoureuses des résultats, il existe une condition préalable : celle du renforcement, au niveau national et au niveau local, des structures qui conçoivent et élaborent les outils (les indicateurs), collectent et traitent les informations, diffusent les résultats en toute transparence. Les deux niveaux organisationnels, le national et le local, doivent exister ; sans niveau national, les comparaisons nécessaires dans le temps et dans l'espace sont impossibles ; sans niveau local, il ne peut y avoir de progrès dans le pilotage stratégique de chacune des universités. Mais problème : le niveau national (rôle clé de la DEPP) a été très déstabilisé par la réforme de l'administration centrale des deux ministères (lire la chronique : "le mammouth dégraissé"). Bien des universités encore ne possèdent pas, faute de volonté politique et/ou de moyens, une structure à même d'élaborer des indicateurs rigoureux et cela même si on a vu fleurir, ici et là, des cellules de contrôle de gestion, des services statistiques, des observatoires…
La mesure de l'efficience tout d'abord. Les résultats ont-ils été atteints selon la meilleure optimisation des ressources engagées, c'est-à-dire à quel coût ? Pour le savoir, il faut évidemment une comptabilité analytique : elle est à peine émergente dans les universités, mais elle devrait rapidement progresser avec les contraintes et les opportunités données par la LRU, par le passage aux responsabilités et compétences élargies. Un exemple d'une orientation qui va dans ce sens : celui de Paris 2 Panthéon-Assas qui "s'oriente vers une comptabilité analytique diplôme par diplôme".
Cette comptabilité analytique est difficile à instaurer. Exemples tirés de l'expérience. L'université, dans le cadre de son contrat quadriennal, a obtenu un financement pour créer un Observatoire de la vie étudiante ; ce financement est "noyé dans le pot commun des services centraux" ; impossible en fin de contrat de calculer le coût de l'observatoire qui a été effectivement créé. Le blogueur veut calculer le coût complet d'un étudiant de la licence professionnelle dont il est responsable, n'y parvient que partiellement (cliquer ici) car jamais il n'obtiendra du vice-président en charge des finances de l'université l'information sur le coût à imputer à chaque étudiant pour les différents services centraux.
La comptabilité analytique n'est pas inconnue des universités. Elle leur est imposée par la gestion des contrats européens : elles doivent justifier chacun des euros dépensés. Les comptables européens y veillent : des dépenses effectives sont rejetées car elles ne correspondent pas au cahier des charges ou aux règles comptables en vigueur ; des dépenses engagées doivent être remboursées "à l'Europe" ; les financements attendus en fin de projet (paiement sur service fait) ne parviendront jamais dans les "caisses" de l'université ; un déficit de l'opération s'ensuit pour elle. Il s'agit bien ici d'un financement selon la performance, et plus spécifiquement d'un financement selon l'efficience. Quelquefois, la mesure de l'efficience est extrêmement "légère" : "vous vous êtes engagés à créer un Observatoire, un Bureau d'aide à l'insertion professionnelle, un service du patrimoine, un service de la Validation des Acquis de l'Expérience… ; vous l'avez fait ; OK, rien à dire !". Dans ce cas, il n'y a pas de réelle mesure de l'efficience et de l'efficacité.
Mesure de l'efficacité ou la question des indicateurs de performance. Un immense chantier ! Quelques réflexions sur la méthode de construction des indicateurs, sur leur nombre, sur leur mise en oeuvre au niveau local par un service dédié. Construire des indicateurs. Ils peuvent être prescrits aux universités par le ministère, être élaborés conjointement par le ministère et la représentation des universités (la CPU ?), être construits par chacune des universités "libres et responsables". Chaque approche a ses avantages et ses inconvénients. La prescription par le "Centre" a le mérite de permettre des comparaisons dans le temps et dans l'espace (entre universités), mais elle a l'inconvénient de se contenter d'un petit nombre d'indicateurs (lire la chronique : "Le PAP du PLF de la MIRES"). L'élaboration autonome des indicateurs par chacune des universités a le mérite d'engager plus facilement des démarches de progrès : on se mobilise plus facilement dans les champs d'activité couverts par les indicateurs. Mais il y a un inconvénient : les indicateurs élaborés localement ne sont pas forcément comparables d'une université à l'autre. L'élaboration conjointe ou négociée par le ministère et la représentation des universités est a priori plus satisfaisante, mais elle demande beaucoup de temps et ne peut n'aboutir qu'à des indicateurs de compromis faussement consensuels.
Le nombre d'indicateurs ? Il faut résister à une frénésie : celle de produire des indicateurs toujours plus nombreux. Trop d'indicateurs tuent les indicateurs. Les universités doivent donner la priorité aux indicateurs de résultats, tout en ne négligeant pas les indicateurs d'activité et de moyens mobilisés. Une expérience : celle de la licence professionnelle déjà mentionnée et de ses 62 indicateurs de qualité, centrés progressivement sur 13 indicateurs principaux.
Expérience fragile : le départ en retraite du blogueur a mis en sommeil l'actualisation des indicateurs ; elle demande du temps, beaucoup de temps… L'initiative a été un moment relayée par l'université (conduire deux diplômes à une certification qualité externe), puis a été abandonnée. Une initiative individuelle peut être motrice ; elle est insuffisante. Pour avoir des indicateurs solides et actualisés, il faut avoir des professionnels affectés à un service permanent. Approvisionner en données les indicateurs demande, au préalable, de mobiliser des ressources non négligeables. Un tel service doit être proche de l'équipe de direction de l'université : celle-ci doit en définir le cahier des charges annuel, mais ne pas empiéter sur les activités quotidiennes. Ce service doit avoir une grande indépendance ; elle pourrait être garantie par un commissaire aux statistiques, un commissaire externe.
Indicateurs quantitatifs et interprétations qualitatives. Produire des indicateurs, mesurer leur évolution, comparer leurs résultats avec ceux des autres universités et avec les indicateurs nationaux n'a d'intérêt que pour engager des démarches de progrès. Celles-ci ne sont possibles que si une large place est laissée aux discussions sur les résultats. Un mauvais résultat peut avoir plusieurs explications : il faut les identifier pour pouvoir faire évoluer l'indicateur dans le bon sens. Evaluations quantitatives et évaluations qualitatives sont nécessairement complémentaires.
Chroniques à suivre : les indicateurs de taux de succès, les indicateurs d'insertion professionnelle.
Ce que vous pouvez faire à partir de cette page :
- Vous abonner à Les blogs Educpros.fr à l'aide de Google Reader
- Suivre l'actualité de tous vos sites favoris avec Google Reader
