Le réseau Canopé Le portail educ-revues
 
Écoflash

L'évaluation des politiques publiques : objectifs et indicateurs

Maya Bacache-Beauvallet, Professeur en classes préparatoires, Chercheur PSE-Jourdan

La crise budgétaire des années quatre-vingt a nécessité la mise en place de programmes d'évaluation des actions de l'État, jusque dans les fonctions les plus régaliennes. La demande politique d'une plus grande clarté dans l'administration des fonds publics et l'exigence d'efficacité à l'égard des fonctionnaires ont conduit à l'introduction d'indicateurs de performance dans le secteur public. Celle-ci est délicate à mettre en oeuvre, du fait tant de la définition des objectifs que de la construction précise des indicateurs et de la mesure des résultats, dans des services publics où la performance est difficile à définir et où la production symbolique est fondamentale.

Arès la période de privatisation et de libéralisation des années quatre-vingt, succède dans les années quatre-vingt-dix, dans l'ensemble des pays de l'OCDE, une période d'attaque en règle de la fonction publique. Deux facteurs sont à l'origine de cette mise en cause de l'État.

Le premier élément d'explication réside dans la crise de la dette des pays occidentaux de la fin des années quatre-vingt. Cette crise a mis en évidence une certaine inefficacité gestionnaire de l'État. La deuxième origine est plus politique : l'hypothèse de l'État bienveillant est remise en cause. Dans la conception de l'État, en économie du bien-être, on suppose, en effet, que les fonctionnaires ont une conscience éthique, une loyauté, un sens du service public. L'État recherche l'intérêt général et la question des conflits d'intérêts n'existe pas. L'économie politique a introduit le soupçon sur cette loyauté et sur les motivations cachées, mais réelles des hommes politiques et de l'administration. En France, la création à partir de 1978, de diverses autorités administratives indépendantes telles que la CNIL, le CSA, l'ART, la CRE... témoigne de cette méfiance vis-à-vis des motivations de l'État. Cette remise en cause théorique du bon fonctionnement des services publics et du dévouement des fonctionnaires est concomitante d'une restructuration profonde des services publics dans leur gestion.

La pression des citoyens pour une évaluation de l'État est dès lors importante et provient en partie du discrédit des méthodes de gestion budgétaire. Les exigences formulées par les citoyens ou les hommes politiques pour inventer une nouvelle forme d'administration passent par une amélioration de la performance de l'État bien plus que par une simple et radicale réduction de sa taille.

L'enjeu de la mise en place des indicateurs est donc à la fois théorique et pratique : peut-on mettre en place des indicateurs de performance au sein des services publics ? Cette question de l'évaluation est encore plus cruciale concernant les services publics où la performance est difficile à définir et où la production symbolique est fondamentale comme, par exemple, les secteurs de l'enseignement, de la recherche et plus encore de la justice.

Des États-Unis à l'Europe

Aux États-Unis, les premières évaluations datent de 1912. En 1932, à la suite de l'étude de Ralph Tyler à propos de l'efficacité de deux programmes scolaires, sont mises en place une méthode et une théorie de l'évaluation. Dans les années soixante, le Planning Programming Budgeting System (PPBS), introduit le contrôle et l'évaluation des dépenses budgétaires. L'évaluation concerne toutes les politiques, tant fédérales que locales. La méthodologie est à l'origine l'expérimentation. Dans les années soixante et soixante-dix, l'évaluation se produit dans un premier temps dans un contexte d'aisance budgétaire et est le fait d'organismes de planification. Le deuxième temps, les années quatre-vingt, est celui de gouvernements à tendance conservatrice aux États-Unis et en Grande-Bretagne, dans un contexte de rigueur budgétaire. L'évaluation sert alors à vérifier l'efficience de certains programmes et à permettre des réductions budgétaires.

Améliorer l'efficience interne des services publics s'interprète alors comme une réponse alternative aux stratégies d'externalisation, de décentralisation ou de réduction de la taille de l'État. Le président Nixon emprunte le management pour les objectifs du secteur privé et le président Reagan défend la mise en place de la qualité totale au sein de l'administration. Des termes appliqués au secteur privé comme " re-engineering " ou " performance " se retrouvent dans le débat sur l'emploi public. Reinventing Government, terme repris par Tony Blair, à la suite de l'ouvrage influent de Osborne et Gaebeler en 1992, implique d'abord l'introduction des méthodes de gestion efficaces du secteur privé au sein du secteur public. La nouveauté du New Public Management (en référence aux nouveaux managers recrutés comme hauts cadres au sein de l'administration, mais qui ne sont pas, en règle générale, des fonctionnaires) consiste alors à mettre l'accent sur des objectifs financiers. Le management par la hiérarchie (bureaucratique) devient de plus en plus un management par contrat. En 1993, les États-Unis promulguent le Government Performance and Result Act (GPRA), un programme d'évaluation de la performance du gouvernement. Les objectifs de ce programme sont doubles : restaurer la confiance des Américains dans leur gouvernement et, pour ce faire, améliorer la gestion des services publics grâce à l'élaboration d'indicateurs d'efficacité. L'originalité de cette mesure est d'intégrer les résultats d'un service public dans les décisions budgétaires. Chaque service public doit définir clairement ses objectifs et les moyens d'y parvenir et mettre en place un système d'évaluation annuel en relation avec le Congrès et les usagers du service.

D'autres pays de l'OCDE suivent le même mouvement [7]. En Finlande, le ministère des Finances construit un projet de " qualité et productivité " avec plusieurs secteurs pilotes pour tester de nouvelles formes de management et une allocation des ressources budgétaires suivant les résultats des services. Au Danemark, le ministère des Finances met en place le concept de " service standard statements ", qui définit des objectifs mesurables pour chaque service. Les Pays-Bas ont mené plusieurs réformes du secteur public : en 1984, par exemple, une réserve budgétaire est créée pour récompenser les efforts du personnel méritant. La procédure d'évaluation utilisée depuis 1981 est désignée par le terme de " réexamen ". Un service ministériel concerné par un réexamen doit présenter des politiques alternatives permettant de réduire le coût d'au moins 20 %.

Dès 1960, les programmes de recherches européens font l'objet d'une évaluation. Depuis 1993, les programmes des fonds structurels sont évalués systématiquement.

En France

En France, à partir du début des années soixante-dix, est mise en place une rationalisation budgétaire, prémice d'une évaluation. C'est avec le gouvernement Rocard que la notion d'évaluation fait son entrée dans l'administration française avec le rapport de Patrick Viveret : évaluation du RMI entre 1989 et 1992, décret de 1990 créant le Conseil scientifique de l'évaluation et le Comité interministériel de l'évaluation (réunis en 1998 au sein du Conseil national de l'évaluation). Selon le décret du 22 janvier 1990, " évaluer une politique, c'est rechercher si les moyens juridiques, administratifs ou financiers mis en oeuvre permettent de produire les effets attendus de cette politique et d'atteindre les objectifs qui lui sont fixés ". Le décret du 18 novembre 1998 précise que " l'évaluation d'une politique publique a pour objet d'apprécier l'efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en oeuvre " [3].

En août 2000 est votée la loi organique relative à la loi de finances (LOLF) qui modifie fondamentalement la pratique budgétaire en distinguant des programmes. La LOLF manifeste d'abord une réaction du Parlement visant à donner une véritable signification à l'examen du budget, en lui permettant de se prononcer sur les crédits demandés en fonction des objectifs des politiques qu'ils sont supposés soutenir et des résultats obtenus. Il s'agit de sortir de la logique favorisée par l'ordonnance organique du 2 janvier 1959, qui régissait jusqu'alors le fonctionnement budgétaire de l'État selon un vote à l'aveugle des moyens attribués aux ministres, pour entrer dans une logique de financement de politiques publiques clairement identifiées par leurs objectifs, leur coût, et leurs résultats.La nouvelle loi organique mentionneles performances dès son article 1er.Les articles 48, 51 et 54 évoquent chacun les indicateurs de performance qui sont ainsi concernés à l'occasion de chacune des phases de la procédure budgétaire : au moment du débat d'orientation budgétaire sous la forme d'une liste devant permettre que les choix d'indicateurs soient discutés (article 48) ; au moment du projet de loi de finances de l'année où le choixdes indicateurs associés à chaque programme doit être justifié (article 51) ; au moment du projet de loi de règlement où les rapports annuels de per-formance doivent comporter une information sur les résultats obtenus mis en perspective avec les résultats recherchés et les résultats atteints les années précédentes (article 54). Pour chaque programme public sont donc définis les objectifs et construits les indicateurs qui leur sont associés ; le tout est annexé à la loi de finance. Ainsi le Parlementest en mesure de contrôler les dépenses publiques. À l'intérieur de chaque programme, le responsable du pro-gramme peut réallouer librement les fonds budgétaires d'un poste à l'autre (avec cependant un volume d'emplois publics à ne pas dépasser). Il définit des budgets opérationnels de programme (BOP) et fixe à chaque responsable de BOP ses objectifs, son crédit et les indicateurs de résultats. La LOLF a l'immense avantage de donner plus de souplesse dans la gestion des crédits et de responsabiliser les acteurs. La LOLF est rentrée en vigueur le 1er janvier 2006.

La justice : un exemple des difficultés rencontrées

La politique de l'emploi est probablement le domaine qui se prête le mieux, en tout cas qui s'est le plus prêté, à l'évaluation. L'objectif est clair et mesurable : le nombre de chômeurs ayant retrouvé un emploi grâce à la politique précise ou à la sortie du dispositif d'aide (aide à la formation, contrat emploi-solidarité, RMI...). Ce qui est nouveau, c'est l'évaluation de secteurs traditionnellement considérés comme symboliques et rétifs à l'évaluation.

Texte associé : Des indicateurs de performance difficiles à construire (encadré 1)

Les indicateurs sont difficiles à construire au sein de secteurs aussi différents que la justice [Kakalik, 1998], la santé [Ackerberg, 2001] ou l'éducation [Barro et Lee, 1996], et ce dans plusieurs pays de l'OCDE qui ont tenté (et parfois réussi) leur mise en place. Aux inconvénients des indicateurs déjà connus dans les secteurs privés s'ajoutent des difficultés spécifiques à leur utilisation dans les secteurs publics.

La première difficulté propre aux services publics, plus particulièrement présente dans les secteurs les moins marchands, porte sur la nécessité de définir les objectifs avant d'en construire les indicateurs.

Dans le cas de la justice par exemple [2], il s'agit dans un premier temps, de définir ce qu'est une justice de qualité - par exemple une justice rapide, accessible et équitable -, puis de construire l'indicateur le plus proche de ces objectifs : pour le premier objectif de rapidité, la durée moyenne de traitement d'une affaire, par exemple, ou la durée maximale ou encore la variance de la durée.

Aux État-Unis, une expérience de mise en place d'indicateurs dans le domaine judiciaire a été initiée en 1987 : les Trial Court Performance Standards (TCPS). Une commission dont la tâche était de définir les critères de qualité de la justice, composée de quatorze personnes (juges, responsables administratifs et universitaires), est arrivée au bout d'un an à la conclusion qu'il n'existait pas de consensus sur les objectifs assignés au système judiciaire, ni sur les facteurs qui déterminent la production des juridictions, pas plus que sur ce que signifie la " performance " des juridictions et encore bien moins sur la façon dont il conviendrait de mesurer cette performance. Finalement, la Commission a publié en 1990 une première version des TCPS comportant cinq objectifs généraux : l'accès à la justice, la rapidité, l'égalité, l'impartialité et l'intégrité, l'indépendance et la confiance du public, subdivisés en plus de vingt-trois standards (normes de qualité). Soixante-quinze indicateurs ont été proposés pour mesurer ces cinq objectifs.

Si les objectifs sont nombreux et complexes à définir, les indicateurs qui y correspondent sont difficiles à construire.

L'indicateur le plus simple est celui de la durée des affaires car facilement mesurable et comparable avec d'autres pays. Certes, réduire la durée d'un procès est, toutes choses égales par ailleurs, souhaitable. Pourtant une justice rapide est parfois une justice expéditive. De plus, l'indicateur lui-même est faussé en ce qu'il ne mesure pas le temps effectif passé sur le dossier. Si on pouvait distinguer les deux temps, on pourrait souhaiter réduire le premier sans pour autant réduire le second.

L'indicateur de coûts privés (les frais d'avocats) ou de coûts publics (les impôts alloués au système judiciaire) dépensés pour un procès ou dans le système judiciaire dans son ensemble a le même avantage d'être facile d'accès. Il est néanmoins difficile à interpréter en termes d'objectifs. Certes, une minimisation des coûts est souhaitable, ceteris paribus. Pourtant, si le coût privé augmente, cela peut provenir d'une hausse des qualifications des avocats, par exemple, ce qui reflète une amélioration de la qualité de la justice ou de la hausse de la demande des justiciables, ambiguë en terme de qualité : on peut l'interpréter, en effet, comme le signe d'une hausse de la qualification, des revenus et de l'exigence des citoyens ou au contraire comme une dégradation de la qualité de la justice si une judiciarisation des conflits sociaux est non souhaitable.

Texte associé : Économétrie de l'évaluation

Si l'indicateur de légalité est relativement simple (taux de réformation en appel ou taux de cassation, par exemple, ou indicateurs sur les procès équitables et les droits de la défense construits par la Cour européenne), celui de la " justice " des décisions rendues est plus arbitraire. On peut aussi déterminer des indicateurs à l'égalité des citoyens : taux d'aide juridictionnelle, par exemple, et taux de discrimination. L'indépendance des juges, l'accessibilité de la justice et la transparence sont les autres objectifs d'une justice de qualité. Les usagers (citoyens ou usagers ayant eu affaire à la justice, professionnels de la justice) en se prononçant par sondage ou enquête peuvent également, sur certains aspects, fournir un indicateur de la qualité de la justice rendue. Plus généralement, on pourrait évaluer le système judiciaire à l'objectif de performance globale que serait la réduction du taux de criminalité, le respect des contrats ou encore la croissance économique.

Les effets pervers de l'usage des indicateurs

La littérature économique des contrats incomplets insiste sur le mésusage des indicateurs. Holmstrom et Milgrom en 1991 formalisent la difficulté de la rémunération à la productivité dans le cas d'un travail multi-tâches. La multiplicité des objectifs est à l'origine de certains effets pervers : utiliser des indicateurs de performance dans le cadre d'un travail multi-tâches, c'est inciter l'agent à améliorer la tâche mesurable au détriment de celles qui le sont moins, c'est l'inciter à allouer son effort vers les tâches les plus rentables en termes d'indicateurs. Travailler pour améliorer une tâche se fait aux dépens d'une autre, si ces tâches ne sont pas complémentaires et si le temps passé sur chaque tâche est coûteux.

L'évaluation du programme du Civil Justice Reform Act (CJRA) aux États-Unis a mis en évidence que les objectifs de réduction des délais et des coûts de la justice n'étaient pas nécessairement compatibles : ainsi si les délais ont diminué de 30 %, le coût par affaire augmente car les avocats font le même travail dans un délai plus court. Par ailleurs, la mise en place d'un indicateur, le nombre d'affaires non traitées depuis plus de trois ans, a eu pour effet direct de réduire ce nombre d'affaires, mais cela s'est fait au détriment de la durée moyenne des autres affaires initialement moins longues [Dunworth et Kakalik, 1994].

De même, dans le secteur de l'éducation, mettre en place des tests d'évaluation du niveau des élèves risque d'orienter le travail des enseignants vers les tâches " rentables " car directement mesurables et non vers des tâches plus qualitatives et plus complexes à mesurer. De nombreux États américains (une quarantaine à la rentrée scolaire 2000) utilisent les résultats moyens de tests scolaires pour évaluer l'efficacité des établissements et un grand nombre d'entre eux accordent des récompenses ou des amendes monétaires en fonction du résultat moyen du test. Par exemple, la Californie a dépensé plus de 677 millions pour récompenser les " bons " enseignants, allant jusqu'à un montant de 25 000 dollars pour les enseignants de l'établissement ayant obtenu le meilleur score. Une étude de Kane et Staiger en 2001 analyse les résultats des tests de lecture et de mathématiques pour 300 000 étudiants en grade 3, 4 et 5 dans l'État de la Caroline-du-Nord. Les auteurs examinent la difficulté suivante : en jugeant les enseignants et les établissements d'après ces tests, ne les encourage-t-on pas à enseigner de manière à réussir le test, au détriment de pédagogies tout aussi importantes mais que le test ne mesure pas ? Les auteurs calculent le temps passé devant la télévision, le taux d'absentéisme des élèves et le temps de travail effectué à la maison comme indicateurs d'une qualité autre que celle mesurée par les tests solaires. Il n'y a aucune relation significative entre l'amélioration des résultats du test et le temps passé devant la télévision ou le temps passé à faire ses devoirs à la maison.

La mesure de l'état de santé d'une population est discutable en raison d'indicateurs imparfaits. Les plus simples sont l'espérance de vie ou la mortalité infantile. Néanmoins le lien entre les dépenses de santé et ces indicateurs est pour le moins faible. En effet, ce sont bien les pays les plus riches qui dépensent le plus en matière de santé (publique ou privée) mais pourtant ce ne ce sont pas les pays qui dépensent le plus en matière de santé qui ont une meilleure santé. L'explication est simple et provient du fait que l'apport du système de santé à la santé publique est de l'ordre de 20 % au mieux (voir " La santé en France 2004 ", rapport du Haut Comité de la santé publique). Ce sont les conditions de vie, l'hygiène publique, la bonne prise en charge des personnes malades, et d'autres éléments extérieurs qui entrent en ligne de compte. Comment donc évaluer les politiques publiques en matière de santé ? Mougeot s'interroge sur la façon de déterminer que " d'une part le montant des ressources consacrées à la santé est correct (au sens où l'on ne pourrait faire mieux en dépensant moins (plus) pour la santé au profit (au détriment) d'autres services collectifs et, d'autre part, que ces ressources sont bien utilisées (au sens où l'on ne pourrait améliorer l'état de santé de la population en utilisant autrement les mêmes ressources) " [6]. Citons enfin un autre effet pervers propre aux services publics : le traitement inégalitaire. Les fonctionnaires coproduisent le service public avec de nombreux usagers très différents. Évaluer les politiques publiques c'est, alors aussi évaluer les usagers du service public ; inciter les fonctionnaires selon ces indicateurs, c'est les inciter à différencier leur effort suivant l'usager, prenant ainsi le risque d'un traitement inégalitaire entre usagers [1].

Pour conclure, on pourrait revenir sur la question de l'évaluateur. Les politiques publiques sont difficiles à évaluer dans le cadre d'un contrat incomplet pour de nombreuses raisons : multiplicité des objectifs, difficulté de définition des indicateurs, difficulté de mesure. L'économie politique présente un autre moyen d'évaluer les politiques publiques : le vote, qui est un indicateur synthétique et qualitatif. Une des oppositions entre l'École de Chicago et celle de Virginie se structure sur la question de savoir si le vote est ou non le bon moyen d'évaluer les politiques publiques.

Texte associé : Évaluer l'évaluation

    Bibliographie

    [1] Bacache M., " How Incentives Create Inequalities ", Labour, 2006, à BiblioItemître.
    [2] Breeen E. (dir.), " Évaluer la justice ", Paris, Presses universitaires de France, 2001.
    [3] Deleau M. (dir.), " Évaluer les politiques publiques : méthodes, déontologie, organisation ", Commissariat général du plan, Rapport du groupe de travail, Paris, La Documentation française, 1986.
    [4] Fougère D., Expérimenter pour évaluer les politiques d'aide à l'emploi, " La Revue française des affaires sociales ", 1er trimestre 2000.
    [5] Legendre F., Micro-simulation et évaluation des politiques économiques et sociales, " Revue d'économie politique ", janvier 2004.
    [6] Mougeot M., " La régulation du système de santé ", Paris, La Documentation française, 1999, Rapport du Conseil d'analyse économique.
    [7] Perret B., " L'Évaluation des politiques publiques ", Paris, La Découverte, 2001, coll. " Repères ".
    [8] Site sur l'économétrie de l'évaluation :
    http://www.delta.ens.fr/gurgand/courseval2004.htm

    Voir aussi :

  • Meny Y., Thoenig J.-C., " Les Politiques publiques ", Paris, Presses universitaires de France, 1989.
  • Nioche J.-P., Poinsard R., " L'Évaluation des politiques publiques ", Paris, Economica, 1992.
  • Greffe X., " Gestion publique ", Paris, Dalloz, 1999.
  • Muller P., " Les Politiques publiques ", Paris, Presses universitaires de France, 2003, coll. " Que sais-je ? ".

Ecoflash, n°206 (03/2006)

Ecoflash - L'évaluation des politiques publiques