الدكتوراه في قانون العقود والعقار ـ إشراف الدكتور إدريس الفاخوري 
METHODOLOGIE DE L’OBSERVATION DES POLITIQUES PUBLIQUES
Abstract
Que peut-il être l’intérêt de plus en plus accru à l’Evaluation des politiques publiques si ces dernières ont été mises en œuvre et ont engagé d’énormes coûts ? Supposons que ces dernières ont été jugées « Echec » ! Réessayerons-nous de nouvelles politiques et continuerons-nous à ne faire qu’essayer en engageant les ressources de l’Etat et en épuisant ainsi incessamment les recettes ?
C’est sûrement qu’il y a une précieuse portée à tirer de l’évaluation. On vient de la constitutionnaliser mais sans encore l’institutionnaliser pour une multitude d’entraves se rapportant principalement à l’ambigüité des modalités et des conditions d’exercice. La société civile a envie de participer à ces pratiques mais les articles de la constitution le lui permettant ne sont pas débloqués. Elle est la cible principale des politiques publiques et s’empresse à voir l’évaluation de celles-ci mise en œuvre. Imaginer les sortes de collaboration avec les collectivités locales en matière de l’évaluation suppose d’attendre la prise en charge d’abord de la mission par les instances parlementaires. Pourtant, et preuve d’impatience, des citoyens se sont hâtés à s’organiser en associations et en organisations non gouvernementales s’assignant l’évaluation.
Quelle avidité !! C’est pour la satisfaire qu’une méthodologie de l’observation des politiques publiques est conçue par l’Observatoire Marocain des Politiques Publiques. La méthodologie proposée a été conçue de façon à aboutir à un projet d’observation à même de qualifier les associations et la société civile à une meilleure participation dans les pratiques de l’EPP dévolue au Parlement et à une collaboration avec les collectivités locales la plus bénéfique possible. C’est un entraînement préparatoire à la correcte explication des résultats, à la juste définition des effets propres à chaque politique et action publiques, au suivi de celles-ci dès leurs premières phases de conception en projet et à refléter un esprit méthodique dans l’élaboration des recommandations basées sur d’utiles analyses. L’amélioration de la formulation des politiques publiques en mettant à disposition des protagonistes publiques et politiques une plateforme d’informations aidant à la prise de décision constitue l’objectif principale de cette démarche qui vise à permettre aux acteurs civils, aux chercheurs des centres d’études et à toutes les organisations d’être de vrais acteurs de changement. Les conclusions vont pouvoir confirmer les points d’avantage et la réussite, partielle ou totale, de chacune des interventions publiques soumises à l’observation analytique comme elles alerteront sur les conséquences non souhaitées, les effets non maîtrisés, les limites et les menaces nés de ces interventions.
De nombreuses limites qui auraient terni la pertinence de l’observation ont été énumérées et traitées. La subjectivité, l’observation étroite, la nature semestrielle de rapports, la mauvaise systématisation et certains autres éléments sont autant de biais que nous avons résolus et dépassés dans cette méthodologie. Nous voulons faire éviter la prise de décision sur la base d’informations issues d’une analyse basée sur des liaisons putatives et sur une systématisation hypothétique des facteurs avec l’évolution des indices de l’observation.
Si des notions font défaut dans notre démarche comme « délimitation du champ de l’observation », c’est que nous parlons d’une méthodologie de l’observation des interventions publiques sur le territoire et non pas l’observation du territoire. Il ne sert à rien de se poser des questions comme « Sur quel territoire ? » ou « Pendant quelle durée ? » du moment que le changement attendu par une politique prend souvent du temps difficile à définir. Contrairement à l’impact et au changement, ce n’est que le temps de l’action et qui peut être définie.
Sans passer par un ensemble d’étapes, toute recommandation faite n’est fondée quoiqu’elle paraisse la meilleure possible. Pour ce, une analyse profonde apte à garantir la pertinence et surtout l’efficacité des propositions qu’élabore l’observateur est définie. Interpréter des chiffres est un enjeu conséquent, car un chiffre incarne derrière lui des personnes et des institutions et n’établit pas un rapport direct avec la réalité. Nous avons opté pour des exemples pour démontrer la sensibilité de l’interprétation et l’importance de sa maîtrise. L’objectif de l’étape de l’interprétation est de compléter l’analyse et de présenter les conclusions les plus utile et les plus pertinentes possibles. C’est l’opération critique qui justifie toute recommandation proposée.
Abstract
Why has there been increased interest in evaluating public policy when in the past this has incurred huge costs? Let's suppose these were judged as a waste. Will we continue to make new policies using the State's resources?
Truly, there is valuable information to research in this evaluation. It has been constitutionalized since 2011, however it hasn't been institutionalized. This delay is due to many obstacles related to the ambiguities in its operationalization. Civil society wants to take part in the evaluation process, however the articles allowing it in the consitution are pending the activation of the law.
Citizens are the main target of public policies. They hasten to see them put into operation. Their intention is to collaborate with local collectivities regarding this evaluation, however they are still waiting for the Parliament to initiate this obligation. Citizens have quickly organized into associations and non-governmental organizations assigning evaluation. How greedy! In response to this demand, a public policy observation method has been developed by the Moroccan Observatory of Public Policies. This proposal aims to achieve an observation project that qualifies associations and civilians to be able to participate in developing public policies and to help collaborate with local collectives.
This is preparation training to the outcome of the results, to fairly define the specific effects of each policy, and to develop a methodical framework. From this, recommendations may be made based on useful analysis.
The chief objective of this approach is to improve public policy formulation by providing public and political activists a platform rich in information to assist in the decision-making process. It allows all civilians, education centers and organizations to be true agents of change.
The collected data will be evaluated for it's advantages and strengths. Each submitted public proposal will be analyzed to determine if there are any unforseen effects, limitations or threats arising from these interventions.
Many limitations that would have tarnished the relevance of the analysis were enumerated and resolved. Subjectivity, narrow observation, the semi-annual nature of reports, weak systematization and other items are all prevarications that we have resolved and overcome in this methodology. We want to avoid decision-making based on information resulted by an analysis based on putative links and a hypothetical systematization of results with their factors.
If concepts are lacking in our approach as "observation field delimitation ", it is due to the fact we are presently referring to an observation methodology of public intervention on the territory and not to an observation methodology of the territory. It is not profitable to ask questions such as, "Which territory? " or "For how long?" The main point is that the expected policy change is moving forward, as it is difficult to define how long it will take to realize the expected results. The time of action is now which can be defined, unlike the impact and the change.
Without these steps, any recommendation won't be considered. These steps allow a deeper analysis capable of ensuring their relevance and guaranteeing the effectiveness of the proposals prepared by the observer.
Interpreting figures is therefore a challenge because these embody people and institutions and does not establish a direct relationship with reality. We have chosen examples to demonstrate the sensitivity of interpretation and the importance of its mastery. The purpose of the interpretation step is to complete the analysis and present the most useful and relevant conclusions possible. It is the operation that is critical and justifies any proposed recommendation.
MOTS CLES : Evaluation des Politiques Publiques Observation des Politiques Publiques Biais de l’Observation des Politiques Publiques Comparaison, Analyse & Interprétation Production des connaissances
-------------------------------------------------------------------------------------------------------------------
« Toute œuvre scientifique achevée n'a d'autre sens que celui de faire naitre de nouvelles questions, elle demande donc à être dépassée et vieillir. Celui qui veut servir la science doit se résigner à ce sort.... Nous ne pouvons accomplir en travail sans espérer en même temps que d'autres iront plus loin que nous » MAX WEBER, Le savant et le politique, 1959
Observer, avant d’évaluer, les politiques publiques
En 2011, nous avons assisté à la constitutionnalisation de l’EPP (évaluation des politiques publiques), des décisions et des projets des institutions élues et des pouvoirs publics par les associations intéressées à la chose publique et les organisations non gouvernementales dans les articles 12(1) et 13(2) de la constitution marocaine, et par le parlement dans l’alinéa 2 de l’article 101(3) et de l’article 70 de la même constitution. Ce nouveau contexte a donné naissance à des organisations qui se fixent l’objectif de l’EPP sauf qu’à des années et/ou des mois de leur création n’ont pas trop avancé.
Ne serait-ce qu’avancé dans le temps d’entreprendre l’EPP au Maroc d’une façon directe et effective tandis que nous n’y avions pas assuré les pratiques préparatoires. En occident, l’EPP est devenue une exigence règlementaire systémique dans le cadre des financements alloués aux Etats membres de la Commission Européenne trente ans après la parution de la notion et dix ans de la pratique. Rappelons que l’EPP est apparue aux Etats Unis dans les années 1960, puis s’est développé au Royaume-Unis et, plus tard, dans les pays scandinaves et ensuite dans les autres démocraties occidentales.
Le parlement, quant à lui, n’a pas encore fait son pas effectif dans sa mission d’évaluation. « S’il est fait mention explicitement de la mission d’évaluation des politiques publiques dévolue au Parlement dans les articles 70 et 101, il est vrai que la Constitution n’a pas donné de précision ni sur les instances auxquelles seront confiées les missions d’évaluation ni sur les modalités pratiques d’exercice de l’évaluation des politiques publiques au Maroc. Il est par ailleurs vrai aussi que le Parlement peut utiliser la capacité d’expertise de la Cour des comptes. Mais en pratique, le dispositif spécifique des liens entre le Parlement et la Cour des comptes reste à imaginer et à mettre en place »(4), Ahmed BENCHEIKH.
Plaidant pour l’institutionnalisation de la fonction de l'évaluation basée sur les droits humains et le genre pour contribuer à la redevabilité publique et à la démocratie au Maroc, l’AME (Association Marocaine de l’Evaluation) avait présenté un Mémorandum sur la question de la Constitutionnalisation de l’évaluation des politiques publiques à la Commission Consultative de Révision de la Constitution (CCRC) en avril 2011. Ce document(5) met en exergue l’argumentaire, et les éléments d’analyse du contexte en faveur de l’institutionnalisation progressive de la fonction d’évaluation au Maroc. Cette démarche a été couronnée par l’inscription de l’obligation d’évaluer les politiques publiques au Maroc (Article 70)(6).
L’OMPP (Observatoire Marocain des Politiques Publiques), qui s’affecte également la mission de l’évaluation, a choisi d’initier ses exercices par une forte concentration sur l’observation des interventions gouvernementales sur le territoire national. Ainsi a-t-il conçu une première méthodologie qualifiée d’expérimentale qu’il a essayée en réalisant un rapport d’observation des politiques publiques sectorielles au titre du premier semestre de l’année 2014. L’objectif de cette expérience en observation était de mettre en voie une méthodologie complète de l’OPP (Observation des Politiques Publiques).
Si, au Maroc, la culture de l’évaluation n’est encore pas promue et se retrouve face à une multitude d’entraves se rapportant principalement à l’ambigüité des modalités et des conditions d’exercice, les suiveurs de la chose publique ont tendance à juger les politiques du gouvernement en se basant sur l’observation qu’ils font. Ces jugements aléatoires ne se croisent aucunement pas avec le jugement auquel les différentes définitions de l’EPP font allusion. La principale mission de l’évaluation consiste à aider à une bonne formulation et reformulation des politiques publiques et à produire des connaissances à utilité publique servant comme base de décision.
Les organisations nouvellement créées dans l’intention d’évaluer les politiques publiques, associations et centres d’études, sont aussi loin de réussir la mission. L’évaluation n’est pas aussi simple que l’on puisse imaginer ni telle qu’elle est théoriquement conçue. Il leur convient de maîtriser l’OPP en attendant leur qualification. D’ailleurs, qu’ils ne s’attendent pas à faire une EPP à l’instar du parlement quand elle aura été institutionnalisée, car des compétences et d’énormes ressources humaines et financières sont nécessaires. Ceci n’est pas une expression de l’inutilité des essais de l’évaluation faite par ces organisations mais, pour qu’elle ne soit pas futile, elles sont amenées à pratiquer une observation servant l’EPP.
Etant un entrainement préparatoire à l’évaluation, notre méthodologie est le fruit de plus de deux ans de réflexion et de débat autour de l’EPP au Maroc. Nous avons capitalisé sur la méthodologie initiale(7) de l’OPP conçue par Réda LHOUMADI. La première expérience que nous avons courue en observation des politiques publiques sectorielles nous a permis de définir quelle observation sera apte à servir l’évaluation, de considérer les limites qui peuvent y être liées et de la concevoir de sorte qu’elle soit productive des connaissances.
Biais de l’observation des politiques publiques
L’OPP se voit souvent biaisée par un ensemble de limites. L’observation étroite ne favorise pas la crédibilité de l’analyse ; observer l’évolution des résultats d’une intervention publique appelle à comparer ces derniers dans le temps. « Mais quelles périodes comparer ? Sur quelle base a-t-on choisi, par exemple dans notre rapport de l’OPP, d’observer les politiques sectorielles durant les premiers semestres des trois dernières années et non pas des cinq, des sept ou des dix dernières années ? »(8) Prenons, pour clarifier l’idée, l’exemple suivant :
Le graphique souligne l’évolution d’un indice quelconque pendant les trois dernières années. L’indice dessine une gradation croissante. Chacun y fera un commentaire positif et personne ne niera l’amélioration du champ objet de l’observation qu’incarne l’indice.
Plus le nombre des périodes comparées est petit plus la probabilité de se tromper dans l’observation augmente. Pour le comprendre, comparons ces mêmes trois périodes à d’autres périodes et considérons la nouvelle probabilité :
Malgré l’évolution positive marquée par l’indice pendant les trois dernières années, les résultats restent largement au dessous des taux souvent inscrits durant les sept années d’avant. L’observateur aura un sentiment de déception.
L’analyste observateur est l’un des responsables de l’erreur stratégique que commettent les acteurs gouvernementaux et/ou parlementaires dans la définition des objectifs de certains programmes issues de politiques publiques, dans la conception des projets de lois de finances, dans la fixation des chiffres à réaliser par les actions publiques. Ces acteurs n’ignorent pas les analyses faites à l’action publique, ils conçoivent leurs nouvelles actions de façon à les optimiser par rapport à la période juste-précédente, car ils se défendront toujours en s’armant de chiffres meilleurs que ceux des périodes proches. Ils savent également que les prochaines analyses se feront en comparant des périodes consécutives à vision temporelle étroite qui est généralement de trois ans. Toutefois, ce type d’erreur n’est forcément pas commis d’une façon exprès, mais il advient que ces analyses biaisées induisent les décideurs en erreur et les égarent.
Plus la ligne temporelle d’observation sera longue, plus les résultats de l’observation seront crédibles et équitables, plus la marge de se tromper minimisera et plus l’analyse sera fine. Nous n’aurons que de faux commentaires en raison du piège de la comparaison étroite. Pardon ! A quoi sert un commentaire dans l’OPP ? Même en comparant une multitude de périodes, le commentaire suscite des éléments personnels et sa nature favorise la subjectivité. Il y aura toujours une forte probabilité de soigner une analyse en étalant le champ temporel.
Des fois, à l’instar du commentaire, l’hypothèse guide l’analyse dans la mesure où l’observateur cherche à expliquer un constat en mettant à l’esprit de classer les facteurs entre confirmatifs et infirmatifs. A défaut d’usage des outils d’analyse des données, la coïncidence temporelle entre un constat et une politique donnée suffit pour que l’analyste établisse un lien de causalité entre eux, et ce n’est souvent pas correct. Ordinairement, les jugements répandus et les commentaires absolus propagés dans le milieu civil et des cibles insatisfaits influent sur le raisonnement de l’observateur qui manque de vraie rigueur dans ses analyses. En fait, quoi qu’il soit rigoureux, une analyse basée sur l’observation visuelle du territoire et des indices n’est pas à même de produire des informations qui peuvent servir à prendre des décisions. Et là, il importe de prêter l’attention aux méthodes utilisées dans l’observation et de ne pas confondre l’observation du territoire avec l’observation des interventions publiques sur le territoire.
L’observateur repose principalement dans l’approche de l’observation territoriale sur les indicateurs de contexte. Ce sont des indicateurs qui servent à établir des constats et à poser des éléments de diagnostic. Ils ont un caractère descriptif. Une telle observation fait remonter les informations sur un territoire donné aux décideurs locaux acteurs dans les collectivités et les régions pour leur permettre une meilleure connaissance du territoire cible d’une politique ou toute autre action qu’ils entendent mener. Elle sert à une bonne formulation et non à une EPP. L’évaluation combine un ensemble d’indicateurs (de contexte, de réalisation et d’impact). Dans l’optique d’observer les interventions sur le territoire, la définition de l’impact propre à chaque politique reste un grand défi surtout pour les organisations non gouvernementales et les associations et elle l’est aussi pour les instances parlementaires et c’est pourquoi, parmi d’autres raisons relevant de la promotion des réformes démocratiques et de l’extension de la participation et la représentation politiques, il est fortement conseillé de « définir les modalités de collaboration avec les collectivités territoriales et de participation de la société civile dans le cadre des travaux d’évaluation menés par le Parlement. Ainsi, d’autres associations d’élus locaux et de la société civile seront associées à cette initiative dans le cadre d’activités menées communes »(9).
L’interprétation nécessite une pratique correcte. En fait, c’est le point dont nous nous soucions le plus ; nous avons tendance à interpréter selon une logique théorique en faisant énoncer des conséquences théoriques des données analysées. Il se pourrait qu’une décision publique soit mauvaise à cause de l’interprétation. L’interprétation est à précéder d’une opération utilisant les outils de l’analyse des données pour décider avec exactitude des variables et déterminer les facteurs influençant les résultats d’un programme ou d’une politique faisant l’objet de l’observation.
L’objectivité de l’observation reste gage du comment dont les organisations relatent ce qu’elles observent et surtout de comment elles lient les éléments observés. Sans une correcte systématisation(10) des effets observés, augmente la probabilité d’expliquer faussement les chiffres. La corrélation de certains résultats avec le pilotage d’une politique mène l’analyse à établir un lien de causalité entre ladite politique et le changement, ceci influe sur l’interprétation des résultats et n’est donc pas utile de la proposer aux décideurs pour considération lors de la formulation des politiques publiques. Le garant de la juste systématisation est d’épauler l’observation par le suivi ou l’observation avec le qualificatif « Régulier ». Par rapport à l’observation, le suivi tire plus sa profondeur de son aspect de continuité et d’exigence de disponibilité pour explorer les liens de causalité de façon à maintenir un niveau d’exactitude ne donnant point lieu à une appréciation erronée. Ceci dit de collaborer davantage avec les acteurs décideurs concernés pour que nous mettions à leur disposition l’information la plus pertinente possible.
En addition, la pluralité des partis politiques au Maroc rend l’objectivité des analyses que produisent les organisations difficile à assurer et c’est inutile de conditionner l’adhésion à celles-ci de la non-appartenance politique. Que la personne ne soit pas membre d’un parti n’est pas synonyme de « ne pas être partisan politique ». Sans nommer, des partis ont une large base de partisans équivalant le double, le triple et le quadruple des membres y appartenant. Par conséquent, exiger aux adhérents de ne pas avoir une appartenance ne met pas à l’abri leur neutralité. L’objectivité des organisations dont des membres ont des appartenances différentes, aux partis de la majorité et à ceux de l’opposition, est mieux favorisée. De crainte que l’observateur aligne l’explication des indices aux convictions et aux lectures faites aux chiffres par le parti dont il est partisan, la diversité des appartenances favorise la confrontation et la prise en considération de différentes lectures.
En 2011, nous avons assisté à la constitutionnalisation de l’EPP (évaluation des politiques publiques), des décisions et des projets des institutions élues et des pouvoirs publics par les associations intéressées à la chose publique et les organisations non gouvernementales dans les articles 12(1) et 13(2) de la constitution marocaine, et par le parlement dans l’alinéa 2 de l’article 101(3) et de l’article 70 de la même constitution. Ce nouveau contexte a donné naissance à des organisations qui se fixent l’objectif de l’EPP sauf qu’à des années et/ou des mois de leur création n’ont pas trop avancé.
Ne serait-ce qu’avancé dans le temps d’entreprendre l’EPP au Maroc d’une façon directe et effective tandis que nous n’y avions pas assuré les pratiques préparatoires. En occident, l’EPP est devenue une exigence règlementaire systémique dans le cadre des financements alloués aux Etats membres de la Commission Européenne trente ans après la parution de la notion et dix ans de la pratique. Rappelons que l’EPP est apparue aux Etats Unis dans les années 1960, puis s’est développé au Royaume-Unis et, plus tard, dans les pays scandinaves et ensuite dans les autres démocraties occidentales.
Le parlement, quant à lui, n’a pas encore fait son pas effectif dans sa mission d’évaluation. « S’il est fait mention explicitement de la mission d’évaluation des politiques publiques dévolue au Parlement dans les articles 70 et 101, il est vrai que la Constitution n’a pas donné de précision ni sur les instances auxquelles seront confiées les missions d’évaluation ni sur les modalités pratiques d’exercice de l’évaluation des politiques publiques au Maroc. Il est par ailleurs vrai aussi que le Parlement peut utiliser la capacité d’expertise de la Cour des comptes. Mais en pratique, le dispositif spécifique des liens entre le Parlement et la Cour des comptes reste à imaginer et à mettre en place »(4), Ahmed BENCHEIKH.
Plaidant pour l’institutionnalisation de la fonction de l'évaluation basée sur les droits humains et le genre pour contribuer à la redevabilité publique et à la démocratie au Maroc, l’AME (Association Marocaine de l’Evaluation) avait présenté un Mémorandum sur la question de la Constitutionnalisation de l’évaluation des politiques publiques à la Commission Consultative de Révision de la Constitution (CCRC) en avril 2011. Ce document(5) met en exergue l’argumentaire, et les éléments d’analyse du contexte en faveur de l’institutionnalisation progressive de la fonction d’évaluation au Maroc. Cette démarche a été couronnée par l’inscription de l’obligation d’évaluer les politiques publiques au Maroc (Article 70)(6).
L’OMPP (Observatoire Marocain des Politiques Publiques), qui s’affecte également la mission de l’évaluation, a choisi d’initier ses exercices par une forte concentration sur l’observation des interventions gouvernementales sur le territoire national. Ainsi a-t-il conçu une première méthodologie qualifiée d’expérimentale qu’il a essayée en réalisant un rapport d’observation des politiques publiques sectorielles au titre du premier semestre de l’année 2014. L’objectif de cette expérience en observation était de mettre en voie une méthodologie complète de l’OPP (Observation des Politiques Publiques).
Si, au Maroc, la culture de l’évaluation n’est encore pas promue et se retrouve face à une multitude d’entraves se rapportant principalement à l’ambigüité des modalités et des conditions d’exercice, les suiveurs de la chose publique ont tendance à juger les politiques du gouvernement en se basant sur l’observation qu’ils font. Ces jugements aléatoires ne se croisent aucunement pas avec le jugement auquel les différentes définitions de l’EPP font allusion. La principale mission de l’évaluation consiste à aider à une bonne formulation et reformulation des politiques publiques et à produire des connaissances à utilité publique servant comme base de décision.
Les organisations nouvellement créées dans l’intention d’évaluer les politiques publiques, associations et centres d’études, sont aussi loin de réussir la mission. L’évaluation n’est pas aussi simple que l’on puisse imaginer ni telle qu’elle est théoriquement conçue. Il leur convient de maîtriser l’OPP en attendant leur qualification. D’ailleurs, qu’ils ne s’attendent pas à faire une EPP à l’instar du parlement quand elle aura été institutionnalisée, car des compétences et d’énormes ressources humaines et financières sont nécessaires. Ceci n’est pas une expression de l’inutilité des essais de l’évaluation faite par ces organisations mais, pour qu’elle ne soit pas futile, elles sont amenées à pratiquer une observation servant l’EPP.
Etant un entrainement préparatoire à l’évaluation, notre méthodologie est le fruit de plus de deux ans de réflexion et de débat autour de l’EPP au Maroc. Nous avons capitalisé sur la méthodologie initiale(7) de l’OPP conçue par Réda LHOUMADI. La première expérience que nous avons courue en observation des politiques publiques sectorielles nous a permis de définir quelle observation sera apte à servir l’évaluation, de considérer les limites qui peuvent y être liées et de la concevoir de sorte qu’elle soit productive des connaissances.
Biais de l’observation des politiques publiques
L’OPP se voit souvent biaisée par un ensemble de limites. L’observation étroite ne favorise pas la crédibilité de l’analyse ; observer l’évolution des résultats d’une intervention publique appelle à comparer ces derniers dans le temps. « Mais quelles périodes comparer ? Sur quelle base a-t-on choisi, par exemple dans notre rapport de l’OPP, d’observer les politiques sectorielles durant les premiers semestres des trois dernières années et non pas des cinq, des sept ou des dix dernières années ? »(8) Prenons, pour clarifier l’idée, l’exemple suivant :
Le graphique souligne l’évolution d’un indice quelconque pendant les trois dernières années. L’indice dessine une gradation croissante. Chacun y fera un commentaire positif et personne ne niera l’amélioration du champ objet de l’observation qu’incarne l’indice.
Plus le nombre des périodes comparées est petit plus la probabilité de se tromper dans l’observation augmente. Pour le comprendre, comparons ces mêmes trois périodes à d’autres périodes et considérons la nouvelle probabilité :
Malgré l’évolution positive marquée par l’indice pendant les trois dernières années, les résultats restent largement au dessous des taux souvent inscrits durant les sept années d’avant. L’observateur aura un sentiment de déception.
L’analyste observateur est l’un des responsables de l’erreur stratégique que commettent les acteurs gouvernementaux et/ou parlementaires dans la définition des objectifs de certains programmes issues de politiques publiques, dans la conception des projets de lois de finances, dans la fixation des chiffres à réaliser par les actions publiques. Ces acteurs n’ignorent pas les analyses faites à l’action publique, ils conçoivent leurs nouvelles actions de façon à les optimiser par rapport à la période juste-précédente, car ils se défendront toujours en s’armant de chiffres meilleurs que ceux des périodes proches. Ils savent également que les prochaines analyses se feront en comparant des périodes consécutives à vision temporelle étroite qui est généralement de trois ans. Toutefois, ce type d’erreur n’est forcément pas commis d’une façon exprès, mais il advient que ces analyses biaisées induisent les décideurs en erreur et les égarent.
Plus la ligne temporelle d’observation sera longue, plus les résultats de l’observation seront crédibles et équitables, plus la marge de se tromper minimisera et plus l’analyse sera fine. Nous n’aurons que de faux commentaires en raison du piège de la comparaison étroite. Pardon ! A quoi sert un commentaire dans l’OPP ? Même en comparant une multitude de périodes, le commentaire suscite des éléments personnels et sa nature favorise la subjectivité. Il y aura toujours une forte probabilité de soigner une analyse en étalant le champ temporel.
Des fois, à l’instar du commentaire, l’hypothèse guide l’analyse dans la mesure où l’observateur cherche à expliquer un constat en mettant à l’esprit de classer les facteurs entre confirmatifs et infirmatifs. A défaut d’usage des outils d’analyse des données, la coïncidence temporelle entre un constat et une politique donnée suffit pour que l’analyste établisse un lien de causalité entre eux, et ce n’est souvent pas correct. Ordinairement, les jugements répandus et les commentaires absolus propagés dans le milieu civil et des cibles insatisfaits influent sur le raisonnement de l’observateur qui manque de vraie rigueur dans ses analyses. En fait, quoi qu’il soit rigoureux, une analyse basée sur l’observation visuelle du territoire et des indices n’est pas à même de produire des informations qui peuvent servir à prendre des décisions. Et là, il importe de prêter l’attention aux méthodes utilisées dans l’observation et de ne pas confondre l’observation du territoire avec l’observation des interventions publiques sur le territoire.
L’observateur repose principalement dans l’approche de l’observation territoriale sur les indicateurs de contexte. Ce sont des indicateurs qui servent à établir des constats et à poser des éléments de diagnostic. Ils ont un caractère descriptif. Une telle observation fait remonter les informations sur un territoire donné aux décideurs locaux acteurs dans les collectivités et les régions pour leur permettre une meilleure connaissance du territoire cible d’une politique ou toute autre action qu’ils entendent mener. Elle sert à une bonne formulation et non à une EPP. L’évaluation combine un ensemble d’indicateurs (de contexte, de réalisation et d’impact). Dans l’optique d’observer les interventions sur le territoire, la définition de l’impact propre à chaque politique reste un grand défi surtout pour les organisations non gouvernementales et les associations et elle l’est aussi pour les instances parlementaires et c’est pourquoi, parmi d’autres raisons relevant de la promotion des réformes démocratiques et de l’extension de la participation et la représentation politiques, il est fortement conseillé de « définir les modalités de collaboration avec les collectivités territoriales et de participation de la société civile dans le cadre des travaux d’évaluation menés par le Parlement. Ainsi, d’autres associations d’élus locaux et de la société civile seront associées à cette initiative dans le cadre d’activités menées communes »(9).
L’interprétation nécessite une pratique correcte. En fait, c’est le point dont nous nous soucions le plus ; nous avons tendance à interpréter selon une logique théorique en faisant énoncer des conséquences théoriques des données analysées. Il se pourrait qu’une décision publique soit mauvaise à cause de l’interprétation. L’interprétation est à précéder d’une opération utilisant les outils de l’analyse des données pour décider avec exactitude des variables et déterminer les facteurs influençant les résultats d’un programme ou d’une politique faisant l’objet de l’observation.
L’objectivité de l’observation reste gage du comment dont les organisations relatent ce qu’elles observent et surtout de comment elles lient les éléments observés. Sans une correcte systématisation(10) des effets observés, augmente la probabilité d’expliquer faussement les chiffres. La corrélation de certains résultats avec le pilotage d’une politique mène l’analyse à établir un lien de causalité entre ladite politique et le changement, ceci influe sur l’interprétation des résultats et n’est donc pas utile de la proposer aux décideurs pour considération lors de la formulation des politiques publiques. Le garant de la juste systématisation est d’épauler l’observation par le suivi ou l’observation avec le qualificatif « Régulier ». Par rapport à l’observation, le suivi tire plus sa profondeur de son aspect de continuité et d’exigence de disponibilité pour explorer les liens de causalité de façon à maintenir un niveau d’exactitude ne donnant point lieu à une appréciation erronée. Ceci dit de collaborer davantage avec les acteurs décideurs concernés pour que nous mettions à leur disposition l’information la plus pertinente possible.
En addition, la pluralité des partis politiques au Maroc rend l’objectivité des analyses que produisent les organisations difficile à assurer et c’est inutile de conditionner l’adhésion à celles-ci de la non-appartenance politique. Que la personne ne soit pas membre d’un parti n’est pas synonyme de « ne pas être partisan politique ». Sans nommer, des partis ont une large base de partisans équivalant le double, le triple et le quadruple des membres y appartenant. Par conséquent, exiger aux adhérents de ne pas avoir une appartenance ne met pas à l’abri leur neutralité. L’objectivité des organisations dont des membres ont des appartenances différentes, aux partis de la majorité et à ceux de l’opposition, est mieux favorisée. De crainte que l’observateur aligne l’explication des indices aux convictions et aux lectures faites aux chiffres par le parti dont il est partisan, la diversité des appartenances favorise la confrontation et la prise en considération de différentes lectures.
- Méthodologie de l’Observation des Politiques Publiques
- Qualifier les associations et la société civile à une meilleure participation dans les pratiques de l’EPP dévolue au Parlement et à une collaboration avec les collectivités locales la plus bénéfique possible ;
- Servir l’EPP en étant un entraînement préparatoire à la correcte explication des résultats, à la juste définition des effets propres à chaque politique et action publiques, au suivi de celles-ci dès leurs premières phases de conception en projet et à refléter un esprit méthodique dans l’élaboration des recommandations basées sur d’utiles analyses ;
- Soutenir l’observation sociale du territoire au travers des données traités et des informations produites ;
- Améliorer la formulation des politiques publiques en mettant à disposition des protagonistes publiques et politiques une plateforme d’informations aidant à la prise de décision ;
- Permettre aux acteurs civils, aux chercheurs des centres d’études et à toutes les organisations d’être de vrais acteurs de changement ;
- Confirmer les points d’avantage et la réussite, partielle ou totale, de chacune des interventions publiques soumises à l’observation analytique
-
Alerter sur les conséquences non souhaitées, les effets non maîtrisés, les limites et les menaces nés de ces interventions
Caractérisée par sa flexibilité et notamment sa faculté d’être appliquée aux différentes types de politiques publiques (sectorielles, économiques, sociales) sans limites relatives à la question de l’adaptation, notre méthodologie exige, pour que les objectifs lui étant assignés soit correctement atteints, des praticiens l’adoption d’une observation continue dans le temps, c’est-à-dire que l’organisation ne décide soudainement pas d’observer une politique donnée à un moment donné sans qu’elle n’ait pas l’intention de faire de l’OPP une mission principale ou, au moins, l’exercer pendant plusieurs années en réalisant des rapports annuels en se permettant ainsi de développer l’expertise.
Cependant, une question ne cesse de persister : Qu’est-ce qui garantit la crédibilité de l’observateur par rapport aux justifications qu’il fournit pour l’utilisation diversifiée des sources de données au sein d’une même œuvre ?
L’OMPP a reconnu cette problématique lors de sa phase expérimentale et n’a pas considéré avoir répondu à cette question même en ayant laissé la liberté de choix de sources aux responsables des cellules de travail(11) à la condition expresse que chaque cellule justifie son choix. Procéder ainsi renforce la subjectivité des analyses ; l’observateur se voit libre de considérer les chiffres qui servent le plus ses convictions et qui lui permettent surtout de diriger l’analyse pour fortifier les lectures faites, principalement en cas d’appartenance politique, par le parti dont il est membre ou, en cas de non appartenance, par le parti dont il est partisan. Même un observateur qui n’est nullement pas appartenant et n’est partisan que de soi-même peut avoir le comportement de prévaloir tantôt les chiffres pessimistes tantôt les chiffres optimistes selon sa satisfaction/insatisfaction et contentement/mécontentement.
Cette limite a été ensuite traitée par le comité scientifique de l’OMPP en conditionnant l’usage des données par deux procédés :
Prenons l’exemple d’un indicateur du développement touristique qui évolue dans un sens remarquablement positif. La politique touristique élaborée et mise en œuvre pour le secteur touristique n’est souvent pas le seul facteur derrière ce résultat, mais aussi d’autres comme les politiques économiques favorisant l’attractivité du marché national et donc le tourisme d’affaires. Ceci mène le praticien à observer plusieurs politiques publiques pour augmenter la force de ses analyses.
Dans le premier rapport ne comparer que les années N-1 et N-2 puisque les statistiques de l’année en cours n’auraient totalement pas été disponibles. Dans le deuxième rapport qui sera élaboré dans l’année N+1, le praticien ajoute deux autres périodes à savoir l’année N (qui n’est plus en cours), et l’année N-3, les années N-1 et N-2 étant déjà faites. Ainsi le rapport contiendra une comparaison de politiques pendant quatre périodes. Pendant le troisième rapport, ajouter, selon la même logique, deux autres périodes, et ainsi de suite.
Cette manière de procéder permet d’atteindre une comparaison de dix périodes pendant cinq ans. A partir du sixième rapport, le praticien n’aura à ajouter annuellement qu’une année, les neufs ans précédents étant déjà faits.
Il est déconseillé qu’une organisation, surtout en manque de moyens ou à moyens limités, de penser à réaliser la comparaison analytique pendant les dix ans dans son premier ou son deuxième rapport. Si une politique fait l’objet de l’actualité de l’année ou d’importance exceptionnelle, le praticien en détaille l’analyse dans un rapport à part ; le rapport thématique.
Cette étape est décrite de fictive car elle ne donne lieu à aucun travail de recherche ni de rédaction. Le normal dans la méthodologie est de réaliser un rapport annuel de l’OPP. Chaque année l’accent se met davantage sur des politiques que sur d’autres, et certains prévalent largement d’autres et méritent une attention particulière. Ce sont les thèmes qui sont à traiter dans des rapports thématiques.
Si des notions font défaut dans notre démarche comme « délimitation du champ de l’observation », c’est que, nous le rappelons, nous parlons d’une méthodologie de l’observation des interventions publiques sur le territoire et non pas l’observation du territoire. Il ne sert à rien de se poser des questions comme « Sur quel territoire ? » ou « Pendant quelle durée ? » du moment que le changement attendu par une politique prend souvent du temps difficile à définir. Contrairement à l’impact et au changement, ce n’est que le temps de l’action et qui peut être définie.
Les programmes et politiques du secteur de l’éducation se planifient selon une intervention annuelle et l’observation se contraint d’être tenue tout au long d’une année scolaire avant de se traduire en mots, voire des politiques à durée dépassant dix ans avec la création et la constitutionnalisation du Conseil Supérieur de l’Education, de la Formation et de la Recherche Scientifique. L’observation annuelle est plutôt une évaluation de l’opérationnalisation partielle de politiques de longues durées.
De même pour le secteur de l’agriculture, nous savons que la récole n’a essentiellement pas lieu qu’en deuxième semestre et n’est donc pas praticable de parler de l’observation de ce secteur lors du premier semestre ni bien évidemment d’une comparaison. Les exemples sont abondants, le tourisme se favorise davantage pendant la deuxième moitié de l’année. Ceci dit de publier annuellement deux productions : le premier pessimiste et le deuxième plus optimiste. Ainsi, tout lecteur suivant toutes ces productions se trouvera égaré dans toute conclusion qu’il fera en comparant des rapports consécutifs, car il ira marquer une dispersion évolutive incompréhensible en traçant une évolution comme figurée dans le graphique ci-devant, d’où les premiers semestres marquent une négativité remarquable tandis que les deuxièmes semestres marquent une positivité importante. Peut importe si le lecteur simple fasse attention qu’il est insignifiant de comparer des semestres consécutifs vue la caractéristique de ces secteurs, mais ce qui est à souligner est que le graphique n’a pas de sens et que c’est futile.
C’est vrai que le rapport semestriel ne compare pas des semestres consécutifs mais un même semestre de différentes années. Cependant, cette comparaison à certains secteurs, prenons toujours ce même exemple de l’agriculture, produira une inutilité des conclusions en considérant les deux rapports à la fois pour avoir une vision globale de l’année, car, le graphique qui sera tracé dans nos imaginaires sera comme suit :
- Etape 1 : Constitution de la base de données et d’informations
Cependant, une question ne cesse de persister : Qu’est-ce qui garantit la crédibilité de l’observateur par rapport aux justifications qu’il fournit pour l’utilisation diversifiée des sources de données au sein d’une même œuvre ?
L’OMPP a reconnu cette problématique lors de sa phase expérimentale et n’a pas considéré avoir répondu à cette question même en ayant laissé la liberté de choix de sources aux responsables des cellules de travail(11) à la condition expresse que chaque cellule justifie son choix. Procéder ainsi renforce la subjectivité des analyses ; l’observateur se voit libre de considérer les chiffres qui servent le plus ses convictions et qui lui permettent surtout de diriger l’analyse pour fortifier les lectures faites, principalement en cas d’appartenance politique, par le parti dont il est membre ou, en cas de non appartenance, par le parti dont il est partisan. Même un observateur qui n’est nullement pas appartenant et n’est partisan que de soi-même peut avoir le comportement de prévaloir tantôt les chiffres pessimistes tantôt les chiffres optimistes selon sa satisfaction/insatisfaction et contentement/mécontentement.
Cette limite a été ensuite traitée par le comité scientifique de l’OMPP en conditionnant l’usage des données par deux procédés :
- Opter actuellement pour une unique source à savoir le HCP (Haut Commissariat au Plan) étant donnée il est l’établissement constitutionnel auquel est dévolue la production de l’information statistiques économique, démographique et sociale, l’élaboration des études dans les domaines de la conjoncture, du cadrage macroéconomique et de la prospective.
- Opter, en cas de choix multiple des sources, pour la considération à la fois des statistiques et des chiffres produits par le HCP, BAM (Bank Al Maghreb), le Gouvernement et le FMI (Fonds Monétaire Internationale), selon leurs disponibilités, en établissant une comparaison entre eux sinon, en cas fastidieux pour l’observateur unique et en cas de manque de ressources pour l’organisation, considérer au moins ceux du HCP et du gouvernement : Le HCP pour la raison précitée, et parce qu’aucune autre organisation ne dispose pas de moyens de même taille que lui, et le gouvernement parce qu’il est, par sa qualité du pouvoir exécutif, le responsable de l’opérationnalisation des décisions votées par le parlement, de l’élaboration et la mise en œuvre des politiques publiques.
- Etape fictive : Classement : Rapport annuel/Rapport thématique
- L’impact des politiques publiques ne se limite uniquement pas aux causes pour lesquels elles ont été conçues. Les indicateurs des résultats d’une situation donnée ne devraient pas être expliqués par la seule politique conçue spécifiquement pour ladite situation.
Prenons l’exemple d’un indicateur du développement touristique qui évolue dans un sens remarquablement positif. La politique touristique élaborée et mise en œuvre pour le secteur touristique n’est souvent pas le seul facteur derrière ce résultat, mais aussi d’autres comme les politiques économiques favorisant l’attractivité du marché national et donc le tourisme d’affaires. Ceci mène le praticien à observer plusieurs politiques publiques pour augmenter la force de ses analyses.
- Pour observer une évolution, le praticien compare une politique dans le temps. Nous avons souligné que plus la ligne temporelle d’observation sera longue, plus les résultats de l’observation seront crédibles. Mettre à l’objet du rapport toutes les politiques sectorielles ou économiques et sociales nécessite un énorme effort et ce diminue la capacité du praticien, personne unique ou organisation, à élever le nombre des temps de comparaison. La proposition est la suivante :
Dans le premier rapport ne comparer que les années N-1 et N-2 puisque les statistiques de l’année en cours n’auraient totalement pas été disponibles. Dans le deuxième rapport qui sera élaboré dans l’année N+1, le praticien ajoute deux autres périodes à savoir l’année N (qui n’est plus en cours), et l’année N-3, les années N-1 et N-2 étant déjà faites. Ainsi le rapport contiendra une comparaison de politiques pendant quatre périodes. Pendant le troisième rapport, ajouter, selon la même logique, deux autres périodes, et ainsi de suite.
Cette manière de procéder permet d’atteindre une comparaison de dix périodes pendant cinq ans. A partir du sixième rapport, le praticien n’aura à ajouter annuellement qu’une année, les neufs ans précédents étant déjà faits.
Il est déconseillé qu’une organisation, surtout en manque de moyens ou à moyens limités, de penser à réaliser la comparaison analytique pendant les dix ans dans son premier ou son deuxième rapport. Si une politique fait l’objet de l’actualité de l’année ou d’importance exceptionnelle, le praticien en détaille l’analyse dans un rapport à part ; le rapport thématique.
Cette étape est décrite de fictive car elle ne donne lieu à aucun travail de recherche ni de rédaction. Le normal dans la méthodologie est de réaliser un rapport annuel de l’OPP. Chaque année l’accent se met davantage sur des politiques que sur d’autres, et certains prévalent largement d’autres et méritent une attention particulière. Ce sont les thèmes qui sont à traiter dans des rapports thématiques.
Si des notions font défaut dans notre démarche comme « délimitation du champ de l’observation », c’est que, nous le rappelons, nous parlons d’une méthodologie de l’observation des interventions publiques sur le territoire et non pas l’observation du territoire. Il ne sert à rien de se poser des questions comme « Sur quel territoire ? » ou « Pendant quelle durée ? » du moment que le changement attendu par une politique prend souvent du temps difficile à définir. Contrairement à l’impact et au changement, ce n’est que le temps de l’action et qui peut être définie.
- Rapport annuel
Les programmes et politiques du secteur de l’éducation se planifient selon une intervention annuelle et l’observation se contraint d’être tenue tout au long d’une année scolaire avant de se traduire en mots, voire des politiques à durée dépassant dix ans avec la création et la constitutionnalisation du Conseil Supérieur de l’Education, de la Formation et de la Recherche Scientifique. L’observation annuelle est plutôt une évaluation de l’opérationnalisation partielle de politiques de longues durées.
De même pour le secteur de l’agriculture, nous savons que la récole n’a essentiellement pas lieu qu’en deuxième semestre et n’est donc pas praticable de parler de l’observation de ce secteur lors du premier semestre ni bien évidemment d’une comparaison. Les exemples sont abondants, le tourisme se favorise davantage pendant la deuxième moitié de l’année. Ceci dit de publier annuellement deux productions : le premier pessimiste et le deuxième plus optimiste. Ainsi, tout lecteur suivant toutes ces productions se trouvera égaré dans toute conclusion qu’il fera en comparant des rapports consécutifs, car il ira marquer une dispersion évolutive incompréhensible en traçant une évolution comme figurée dans le graphique ci-devant, d’où les premiers semestres marquent une négativité remarquable tandis que les deuxièmes semestres marquent une positivité importante. Peut importe si le lecteur simple fasse attention qu’il est insignifiant de comparer des semestres consécutifs vue la caractéristique de ces secteurs, mais ce qui est à souligner est que le graphique n’a pas de sens et que c’est futile.
C’est vrai que le rapport semestriel ne compare pas des semestres consécutifs mais un même semestre de différentes années. Cependant, cette comparaison à certains secteurs, prenons toujours ce même exemple de l’agriculture, produira une inutilité des conclusions en considérant les deux rapports à la fois pour avoir une vision globale de l’année, car, le graphique qui sera tracé dans nos imaginaires sera comme suit :
Les rapports du premier semestre noteront une évolution faible et ceux du deuxième semestre nous donneront une évolution au ciel. D’où la complexité d’avoir une vision annuelle globale à travers les deux rapports.
Le taux de chômage, le déficit des finances publiques, l’inflation, le PIB et plusieurs autres grandeurs et agrégats économiques qui forment le champ de suivi de la cellule équilibre macroéconomique sont des éléments dont la variation est généralement représentée sur une période annuelle. Nous avons possiblement les chiffres provisoires de certains de ces grandeurs au cours du mois août à titre d’exemple pour le premier semestre,
néanmoins ceci exacerbe l’incrédibilité de ces chiffres (exemple du taux de chômage). Un nombre aussi important de lecteurs constitueront leurs avis quant aux politiques sectorielles sur la base du rapport entre leurs mains sans rendre compte de la notion de la temporalité (semestre 1 ou Semestre 2). Ils n’ont majoritairement pas la faculté de considérer les spécificités de chaque secteur surtout que la cible de ce rapport est constituée, différemment aux rapports thématiques destinés principalement aux décideurs, de l’ensemble de citoyens.
L’élaboration de rapports annuels permet, notamment aux organisations à faible ressources et à compétences limitées, d’épargner de l’effort et surtout le temps pour les rapports thématiques qui nécessitent des compétences bien définies.
des thèmes accaparent plus d’importance. C’est dans les rapports thématiques que nous assisterons à une analyse complète. Ce rapport demande nécessairement certaines compétences en analyses de données et en domaine objet de l’analyse.
En fait, l’objectif du rapport annuel est de garantir une observation et un intérêt continus aux politiques publiques par le praticien. Celui-ci renforce ainsi ses connaissances car les politiques observés dans le rapport annuel feront progressivement, selon un ordre prioritaire, l’objet des prochains rapports thématiques. Nous verrons, dans les étapes suivantes, en quoi consiste exactement le rapport thématique et ce qui le distingue du rapport annuel.
L’analyse des constats n’est pas aussi simple. Elle est souvent biaisée par la dominance des convictions de l’analyste. L’observateur tente d’observer les facteurs et s’efforce de définir lesquels exactement influencent tel ou tel résultat.
L’enjeu est de soutenir les compétences des représentants de la société civile et les préparer pour une meilleure collaboration avec les collectivités locales et pour une meilleure participation aux pratiques de l’EPP.
Mais pourquoi deux rapports ?
Nous voulons faire éviter la prise de décision sur la base d’informations issues d’une analyse basée sur des liaisons putatives et sur une systématisation hypothétique des facteurs avec l’évolution des indices de l’observation. En présence d’un grand nombre de politiques à observer et en considérant fastidieux d’y apporter toutes l’analyse que nous ciblons dans le rapport thématique, nous avons arrêté les étapes du rapport annuel en deux et en avons expressément enlevé « l’interprétation » et « les recommandations ». Même en expliquant les résultats par les programmes qui ont été réalisés pour y aboutir, l’observateur doit se résigner à la relativité de son analyse.
Cette analyse peut donner lieu à de fausses interprétations. D’ailleurs, et par exemple, pour le cas du Maroc, la corrélation entre le taux du PIB et le taux de chômage ne permet pas une telle analyse (En 2013, le taux du PIB était de 4,4% (+2% par rapport à 2012), pourtant le taux de chômage a augmenté de 02 points). Respectivement, les taux du PIB étaient de 2,4, 4,4 et 2,5 en 2012, 2013 et 2014, cependant, le taux de chômage enregistrait annuellement des augmentations tantôt d’un point tantôt de deux points. On devrait normalement être en présence d’une diminution du taux du chômage avec le taux de la croissance économique enregistré en 2013 du moment que la variation du taux du chômage était si légère en 2012 et en 2014 avec moins de croissance.
La sensibilité de l’interprétation est qu’en donnant comme information aux décideurs que « chaque augmentation du PIB par x taux, le chômage augmente par un taux y », nous donnons une fausse base ou, au moins, une base incomplète ; une fausse base dans la mesure où le taux du chômage en 2013 a augmenté de deux points en raison de l’évolution de la population active, et incomplète dans la mesure où l’information, ainsi qualifiée, n’est suffisamment pas traitée et est plutôt une donnée faiblement traitée.
Si l’interprétation nous permet d’énoncer les conséquences théoriques de la variation d’un facteur, nous ne pouvons rien énoncer concernant le chômage en rapport avec le PIB même si nous approuvons positif le test d’indépendance (test du Khi-deux) en comparant l’évolution du PIB et du chômage même pendant cent années ou plus. Pourquoi ? En fait, dans cette situation, on a une information à base de laquelle nous pouvons prévoir avec exactitude l’évolution du taux du chômage dépendamment du PIB, sauf que nous pourrions avoir de résultats radicalement différents des prévisions avec la même dépendance précédemment calculée. Pour qu’elle soit complète, l’information doit être issue d’une analyse globale de tous les facteurs. Dans notre exemple, l’information est conditionnée par trois éléments : La croissance, le gain de productivité et la population active.
Supposons qu'il n'y ait pas de gain de productivité dans un pays, et que la population active (=population ayant un emploi + chômeurs) augmente de 1% par an ; il faut alors pour que le taux de chômage soit stable que le PIB augmente de 1% par an. Même raisonnement en ce qui concerne la productivité : si les gains de productivité sont de 1% par an mais que le PIB augmente de moins de 1% (en supposant une population active stable), cela signifie que moins de personnes travaillent (= une hausse du taux de chômage, malgré une croissance de 1%). En mixant les deux, on comprend pourquoi le taux de chômage ne baisse que si la croissance réelle est supérieure à la croissance potentielle.
Ceci n’est que l’exemple pour montrer la sensibilité de l’interprétation et l’importance de sa maîtrise. L’objectif de l’étape de l’interprétation est de compléter l’analyse et de présenter les conclusions les plus utile et les plus pertinentes possibles. C’est l’opération critique qui justifie toute recommandation proposée.
Pour pouvoir interpréter, l’analyse de la corrélation entres les variables aléatoires dont la dépendance est prouvée est nécessaire, l’objectif étant de mesurer le degré d’influence des facteurs dans la production des résultats. Au fur et à mesure de l’exercice de l’OPP à cet instar,
l’expérience que court l’observateur lui fera découvrir des éléments qui conditionnent la complémentarité des informations qu’il produit et les autres éléments d’ordre conjoncturel qui viennent causer une exception dans toute équation interprétative pendant certaines périodes et qui ne doivent être considérées que pour ces périodes-là. Il faut prévoir, pendant cette phase, l’analyse des disparités que cache la moyenne (par le calcul de dispersion) pour mieux interpréter les chiffres.
Cette étape substitue l’étape « comparaison Prévisions/Réalisations » de la méthodologie initiale. Le changement prend du temps, on ne peut chercher l’écart entre les réalisations et les prévisions de l’action publique qu’après un bon temps au lancement. L’exemple des lois des finances le met en évidence ; Quoique les réalisations budgétaires de chaque année N fussent prévues dans l’année N-1, l’évaluation des écarts n’a pas un vrai sens. En fait, cette évaluation rapide nous remet plutôt au contrôle qu’à l’évaluation ; il s’agit de contrôler les dépenses et les recettes prévues dans la loi des finances et d’arrêter les valeurs réalisées, alors qu’une partie des résultats recherchés prendraient du temps pour se confirmer ou s’infirmer (Exemple : une couverture budgétaire allouée aux investissements, ne réaliserait pas ses objectifs en termes de nombre de postes d’emplois à créer, de promotion de l’exportation, de l’ouverture sur la production dans de nouveaux chantiers industriels et autres finalités qu’après un certain temps qui peut aller jusqu’à des années et des années).
Par contre, dans la deuxième étape « Analyse et comparaison », l’observateur peut rappeler les prévisions et les objectifs assignées aux politiques et aux programmes arrivés à terme et/ou mis en œuvre il y a un bon temps.
Nous mettons à votre disposition cette nouvelle méthodologie tout en espérant avoir contribué à l’amélioration de l’analyse et de l’OPP. Et parce qu’il s’agit de décider de la chose publique, toute amélioration est bien sollicitée en vue d’être à même de proposer des analyses qui servent les protagonistes publiques dans leurs décisions.
Le taux de chômage, le déficit des finances publiques, l’inflation, le PIB et plusieurs autres grandeurs et agrégats économiques qui forment le champ de suivi de la cellule équilibre macroéconomique sont des éléments dont la variation est généralement représentée sur une période annuelle. Nous avons possiblement les chiffres provisoires de certains de ces grandeurs au cours du mois août à titre d’exemple pour le premier semestre,
néanmoins ceci exacerbe l’incrédibilité de ces chiffres (exemple du taux de chômage). Un nombre aussi important de lecteurs constitueront leurs avis quant aux politiques sectorielles sur la base du rapport entre leurs mains sans rendre compte de la notion de la temporalité (semestre 1 ou Semestre 2). Ils n’ont majoritairement pas la faculté de considérer les spécificités de chaque secteur surtout que la cible de ce rapport est constituée, différemment aux rapports thématiques destinés principalement aux décideurs, de l’ensemble de citoyens.
L’élaboration de rapports annuels permet, notamment aux organisations à faible ressources et à compétences limitées, d’épargner de l’effort et surtout le temps pour les rapports thématiques qui nécessitent des compétences bien définies.
- Rapport thématique
des thèmes accaparent plus d’importance. C’est dans les rapports thématiques que nous assisterons à une analyse complète. Ce rapport demande nécessairement certaines compétences en analyses de données et en domaine objet de l’analyse.
En fait, l’objectif du rapport annuel est de garantir une observation et un intérêt continus aux politiques publiques par le praticien. Celui-ci renforce ainsi ses connaissances car les politiques observés dans le rapport annuel feront progressivement, selon un ordre prioritaire, l’objet des prochains rapports thématiques. Nous verrons, dans les étapes suivantes, en quoi consiste exactement le rapport thématique et ce qui le distingue du rapport annuel.
- Etape 2 : Comparaison & Analyse
L’analyse des constats n’est pas aussi simple. Elle est souvent biaisée par la dominance des convictions de l’analyste. L’observateur tente d’observer les facteurs et s’efforce de définir lesquels exactement influencent tel ou tel résultat.
L’enjeu est de soutenir les compétences des représentants de la société civile et les préparer pour une meilleure collaboration avec les collectivités locales et pour une meilleure participation aux pratiques de l’EPP.
Mais pourquoi deux rapports ?
Nous voulons faire éviter la prise de décision sur la base d’informations issues d’une analyse basée sur des liaisons putatives et sur une systématisation hypothétique des facteurs avec l’évolution des indices de l’observation. En présence d’un grand nombre de politiques à observer et en considérant fastidieux d’y apporter toutes l’analyse que nous ciblons dans le rapport thématique, nous avons arrêté les étapes du rapport annuel en deux et en avons expressément enlevé « l’interprétation » et « les recommandations ». Même en expliquant les résultats par les programmes qui ont été réalisés pour y aboutir, l’observateur doit se résigner à la relativité de son analyse.
- Etape 3 : Interprétation
Cette analyse peut donner lieu à de fausses interprétations. D’ailleurs, et par exemple, pour le cas du Maroc, la corrélation entre le taux du PIB et le taux de chômage ne permet pas une telle analyse (En 2013, le taux du PIB était de 4,4% (+2% par rapport à 2012), pourtant le taux de chômage a augmenté de 02 points). Respectivement, les taux du PIB étaient de 2,4, 4,4 et 2,5 en 2012, 2013 et 2014, cependant, le taux de chômage enregistrait annuellement des augmentations tantôt d’un point tantôt de deux points. On devrait normalement être en présence d’une diminution du taux du chômage avec le taux de la croissance économique enregistré en 2013 du moment que la variation du taux du chômage était si légère en 2012 et en 2014 avec moins de croissance.
La sensibilité de l’interprétation est qu’en donnant comme information aux décideurs que « chaque augmentation du PIB par x taux, le chômage augmente par un taux y », nous donnons une fausse base ou, au moins, une base incomplète ; une fausse base dans la mesure où le taux du chômage en 2013 a augmenté de deux points en raison de l’évolution de la population active, et incomplète dans la mesure où l’information, ainsi qualifiée, n’est suffisamment pas traitée et est plutôt une donnée faiblement traitée.
Si l’interprétation nous permet d’énoncer les conséquences théoriques de la variation d’un facteur, nous ne pouvons rien énoncer concernant le chômage en rapport avec le PIB même si nous approuvons positif le test d’indépendance (test du Khi-deux) en comparant l’évolution du PIB et du chômage même pendant cent années ou plus. Pourquoi ? En fait, dans cette situation, on a une information à base de laquelle nous pouvons prévoir avec exactitude l’évolution du taux du chômage dépendamment du PIB, sauf que nous pourrions avoir de résultats radicalement différents des prévisions avec la même dépendance précédemment calculée. Pour qu’elle soit complète, l’information doit être issue d’une analyse globale de tous les facteurs. Dans notre exemple, l’information est conditionnée par trois éléments : La croissance, le gain de productivité et la population active.
Supposons qu'il n'y ait pas de gain de productivité dans un pays, et que la population active (=population ayant un emploi + chômeurs) augmente de 1% par an ; il faut alors pour que le taux de chômage soit stable que le PIB augmente de 1% par an. Même raisonnement en ce qui concerne la productivité : si les gains de productivité sont de 1% par an mais que le PIB augmente de moins de 1% (en supposant une population active stable), cela signifie que moins de personnes travaillent (= une hausse du taux de chômage, malgré une croissance de 1%). En mixant les deux, on comprend pourquoi le taux de chômage ne baisse que si la croissance réelle est supérieure à la croissance potentielle.
Ceci n’est que l’exemple pour montrer la sensibilité de l’interprétation et l’importance de sa maîtrise. L’objectif de l’étape de l’interprétation est de compléter l’analyse et de présenter les conclusions les plus utile et les plus pertinentes possibles. C’est l’opération critique qui justifie toute recommandation proposée.
Pour pouvoir interpréter, l’analyse de la corrélation entres les variables aléatoires dont la dépendance est prouvée est nécessaire, l’objectif étant de mesurer le degré d’influence des facteurs dans la production des résultats. Au fur et à mesure de l’exercice de l’OPP à cet instar,
l’expérience que court l’observateur lui fera découvrir des éléments qui conditionnent la complémentarité des informations qu’il produit et les autres éléments d’ordre conjoncturel qui viennent causer une exception dans toute équation interprétative pendant certaines périodes et qui ne doivent être considérées que pour ces périodes-là. Il faut prévoir, pendant cette phase, l’analyse des disparités que cache la moyenne (par le calcul de dispersion) pour mieux interpréter les chiffres.
- Etape 4 : Lecture analytique des politiques en cours
Cette étape substitue l’étape « comparaison Prévisions/Réalisations » de la méthodologie initiale. Le changement prend du temps, on ne peut chercher l’écart entre les réalisations et les prévisions de l’action publique qu’après un bon temps au lancement. L’exemple des lois des finances le met en évidence ; Quoique les réalisations budgétaires de chaque année N fussent prévues dans l’année N-1, l’évaluation des écarts n’a pas un vrai sens. En fait, cette évaluation rapide nous remet plutôt au contrôle qu’à l’évaluation ; il s’agit de contrôler les dépenses et les recettes prévues dans la loi des finances et d’arrêter les valeurs réalisées, alors qu’une partie des résultats recherchés prendraient du temps pour se confirmer ou s’infirmer (Exemple : une couverture budgétaire allouée aux investissements, ne réaliserait pas ses objectifs en termes de nombre de postes d’emplois à créer, de promotion de l’exportation, de l’ouverture sur la production dans de nouveaux chantiers industriels et autres finalités qu’après un certain temps qui peut aller jusqu’à des années et des années).
Par contre, dans la deuxième étape « Analyse et comparaison », l’observateur peut rappeler les prévisions et les objectifs assignées aux politiques et aux programmes arrivés à terme et/ou mis en œuvre il y a un bon temps.
- Etape 5 : Recommandations
Nous mettons à votre disposition cette nouvelle méthodologie tout en espérant avoir contribué à l’amélioration de l’analyse et de l’OPP. Et parce qu’il s’agit de décider de la chose publique, toute amélioration est bien sollicitée en vue d’être à même de proposer des analyses qui servent les protagonistes publiques dans leurs décisions.
Annexes
- « Les associations de la société civile et les organisations non gouvernementales se constituent et exercent leurs activités en toute liberté, dans le respect de la Constitution et de la loi. Elles ne peuvent être dissoutes ou suspendues, par les pouvoirs publics, qu’en vertu d’une décision de justice. Les associations intéressées à la chose publique et les organisations non gouvernementales, contribuent, dans le cadre de la démocratie participative, à l’élaboration, la mise en œuvre et l’évaluation des décisions et des projets des institutions élues et des pouvoirs publics. Ces institutions et pouvoirs doivent organiser cette contribution conformément aux conditions et modalités fixées par la loi. L’organisation et le fonctionnement des associations et des organisations non gouvernementales doivent être conformes aux principes démocratiques ». Article 12, Constitution 2011, Maroc
- « Les pouvoirs publics œuvrent à la création d’instances de concertation, en vue d’associer les différents acteurs sociaux à l’élaboration, la mise en œuvre, l’exécution et l’évaluation des politiques publiques ». Article 13, Constitution 2011, Maroc
- « Le Chef du Gouvernement présente devant le Parlement un bilan d’étape de l’action gouvernementale, à son initiative ou à la demande du tiers des membres de la Chambre des Représentants ou de la majorité des membres de la Chambre des Conseillers. Une séance annuelle est réservée par le Parlement à la discussion et à l’évaluation des politiques publiques ». Article 101, Constitution 2011, Maroc
- Journal LE MATIN, entretien réalisé par Mme Farida MOHA avec Ahmed BENCHEIKH, président de l’Association Marocaine de l’Evaluation. Réponse à la question « Il reste que l’on ne sait pas encore qui va évaluer, sans être juge et partie ? » lien : http://www.lematin.ma/journal/L-evaluation-des-politiques-publiques_Quel-role-pour-le-ParlementA/166925.html#
- « Mémorandum pour la constitutionnalisation de l’évaluation des politiques publiques au Maroc », à la Commission Consultative chargée de la Révision de la Constitution du Royaume du Maroc (Discours Royal du 9 mars 2011), 12 avril 2011.
- « Le parlement exerce le pouvoir législatif. Il vote les lois, contrôle l’action du gouvernement et évalue les politiques publiques ». Alinéas 1 et 2 de l’article 70, Constitution 2011, Maroc
- « Méthodologie Expérimentale de l’OPP », Réda LHOUMADI, Président de l’OMPP. A demander auprès du comité scientifique de l’OMPP par mail à : ompp.contact@gmail.com
- Intervention du Comité Scientifique : Rapport de l’Observation des Politiques Publiques Sectorielles (Décembre 2014), conférence de presse, 27 décembre 2014, Abdelhadi BOUSSAS, Président du comité scientifique de l’OMPP
- Retour sur expérience-2008-2014, Association Marocaine de l’Evaluation : http://www.ame.ma/Retour-sur-experience.php
- Systématisation : comment lier les éléments observés. « Note d’orientation pour l’élaboration du guide méthodologique de l’observation des politiques publiques », Abdelhadi BOUSSAS, Président du comité scientifique de l’OMPP
- L’OMPP dispose d’un comité « Gestion des projets » qui coordonne et contrôle le travail de l’observation faite par douze cellules de travail (1. Equilibre Macroéconomique - 2. Agriculture et Pêche maritime - 3. Industrie et Artisanat - 4. Equipement et Transport - 5. Tourisme et service - 6. Environnement, Habitat et Politique de la Ville – 7. Education, Recherche et Développement – 8. Santé et Qualité de la vie – 9. Justice et Droit de l’Homme – 10. Administration publique et Bonne gouvernance -11. Sport, Culture et Médias – 12. Société civile, Famille, Femme et Jeunesse)
