Le suivi et l’évaluation

Pourquoi évaluer dès le départ ?

Intégrer l’évaluation dès le départ suppose que, dès l’étape de la planification de l’Agenda 21^e siècle local (A21L), les acteurs se posent la question de la pertinence, de la cohérence eu égard aux choix des objectifs et/ou des orientations et/ou de la vision.

C’est l’évaluation ex ante. Elle peut se faire lors des étapes suivantes :

• lors du processus de planification de la démarche et de ses objectifs ;
• lors du choix des variables et des indicateurs de l’état des lieux ou diagnostic territorial ;
• lors de l’élaboration du plan d’action pour tenter de mesurer la performance des actions à venir (voir la grille d’analyse du DDV utilisée pour le cas de St-Félicien : projet matériel, projet immatériel).

Ce type d’évaluation permet d’analyser une action spécifique par rapport aux autres actions et ainsi vérifier qu’il n’y ait pas de contradiction. Par exemple il y a contradiction, si, dans un A21L, une des actions était d’éclairer les bâtiments publics pour rehausser l’image de la ville alors qu’un des objectifs était de réduire la consommation énergétique de la Ville.

L’évaluation ex ante, peut être très simple. À partir de quelques questions, elle permet d’éviter des erreurs de conception et de mieux cibler les actions à entreprendre. Elle permet aussi de vérifier comment le promoteur aborde le développement durable viable (DDV) et si toutes les dimensions du DDV ont été prises en compte dans les choix, les options ou les scénarios (à ce sujet, consulter le document édité par Extra-Muros).

Quand faut-il évaluer ?

L’A21L peut être considéré comme un processus de planification puisqu’il consiste, en grande partie, à définir un plan d’action visant à atteindre des objectifs. Considérons que ces étapes de planification sont :

1. concevoir un plan et évaluer sa faisabilité ;
2. appliquer et mettre en œuvre le plan ;
3. assurer un suivi des actions du plan (contrôle) ;
4. évaluer l’atteinte des objectifs à la fin du processus.

Ainsi, un A21L complet prévoit une première évaluation à l’étape de la planification, une seconde, lors du dépôt du plan d'action et une troisième, lors de la réalisation progressive du plan d'action.

Pourquoi faire un suivi formel ?

Une fois dans l’action le temps manque pour le recul. C'est classique ! Plusieurs acteurs ne prennent pas le temps d’évaluer, remettant à demain cette tâche, qui est en quelque sorte un contrôle qualité.

Pourtant, l’identification d’un suivi formel permet de détecter les changements, d’avoir une base de données longitudinale et surtout de définir clairement le rôle et les responsabilités des acteurs du suivi, ce qui n’est pas négligeable. Voici quelques-unes des questions qu’on peut se poser pour s’assurer un suivi :

• aura-t-on un comité de suivi ?
• de qui sera-t-il composé ? des mêmes personnes, en tout ou en partie, que le comité de parrainage ?
• se limite-t-on à un rôle de sonnette d’alarme ?
• quelles seront les mesures d’indicateurs de suivi, les outils et l’approche privilégiés ?
• qui effectuera ces mesures ? avec quelles ressources ?
• a quelle fréquence ?
• qui identifiera et mettra en œuvre des mesures de correction ou d’ajustement au besoin ?

Les expériences de comités de suivi au Québec sont nombreuses et déjà des leçons ont être tirées (Gagnon et al, 2002).

Quelle est la différence entre le suivi et l’évaluation ?

L’évaluation examine la démarche, les actions ou les projets ou politiques proposés, les attentes versus les résultats, l’atteinte des objectifs. Le suivi est lié aux variables et aux indicateurs, lesquels mesurent davantage l'évolution du changement.

Prenons l’exemple d’un plan d’action échelonné sur trois ans. Après la première année, il sera pertinent de vérifier si le plan d’action est en voie de réalisation, selon l’échéancier prévu ou si des correctifs doivent être apportés. Il s’agit d’une évaluation in-itinere, c’est-à-dire en chemin. Pour dresser un premier bilan de l’évolution du plan d’action A21L, l’évaluation in-itinere se base sur les données issues des indicateurs de suivi de l’année précédente, mais fait aussi le lien entre les variables, les actions et les objectifs afin de déterminer et, s’il y a lieu, réaligner une ou l’autre des actions prévues.

Que faut-il suivre ?

Idéalement, les variables à suivre et les indicateurs de suivi devraient être choisis lors de la conception du plan d’action, suite aux indications contenues dans l’état des lieux ou dans le diagnostic. Mais si en cours d’élaboration ou d’exécution de nouveaux enjeux ou thématiques surgissaient et que des données étaient nécessaires, des indicateurs seraient alors ajoutés.

Les variables et les indicateurs sont en général choisis en fonction du plan d’action et des objectifs et/ou orientations. Par exemple, si un des objectifs est de préserver la qualité de l’environnement dans une municipalité en bordure du fleuve Saint-Laurent, un des indicateurs pourrait être le nombre d’espèces animales et végétales qui vivent sur les berges, avant et après les actions mises en œuvre à ce sujet.

La mesure peut aussi être de nature plus subjective, par exemple le degré de satisfaction des citoyens par rapport à l’A21L. Elle peut aussi référer à des effets positifs ou négatifs, souhaités ou non, appréhendés. À titre d’exemple, un comité A21 et/ou de suivi peut répertorier le nombre d’emplois locaux créés par les projets du plan d’action tout au long de la durée du plan ou encore les économies d’énergie réalisées dans la municipalité. En fait, le choix des indicateurs, pour mesurer les progrès sur les enjeux ou les orientations du plan d’action, n’est pas un exercice facile, car la mesure doit être valide, fiable, accessible et peu coûteuse.

Les données utilisées pour faire le suivi ne nécessitent pas nécessairement une enquête scientifique ou un questionnaire élaboré à chaque fois. Des données sont déjà existantes et colligées par plusieurs organismes. Les plus importants, du moins en nombre de données, sont Statistique Canada et l'Institut de la statistique du Québec. Certes, les données ne sont pas toujours fiables à l’échelle locale et ont besoin d’être validées. Mais cela demeure tout de même une base intéressante, tant pour l’état des lieux que le diagnostic. Par ailleurs, des organismes territoriaux, comme la Commission scolaire, la Régie régionale des services de la santé compilent déjà un nombre d’informations utiles pour le suivi de DDV d’une localité dotée d’un A21L.

Pourquoi évaluer ?

Il y a toujours une différence entre la planification (plan d’action) et la réalité (mise en œuvre). Même les gouvernements et les grandes entreprises sont parfois aux prises avec des écarts importants. L’évaluation en fin de processus, aussi nommée évaluation ex post, juge l’ensemble du programme, c’est-à-dire l’atteinte des objectifs, les incidences sur le DDV, mais aussi l’efficacité et l’efficience du plan d’action A21L en tenant compte des ressources (financières, matérielles, humaines) qui ont été investies ou non. Le principal but de ce type d’évaluation est de tirer des leçons pour l’avenir, par exemple pour préparer une deuxième phase à l’A21L ou encore pour l’évolution des A21L au Québec. Dans le cas, où cette évaluation révèle de nombreux écarts entre ce qui a été planifié et réalisé, des correctifs seront apportés.

Cette évaluation se base sur les données du suivi ainsi que sur l’évaluation in-itinere, mais elle est une démarche en soi et, en ce sens, de nouvelles données peuvent être nécessaires. Par exemple, pour évaluer l’efficience d’une action, il faudra considérer les ressources, tant financières, matérielles, qu’humaines, qui ont été consentis en regard aux résultats obtenus.

Qui réalise le suivi et l’évaluation ?

L’A21L est d’abord un processus participatif et communicationnel : les étapes de suivi et d’évaluation ne font pas exception. La participation est particulièrement souhaitable lors de la planification de l’évaluation, amorcée dans l’état des lieux ou le diagnostic, puisque la sélection des variables et des indicateurs influence nécessairement les résultats. Ainsi, idéalement, le comité A21 et, de façon élargie, les acteurs territoriaux (experts, élus, population, groupes sociaux) participent au suivi et à l’évaluation.

L’élaboration du cadre d’évaluation est confiée à des consultants spécialisés dans le domaine de l’évaluation et/ou du DDV, du moins selon les expériences françaises. En effet, étant donné que les acteurs participant à la mise sur pied d’un A21L n’ont pas toujours le temps et ne se sentent pas toutes les compétences pour mener à bien cette tâche, ils peuvent faire appel à des personnes externes pour les accompagner dans leur démarche. Les consultants apportent en général des éléments théoriques pertinents et facilitent l’élaboration du cadre d’évaluation. Une évaluation réalisée par un consultant peut-être un gage d’indépendance, ce qui évite les dérapages politiques. Toutefois, ce coup de main externe devra renforcer les compétences locales et rendre les acteurs territoriaux autonomes à court terme.

A qui sert le suivi et l’évaluation ?

Étant donné que le suivi et l’évaluation ont pour but de contribuer à une meilleure prise de décision, orientée en fonction des principes de DDV, mais aussi au renforcement des capacités des communautés, il importe que les résultats de ce suivi et de cette évaluation soient diffusés régulièrement à l’ensemble de la communauté.

Comme l’application du DDV sous-tend des changements dans la manière de produire et de consommer, la population est mise à contribution. Les citoyens d’une municipalité et les organisations sont des acteurs à part entière de l’A21L. Le temps de l’évaluation permet de leur communiquer l’évolution de la situation avec plus d’objectivité et de transparence.

Quelques difficultés à surmonter …

Il faut bien le dire, l’évaluation est souvent la partie la plus déficiente des expériences d’A21L. Du moins c’est ce que nous avons observé dans les expériences françaises (Thuilier, 2005) et aussi québécoises. Mais, dans ce dernier cas, la jeunesse de leur mise en œuvre peut être un facteur explicatif. Le discours le plus fréquent est qu’il est plus important d’agir que d’évaluer.

Plusieurs considèrent même l’évaluation comme une perte de temps et d’argent. Toutefois, tel que mentionné plus haut, le suivi et l’évaluation font partie de la démarche et visent à l’améliorer. Les élus ne sont pas toujours intéressés à l’idée de voir la démarche suivie et évaluée. Certains vous diront que c’est à la population de juger et que les élections sont le moment propice pour le faire ! Mais l’A21L est une démarche collective qui identidie des projets et des responsables.

Les difficultés d’ordre logistique sont aussi un frein à l’évaluation. Les municipalités ne recueillent pas beaucoup d’information sur leur milieu et sont souvent tributaires des ministères provinciaux et fédéraux pour des données concernant la santé, l’environnement et l’emploi par exemple. La collecte de données les dimensions du DDV peut engendrer des frais supplémentaires, ce qui peut rebuter les décideurs.

De plus, l’absence d’outils de suivi et d’évaluation « clef en main » en décourage plus d’un. Il n’y a pas de manière unique d’évaluer un projet de DDV, voire un A21L. Toutefois, les recherches sur l’évaluation du DDV sont en train de bonifier l’évaluation traditionnelle. En effet, de plus en plus, les gens se rendent compte que la rentabilité économique n’est qu’une partie de la réussite d’un projet. Plusieurs autres éléments doivent être considérés et, en ce sens, les A21L ne font pas figure d’exception.

… et surtout, l’erreur à ne pas répéter

C’est probablement à l’étape de l’évaluation que l’on fait le plus clairement la différence entre un A21L et un projet ordinaire. En effet, contrairement à ce que nous avons pu observer, évaluer un A21L ne se limite pas à vérifier si les actions planifiées ont été réalisées. Il est important qu’une évaluation puisse établir si effectivement il y a eu une amélioration ou non au point de vue social, environnemental, économique et de gouvernance à l’échelle du territoire faisant l’objet de la démarche intégrée d’21L.

En effet, quand une communauté décide de s’engager dans un A21L, c’est pour agir sur son territoire dans le sens d’une amélioration de la qualité de vie et de l’environnement, dans le sens d'un DDV. Et l’évaluation de la démarche A21L permet de faire ce lien entre les actions réalisées, le territoire et le développement viable de la communauté.

En complément

L'élaboreration d'un plan d’action A21L
Les acteurs de l’A21L
La vision stratégique
La construction d'un partenariat avec la communauté
La structure de travail d’un A21L
Les comités de suivi

Pour aller plus loin...

AGENCE RÉGIONALE POUR L'ENVIRONNEMENT (ARPE) MIDI-PYRÉNÉES. (non daté). Indicateurs du développement durable urbain. Présentation et description des indicateurs, Agence régionale pour l'environnement, Toulouse, 45 p.

EXTRA-MUROS. (2002). Le développement durable, questions de pratiques, Extras-Muros, Dunkerque, 6 p.

GAGNON, C., L.LEPAGE, M.GAUTHIER, et G.CÔTÉ. (2002). Les comités de suivi au Québec, un nouveau lien de gestion environnementale, GRIR, Chicoutimi, 158 p.

THUILLIER, E. (2005). L’évaluation dans les Agendas 21 locaux de la région Nord-Pas-de-Calais (France) : quels enseignements pour l’évaluation du développement durable au niveau local ?, mémoire de maîtrise, Université du Québec à Montréal, 201 p.