Politique Evaluation Afd

Octobre 2013
Politique d’évaluation de l’AFD
Octobre 2013
Politique d’évaluation de l’AFD 1
2 Politique d’évaluation de l’AFD
Sommaire

1 Pourquoi une politique d’évaluation 8
1.1 Contexte 8
1.2 Objectifs du document de politique d’évaluation 9
2 L’évaluation à l’AFD 11
2.1 Objectifs de l’évaluation à l’AFD 11
2.2 Principes 12
2.3 Concepts et critères 13
2.4 Evaluation et autres regards sur les opérations 14
2.5 Les principaux types d’évaluation 15
3 Les défis de l’évaluation à l’AFD 19
3.1 Améliorer l’évaluabilité des interventions 19
3.2 Programmer plus systématiquement les évaluations en fonction de leur objectif principal 20
3.3 Clarifier les responsabilités dans la conduite des évaluations 22
3.4 Concevoir des produits d’évaluation pratiques 23
3.5 Garantir la qualité des évaluations 23
3.6 Rendre les évaluations plus utiles 24
4 Un travail mené en collaboration avec nos partenaires 28
5 Organisation et ressources 30
5.1 Gouvernance de l’évaluation 31
5.2 Ressources humaines et financières 31
6 Annexes 33
1 • Glossaire 34

2 • Conditions d’évaluabilité 34
3 • Charte de la Société française de l’Évaluation (SFE) 35
4 • Critères de qualité d’une évaluation 36
5 • La prise en compte par l’AFD des résultats des évaluations 37
6 • Lien avec les documents du CAD de l’OCDE auxquels il est fait référence dans le document 38

POLITIQUE
D’EVALUATION DE L’AFD
C
e document constitue un texte de référence tion… et d’informer le public et la représentation natio-
pour le personnel de l’Agence française de déve- nale sur l’utilisation des fonds publics et les résultats de
loppement, au siège comme dans les agences, cette politique publique ».
pour les ministères de tutelle, ainsi que pour les contre-
Les trois services d’évaluation ont pour mission pre-
parties, les partenaires et interlocuteurs de l’AFD, c’est-
mière de conduire ou de superviser l’évaluation des in-
à-dire tous les opérateurs qui mettent en œuvre les
terventions que leur structure pilote ou met en œuvre.
financements de l’AFD ou collaborent avec elle, y com- Il est cependant prévu que les ministères de tutelle de
pris les ONG, les consultants et les autres bailleurs de l’AFD puissent procéder à l’évaluation des projets et des
fonds. Le document de politique d’évaluation de l’AFD programmes mis en œuvre par l’AFD.
est un document public et traduit en anglais.
Ces trois services, bien qu’autonomes, travaillent de
L’évaluation à l’AFD fait partie du dispositif d’évaluation manière semblable. Ils se réfèrent aux même principes
et critères d’évaluation du Comité d’aide au développe-
de l’APD française auquel participent les ministères de
ment (CAD) de l’OCDE, et leurs protocoles d’évaluation
tutelle. Ce texte entend contribuer à la cohérence d’en-
sont similaires : structures de pilotage des évaluations
semble de ce dispositif.
ouvertes aux diverses parties prenantes à l’intervention
évaluée, externalisation des évaluations, restitution des
Le dispositif d’évaluation de l’aide publique au dévelop- résultats de l’évaluation et publication des rapports
pement française d’évaluation. La réalisation d’évaluations conjointes et
la participation croisée aux comités de pilotage des
Le dispositif français d’évaluation de l’aide publique au évaluations mis en place par chaque structure est éga-
développement repose sur les services d’évaluation des lement un facteur de convergence des approches et
trois principaux acteurs publics de la coopération, reflé- des méthodes d’évaluation.
tant ainsi l’organisation du dispositif français de coopé-
ration au développement : Les trois structures se concertent sur la programma-
tion de leurs évaluations, laquelle fait l’objet d’une
- le pôle de l’évaluation du ministère des Affaires étran- validation annuelle par le co-secrétariat du Comité
gères, rattaché au service des programmes et du réseau interministériel de la Coopération internationale et du
de la direction générale de la mondialisation (DGM) ; développement (cosec-CICID). Selon la décision du
CICID du 31 juillet 2013, les trois services devront pré-
- l’unité d’évaluation des activités de développement parer un programme d’évaluation pluriannuel conso-
(UEAD) de la Direction générale du Trésor, qui est pla- lidé. Ils arrêtent ensemble le programme d’évaluations
cée auprès du chef du service des affaires multilatérales conjointes menées au niveau national, européen ou
et du développement ; international, comme l’évaluation de la Déclaration de
Paris sur l’efficacité de l’aide.
- la division de l’Évaluation et de la capitalisation de
l’AFD, logée au sein de son département de la recherche. C’est dans le cadre de ce programme d’évaluations
conjointes que sont menées les évaluations des poli-
Le Document cadre de coopération au développe- tiques et stratégies de la coopération française en
ment s’engage à développer l’évaluation des actions en matière d’aide publique au développement. Le dernier
faveur du développement. Il précise que l’évaluation exercice de ce type est le bilan évaluatif de la politique
« vise à mesurer l’efficacité des actions bilatérales et les française de coopération au développement entre 1998
contributions multilatérales, afin de mieux piloter les et 2010, qui a été achevé en décembre 2012.
modalités d’intervention et les canaux de financement L’AFD rend compte de son activité d’évaluation à ses
de nos objectifs de coopération, d’améliorer le fonc- ministères de tutelle qui, depuis la réunion du cosec-CI-
tionnement des institutions en charge de la coopéra- CID du 15 décembre 2008, se sont engagés à adresser un

La politique d’évaluation de l’AFD
rapport consolidé sur l’évaluation de l’APD aux assemblées parle- Le dispositif d’évaluation de l’aide publique au développement
mentaires. Le CICID du 31 juillet 2013 réaffirme cet engagement française a fait l’objet d’un examen par la Cour des comptes en
de produire tous les deux ans un rapport public sur les évalua- 2010 dans le cadre de l’enquête sur la politique française d’aide
tions des résultats des interventions au titre de l’aide publique publique au développement. Le rapport de la Cour des comptes
au développement française. a été publié en juin 2012.

Pourquoi une politique
d’évaluation ?
1

1 Pourquoi une politique
d’évaluation ?
1.1 Contexte
E
n 2010, la stratégie de coopération de la France s’inscrit dans cette perspective. Les éléments contex-
a été définie dans un document cadre « Coopé- tuels suivants confortent sa pertinence :
ration au développement : une vision française »,
- le contexte économique et budgétaire actuel rend
structurée autour de quatre priorités interdépendantes :
plus que jamais nécessaire l’appréciation des perfor-
une croissance durable et équitable, la lutte contre la
pauvreté et les inégalités, la préservation des biens mances des politiques publiques ;
publics mondiaux et la promotion du droit et de la - l’AFD a connu ces dernières années de profonds chan-
stabilité. La stratégie identifie quatre zones de partena- gements : multiplication par cinq de son volume d’acti-
riats, où la France ne poursuit pas les mêmes objectifs et vité en dix ans, extension de son champ géographique
ne met pas en œuvre les mêmes instruments financiers.
et de ses secteurs d’intervention, diversification de ses
contreparties et de son offre de produits financiers.
Le troisième Plan d’orientation stratégique de l’AFD Le suivi et l’évaluation systématiques de la pertinence
2012-2016 (POS3) encadre l’action de l’AFD, définie
et de la performance des interventions de l’AFD sont
comme opérateur pivot de la coopération française,
donc non seulement de plus en plus nécessaires, mais
afin de mener à bien les objectifs fixés par le document
cadre. L’un des objectifs du POS3 est de renforcer la pro- appellent des réponses de plus en plus complexes à
duction et l’échange de connaissances, objectif auquel mettre en œuvre;
l’évaluation contribue. Le POS3 souligne également la - les engagements pris à Busan en matière de redeva-
nécessité pour l’AFD d’être une agence exemplaire, ce bilité mutuelle impliquent un effort accru de l’évalua-
qui implique un effort en matière de transparence et de tion des interventions de l’AFD. Le POS3 engage l’AFD à
redevabilité. Reconnaissant les progrès importants réa-
mettre en œuvre les principes de la Déclaration de Pa-
lisés par la France en matière d’amélioration de l’effica-
ris, du Programme d’action d’Accra et du Partenariat de
cité, de la redevabilité et de la transparence, le Comité
interministériel de la coopération internationale et du Busan sur l’efficacité de l’aide et les principes de coor-
développement (CICID), réuni le 31 juillet 2013, fait de dination et de division du travail agréés par les pays
cette évolution un des axes prioritaires de rénovation membres de l’Union européenne. La concrétisation de
de la politique d’aide au développement. tels engagements n’est concevable que moyennant
La formalisation de la politique d’évaluation de l’AFD une amélioration des pratiques de suivi et d’évaluation.

Pourquoi une politique d’évaluation ?
1.2 Objectifs du document de politique d’évaluation
L
e document de politique d’évaluation énonce les d’afficher, tant au niveau interne qu’externe, l’impor-
principes, standards et approches d’évaluation tance accordée par l’institution à l’évaluation de son
auxquels l’AFD se réfère1. Son objectif premier est action.
L’OCDE définit l’évaluation comme « l’appréciation systématique et objective d’un projet, d’un programme ou d’une politique, en cours ou
achevé, de sa conception, de sa mise en œuvre et de ses résultats2. Le terme évaluation désigne également un processus aussi systé-
matique et objectif que possible par lequel sont déterminées la valeur et la portée d’une action de développement projetée, en cours ou
achevée. »
[Source : CAD, Evaluer la coopération pour le développement, récapitulatif des normes et standards de référence]
C
e document a pour objectif d’éclairer les diffé- La politique d’évaluation couvre :
rentes parties prenantes à l’évaluation en énon- - tous les projets et programmes menés par l’AFD (y
çant des règles qui concernent la conception, la compris les financements des initiatives ONG et les
conduite et l’utilisation des évaluations à l’AFD. financements accordés Outre-mer)3 ;
Il a également vocation à apporter de la lisibilité à cette
- les cadres d’interventions géographiques, sectoriels et
activité au sein de l’AFD et à améliorer la cohérence et la
thématiques dans lesquels ils s’insèrent, et
complémentarité des dispositifs contribuant à la fonc-
tion d’évaluation ou interagissant avec elle. - les instruments que l’AFD met en œuvre.
Le document est conçu pour servir de cadre aux pro- Révision de la politique
cédures de l’AFD ayant trait à l’évaluation et aux docu- Les conceptions en matière d’aide publique au déve-
ments méthodologiques qui viendraient en préciser la loppement et en matière d’évaluation des politiques
mise en œuvre. publiques évoluent rapidement. Si certains principes,
ancrés dans des engagements pris au niveau interna-
Le document de politique d’évaluation s’intéresse à : tional ou dans la politique d’évaluation de l’action pu-
blique en France, constituent un socle stable sur lequel
- la conception des interventions* de l’AFD ;
la politique d’évaluation de l’AFD s’appuie, celle-ci sera
- le suivi des interventions et, en particulier, celui de très probablement amenée à évoluer au cours des an-
leurs résultats* ; nées à venir. Afin de tenir compte de ces évolutions et
- la programmation des évaluations ; des leçons tirées de sa mise en œuvre, le document de
- leur conception et leur conduite ; et : politique d’évaluation sera révisé lors de l’élaboration
- l’utilisation de leurs résultats. du prochain Plan d’orientation stratégique.
1
Le document comporte un glossaire des termes employés en annexe. Un astérisque signale les mots dont la définition y figure.
2
Pour éviter toute confusion, ce document utilise le terme évaluation pour désigner l’appréciation de la pertinence et de la
performance des interventions en cours ou achevées, et le terme d’évaluation ex ante pour désigner l’appréciation de l’intérêt
d’une intervention au moment de décider de l’engager.
3
Les activités de PROPARCO et celles des filiales de l’AFD Outre-mer ne sont pas couvertes par ce document de politique.

L’évaluation à l’AFD
2

2.1 Objectifs de l’évaluation à l’AFD
L
’évaluation à l’AFD sert d’abord à améliorer les L’évaluation participe, en outre, à l’obligation de rendre
stratégies, programmes et projets d’aide futurs, des comptes aux ministères de tutelle, aux différentes
grâce aux enseignements tirés de l’expérience. parties prenantes au processus de coopération en
France et à l’étranger, et au grand public.
Elle contribue au capital de connaissances interne à Le document de politique d’évaluation explicite la
l’AFD, mais aussi au capital de connaissances externe, manière dont l’évaluation contribue à ces trois objec-
alimentant ainsi le débat sur les enjeux de développe- tifs : amélioration des interventions, accumulation des
ment et ceux de l’APD. connaissances sur le développement et redevabilité.

EVALUATION ET REDEVABILITÉ
L’évaluation est l’un des outils qui L’évaluation, de son coté, doit appor- évaluations ex post se prononcent sur
répond à l’obligation de redevabilité. ter un jugement sur les questions clefs la notation des projets à l’achèvement
La redevabilité, selon l’OCDE, est la que soulèvent le bien fondé, la mise en qui est effectuée par les services opé-
« responsabilité de fournir des rap- œuvre et les effets d’une intervention. rationnels ;
ports d’avancement précis, honnêtes Elle n’a pas pour objectif premier de - rend compte de sa performance en
et crédibles et des appréciations sur la fournir des données objectives sur les menant également un programme
performance [des interventions] ». La résultats obtenus, mais d’expliquer et d’évaluations au champ plus large
première dimension de la redevabilité d’apprécier ces derniers. On attend de que celui des projets et programmes
relève en fait du suivi en exécution et l’évaluation une appréciation plus large financés, couvrant notamment les ins-
renvoie à la capacité de renseigner de la performance que la seule analyse truments et les cadres d’interventions
des indicateurs de réalisation et de quantitative du degré d’atteinte des stratégiques qu’elle conçoit et met en
résultat et de les agréger ; la seconde objectifs* et, dans certains cas, une œuvre. Ces évaluations sont systémati-
dimension relève véritablement de analyse approfondie des résultats qui quement publiées et accessibles sur le
l’évaluation. peuvent être « attribués » à l’AFD. site institutionnel de l’AFD ;
La redevabilité c’est aussi, pour l’OCDE, - communique chaque année un rap-
Le dispositif de suivi des interventions le « devoir de rendre compte envers les port sur ses activités d’évaluation qui
doit renseigner sur les moyens mis en contribuables et les citoyens », ce qui a vocation à être intégré à un rapport
œuvre, les réalisations obtenues et impose de respecter un certain nombre rédigé pour le Parlement, conjointe-
les résultats atteints. C’est un instru- de principes en matière de champ des ment avec les services d’évaluation de
ment central de redevabilité car il peut évaluations et de publication de leurs la Direction générale du Trésor et du
répondre aux interrogations des diffé- résultats. ministère des Affaires étrangères. Ce
rentes parties prenantes, y compris le Pour répondre à cette obligation, l’AFD : document synthétise les principales
public, sur les résultats de développe- - s’est engagée à réaliser un pro- conclusions et recommandations des
ment obtenus. C’est le sens du chan- gramme d’évaluations ex post couvrant évaluations menées sur la période ;
tier de réforme des indicateurs « agré- l’ensemble des projets et programmes - participe aux évaluations conjointes
geables » mené par l’AFD et des efforts qu’elle finance, sans biais de sélection avec les ministères de tutelle, qui
menés pour renforcer la qualité des dans le choix des opérations à évaluer portent sur les politiques et stratégies
rapports d’achèvement de projets. qui serait lié à la qualité des projets. Ces d’aide au développement de la France.

2
2.2 Principes
L
’évaluation obéit aux principes énoncés par la Utilité :
charte d’éthique professionnelle du groupe AFD
• Une évaluation n’est programmée que lorsqu’elle
et par la charte de l’évaluation des politiques
est susceptible de contribuer aux objectifs suivants :
publiques et des programmes publics de la Société
améliorer les interventions, contribuer au capital de
française de l’Évaluation (SFE). La charte de la SFE est
connaissances, rendre des comptes et elle est organisée
annexée au présent document.
en conséquence.
A l’instar des autres bailleurs de fonds bilatéraux, l’AFD
souscrit aux principes du CAD pour l’évaluation : impar-
tialité et indépendance, crédibilité, utilité, participation Partenariat :
(des partenaires locaux) et coordination (avec les autres
• L’AFD s’est engagée à mettre en œuvre le partenariat
bailleurs).
de Busan pour une coopération efficace au service du
Comme la mise en œuvre de ces principes peut varier développement. Elle veut contribuer à la mise en place
d’un bailleur à l’autre, il importe de préciser l’interpréta- du cadre de redevabilité mutuelle en associant et impli-
tion qu’en fait l’AFD : quant ses partenaires aux processus d’évaluation qu’elle
conduit.
• Toutefois, dans la mesure où l’intervention de l’AFD sert
Indépendance :
aussi la promotion de principes, de valeurs et d’intérêts
• La conduite ou la supervision des évaluations sont propres, l’évaluation ne pose pas comme postulat une
réalisées par un service indépendant de celui qui est parfaite identité des objectifs poursuivis par l’AFD et par
chargé de la conception et de la mise en œuvre de ses partenaires. Aussi l’AFD encourage-t-elle, en matière
l’intervention ; le degré d’indépendance recherché varie d’évaluation, l’affichage de tous les objectifs, dans un
toutefois en fonction de la finalité des travaux d’évalua- souci de transparence et de clarté du partenariat.
tion qui sont conduits.
• Le dispositif d’évaluation est chapeauté par un Comité
Coordination :
des évaluations composé des représentants des minis-
tères de tutelle de l’AFD et de personnalités indépen- • L’AFD suit les orientations du CAD en matière d’évalua-
dantes. Ce Comité formule un avis sur la pertinence et tions conjointes.
la qualité des travaux d’évaluation, leur programmation
• Pour faciliter la réalisation d’évaluations conjointes,
et les moyens alloués à l’évaluation. Il rapporte directe-
l’AFD communique son programme d’évaluations au
ment au Conseil d’administration de l’AFD sur une base
Réseau du CAD sur l’évaluation (EVALNET). Elle vérifie
annuelle.
systématiquement au moment de lancer une évalua-
tion s’il n’est pas plus approprié de mener un travail
conjoint avec d’autres bailleurs de fonds.
Qualité :
• La qualité de l’évaluation s’apprécie au niveau des per-
sonnes chargées de conduire et de réaliser les travaux Transparence :
d’évaluation, au niveau du processus évaluatif et au
• Conformément à la démarche de responsabilité socié-
niveau du produit de l’évaluation. Le présent document
tale de l’AFD, les évaluations sont systématiquement
énonce les critères de qualité des évaluations, les règles
publiées en version papier et leur téléchargement est
de recrutement des évaluateurs et les engagements de
libre sur le site de l’AFD. En application des nouvelles
l’AFD en matière de formation de ses agents.
dispositions de ses conventions de financement, l’AFD

publie également des « fiches de performance » des • Tout en respectant les obligations légales et les règles
projets synthétisant les résultats des évaluations indivi- édictées par la SFE, les données qui ont servi au travail
duelles de projets. Ces fiches seront également acces- d’évaluation sont également rendues accessibles au
sibles sur le site internet de l’AFD. public dans un délai raisonnable.
2.3 Concepts et critères
Concepts l’AFD. En matière d’évaluation, cela implique d’analyser

la contribution de l’intervention aux finalités du déve-
L’AFD utilise le glossaire du CAD comme référence prin-
loppement durable (développement économique,
cipale pour la formulation de ses opérations et de ses
lutte contre la pauvreté, réduction des inégalités, pro-
évaluations.
tection de la biodiversité et lutte contre le changement
L’AFD veille au travers d’efforts de formation et de com- climatique). L’évaluation portera une attention particu-
munication à ce que l’ensemble des personnes concer- lière à la manière dont l’AFD et ses partenaires appré-
nées par la conception, la conduite, le suivi et l’évalua- hendent l’équilibre entre les enjeux économiques, envi-
tion de ses interventions partage les mêmes définitions ronnementaux et sociaux de l’intervention. En matière
des concepts de base utilisés dans le cycle de l’interven- d’évaluation de projet, l’AFD s’engage à examiner sys-
tion. tématiquement les conséquences environnementales
et sociales des projets classés A, c’est-à-dire ceux com-
Critères
portant des activités considérées comme à haut risque
L’AFD appuie ses travaux d’évaluation, à l’image de et/ou qui sont mises en œuvre dans une zone dite «
l’ensemble de la communauté des bailleurs de fonds sensible », justifiant, à ce titre, des mesures particulières
bilatéraux, sur les cinq critères définis par le CAD : per- de limitation, compensation ou accompagnement des
tinence*, efficacité*, efficience*, soutenabilité* et im- effets négatifs.
pact*. La pertinence renvoie à la bonne adéquation des
- Parce qu’elle est d’abord un prêteur, l’AFD s’attache
objectifs de l’intervention au problème à traiter et/ou
à apprécier les effets de ses concours financiers sur la
aux besoins de ceux qui sont censés en être les bénéfi-
situation financière de ses emprunteurs et nuance son
ciaires. La pertinence analyse également la cohérence
appréciation des critères d’évaluation, notamment
de l’intervention par rapport aux stratégies du parte-
celui de la soutenabilité, en fonction de l’instrument
naire et aux priorités du bailleur de fonds. L’efficacité
financier mobilisé.
indique dans quelle mesure les objectifs spécifiques*
poursuivis ont été atteints ou sont en passe de l’être. - A la suite de la remise au ministre délégué au Déve-
L’efficience apporte un jugement sur les ressources loppement, en janvier 2010, des recommandations de
mobilisées pour les atteindre. La soutenabilité appré- l’évaluation de la stratégie française « Genre et dévelop-
cie dans quelle mesure l’intervention est susceptible pement », la prise en compte du genre dans les poli-
de produire des résultats dans le temps, une fois qu’elle tiques françaises de développement a été renforcée.
a cessé. L’impact recouvre l’ensemble des effets de l’in- L’AFD intègre cette dimension genre dans l’analyse de
tervention, qu’ils soient positifs ou négatifs, directs ou la pertinence, de l’efficacité et de l’impact de ses inter-
indirects, voulus ou non. ventions.
Les critères d’évaluation constituent un cadre de réfé- - Enfin, l’AFD tente d’identifier sa « valeur ajoutée » dans
rence qui doit être adapté à chaque évaluation. L’impor- l’intervention évaluée. Il s’agit d’apprécier en quoi l’in-
tance accordée à chaque critère peut varier en fonction tervention de l’AFD est différente de celle de n’importe
des objectifs de l’évaluation. quel autre bailleur qui aurait pu financer l’intervention.
Les effets des apports non financiers (expertise tech-
L’AFD attache une importance particulière à certains
nique, dialogue avec le bénéficiaire, réactivité, implica-
aspects spécifiques :
tion,…) et leur spécificité à l’AFD seront ainsi systémati-
- Le POS3 fait du développement durable la référence quement étudiés.
commune à l’ensemble des activités opérationnelles de

2
2.4 Evaluation et autres regards sur les opérations
LES OPÉRATIONS DE L’AFD SONT SOUMISES À PLUSIEURS « REGARDS CRITIQUES » QUI VISENT
À EN AMÉLIORER LA PERFORMANCE
1. Le premier regard est celui que porte le chef de projet lui-même lorsqu’il instruit une opération en mobilisant son exper-
tise, sa connaissance du secteur, des géographies et des contreparties et les leçons de l’expérience. Ce regard est formalisé
dans les notes de présentation aux instances de décision de l’AFD. Ce travail est complété par des études de capitalisation
menées au sein des divisions techniques de l’AFD.
2. Le deuxième regard, celui de la Seconde opinion de la direction des Risques, vérifie que les opérations ont été conçues
de manière à ne pas exposer l’AFD à un niveau de risque excessif, la notion de risque étant défini en des termes assez larges.
L’incapacité éventuelle de l’AFD de rendre compte des résultats de ses projets accroît son risque d’image. La Seconde opinion
a donc pour mandat de s’assurer que les interventions soient conçues avec des objectifs spécifiques* clairs et quantifiés,
assortis de dispositifs de suivi réalistes.
3. Le troisième regard, porté par l’Inspection générale, s’assure que les opérations sont conduites en conformité avec les
dispositions légales et réglementaires, les normes et usages professionnels et déontologiques auxquels l’AFD est soumise ou
qu’elle s’est engagée à respecter.
4. Le quatrième regard, supervisé par la cellule Qualité de la direction des Opérations, consiste à apprécier la qualité de la
mise en œuvre des projets, ainsi que leur perspective d’atteinte des objectifs de développement sur la base d’une notation
effectuée en cours d’exécution par les chefs de projet.
5. Le cinquième regard est celui porté par les équipes opérationnelles à l’achèvement du projet. Il s’agit d’établir un pre-
mier bilan, factuel et quantitatif, sur les moyens mobilisés, les réalisations obtenues et les résultats atteints dans un rapport
d’achèvement de projet (RAP). Ce bilan donne lieu à une notation du projet. La consolidation annuelle des notes permet
de renseigner un indicateur du contrat d’objectifs et de moyens sur la part des projets jugés satisfaisants à leur achèvement.
6. Le sixième regard est celui de l’évaluation.
La politique d’évaluation ne concerne que ce sixième des projets est conçue à l’AFD comme un exercice
regard, mais tient compte de l’articulation avec les cinq d’autoévaluation. Toutefois, lorsque le projet fait l’objet
autres. En particulier, d’une évaluation ex post, il est demandé à l’évaluateur
de se prononcer sur la notation effectuée par les ser-
► L’évaluation ne porte pas explicitement sur la ma- vices opérationnels.
nière dont l’AFD gère le « cycle du projet ». Cette appré-
ciation est portée par l’Inspection générale, dont les ► Les démarches de suivi en exécution et d’évaluation,
missions relèvent, d’une certaine manière, de l’audit de tout en étant fondamentalement différentes (cf. enca-
performance. La qualité de l’instruction et du suivi des dré évaluation et redevabilité) sont complémentaires :
opérations est toutefois examinée lors de l’évaluation la qualité du suivi conditionne en effet la qualité, voire la
et elle est prise en compte dès lors qu’elle agit sur les faisabilité, de l’exercice d’évaluation. Les évaluations ex
critères d’évaluation. post de projet sont désormais réalisées après la produc-
tion du rapport d’achèvement de projet, afin de pou-
► L’évaluation ne débouche pas sur une notation indé- voir disposer d’une information précise sur les moyens
pendante des opérations. La notation à l’achèvement mis en œuvre, les réalisations du projet et ses résultats.

La qualité du suivi est conditionnée par la qualité de la Cette anticipation des besoins d’informations et de
conception de l’opération : le service d’évaluation de données est indispensable, notamment dans le cas des
l’AFD peut donc intervenir en appui méthodologique évaluations d’impact qui réclament de pouvoir suivre
au chef de projet pour la conception des dispositifs de les effets de l’intervention, depuis une situation de réfé-
suivi afin de s’assurer de l’évaluabilité* de l’opération. rence initiale jusqu’à son achèvement.
2.5 Les principaux types d’évaluation
Les différents types d’évaluations menées par l’AFD pative et évaluation d’impact) et leur relation avec les
viennent s’insérer dans un continuum entre suivi, éva- responsables de l’intervention évaluée (évaluation in-
luation et recherche. dépendante, auto-évaluation). Les évaluations menées
par l’AFD empruntent à toutes ces catégories.
L’OCDE distingue plusieurs catégories d’évaluations
selon leur champ d’analyse (projet, secteur, pays, thé- Catégories d’évaluations
matique, …), leur finalité (récapitulative ou formative*),
le moment où elles sont réalisées (ex ante, in itinere L’AFD mène surtout quatre catégories de travaux
ou ex post), leur approche (évaluation par rapport aux d’évaluation qui sont définies par le champ évalué,
objectifs affichés de l’intervention, évaluation partici- l’approche et les méthodes utilisées, et leurs objectifs :
Type d’évaluations Champ Approche/méthodes Objectif principal (secondaires)
Evaluation par rapport aux objectifs

Amélioration des interventions, dia-
(goal-based evaluation), revues
Evaluations ex post de projet Projets logue avec les maîtrises d’ouvrage sur
(pour les projets complexes
les résultats
Production de connaissances,
Méthodes « basées sur la théorie »,
(amélioration des interventions, rede-
Evaluations approfondies Projets, grappes de projets, instru- méthodes expérimentales et quasi
vabilité)
ments expérimentales
Cadres d’interventions sectoriels, géo- Evaluation par rapport aux objectifs, Amélioration des interventions (rede-
Evaluations stratégiques graphiques, transversaux revues vabilité)
Synthèses d’évaluations Grappes de projets Méta-évaluation Amélioration des interventions
- Evaluations ex post de projet. Ces évaluations portent lesquels il n’est pas possible d’isoler la contribution de
sur toutes les catégories de concours financiers de l’AFD à l’atteinte de ses objectifs de développement
l’AFD. Ces évaluations sont assez sommaires sur le (aides sectorielles passant par un fonds commun, aides
plan méthodologique et se focalisent sur le processus budgétaires globales ou sectorielles, ...) font l’objet de
de mise en œuvre et le degré d’atteinte des objectifs revues analytiques lorsqu’il n’est pas possible de mener
spécifiques* des projets. Lorsqu’ils ne font pas appel à une évaluation conjointe (cf. infra). Les financements
des méthodes d’évaluation spécifiques, les projets de des initiatives ONG font également l’objet d’évaluations
l’AFD sont évalués selon une procédure décentralisée : par grappes de projets dans un pays ou un secteur don-
les évaluations sont conduites par les agences locales né, qui sont co-pilotées par la division du Partenariat
de l’AFD selon un protocole défini, sous la supervision avec les ONG et la division de l’Évaluation4.
de la division de l’Évaluation (cf. infra). Les projets pour
4
Ces évaluations viennent compléter les évaluations externes réalisées par les ONG elles-mêmes.

2
LES ÉVALUATIONS DÉCENTRALISÉES DE PROJETS
Les évaluations décentralisées de projet sont pilotées par les ment un dialogue sur les résultats avec les parties prenantes
agences et les départements géographiques de l’AFD, avec des opérations financées.
l’appui de la division de l’Évaluation.
- La possibilité de recours à l’expertise locale. La mobilisa-
Ce dispositif, mis en place par l’AFD à partir de 2007, pré- tion de l’expertise locale est, autant que possible, privilégiée
sente trois précieux atouts : par l’AFD, afin de bénéficier de sa bonne connaissance du
contexte et de pouvoir accompagner le développement des
- La proximité avec les contreparties qui sont impliquées capacités locales d’évaluation.
dans le processus évaluatif. L’évaluation participe ici de la
démarche d’aide au développement au même titre que la - La diffusion de la culture d’évaluation dans les services opé-
mise en œuvre des opérations. L’un des objectifs centraux rationnels et auprès des partenaires de l’AFD.
des évaluations décentralisées est d’organiser progressive-
- Évaluations approfondies. Leur champ d’analyse est le la manière dont l’AFD interprète les missions qui lui
plus souvent un projet ou un ensemble de projets rele- sont confiées par ses tutelles, et constituent le cadre
vant d’un même secteur ou mettant en œuvre le même analytique par lequel l’AFD entend obtenir des résul-
instrument financier. L’objectif de l’évaluation est de tats de développement par sa production financière et
répondre à un déficit de connaissances sur les résultats non financière. Le champ des évaluations stratégiques
et les impacts d’une intervention et, lorsqu’ils sont éta- couvre les cadres d’intervention* ou un sous-ensemble
blis, de comprendre les mécanismes liant l’intervention homogène de ces cadres d’intervention, ou bien des
à ces résultats et ces impacts. Les évaluations approfon- éléments de stratégie qui ne sont pas encore formali-
dies portent souvent sur les projets innovants ou ceux sés. Les évaluations stratégiques devraient avoir pour
qui mettent en œuvre des modèles promus par l’AFD. effet, en retour, d’améliorer la qualité de ces outils de
Ces travaux d’évaluation se situent à la croisée des che- cadrage stratégique. Ces évaluations de type formatif*
mins entre la recherche et l’évaluation. L’AFD a recours servent également l’objectif de redevabilité. Ces évalua-
à une pluralité d’approches et méthodes d’évaluation. tions sont souvent moins exigeantes sur le plan métho-
Les évaluations approfondies font appel aux méthodes dologique que la seconde catégorie d’évaluations et
« basées sur la théorie » (ex. : analyse qualitative compa- peuvent donner lieu à des revues analytiques (cf. infra).
rative, analyse de contribution) et aux méthodes expé-
rimentales et quasi expérimentales propres aux évalua- - Synthèses d’évaluations et méta-évaluations. La divi-
tions d’impact basées sur une comparaison « avec-sans » sion de l’évaluation réalise des synthèses d’évaluations
l’intervention. Pour l’AFD, l’exigence centrale en termes de projets par thème, secteur ou géographie, destinées
de méthode est l’adéquation de la méthodologie utili- à améliorer les opérations grâce aux enseignements
sée avec la nature de l’intervention évaluée, l’objectif de tirés des évaluations déjà réalisées. Les méta-évalua-
l’évaluation et le type de question posée.L’AFD conduit tions, qui « évaluent les évaluations », permettent quant
de manière spécifique des évaluations d’impact qui, à elles de jeter un regard critique sur le processus éva-
dans leur conception la plus stricte, cherchent à mesu- luatif et son efficacité en termes de contribution aux
rer les effets uniquement attribuables à l’intervention. besoins de connaissances et de redevabilité.
Les évaluations d’impact peuvent s’appuyer sur une
approche dite « empirique », consistant à comparer la Revues analytiques
situation des bénéficiaires de cette intervention à une
situation « contrefactuelle », c’est-à-dire à une situation La division de l’Évaluation peut également mener des
hypothétique qui aurait prévalu en l’absence de toute travaux de « revue analytique », traduction imparfaite
intervention. du terme anglais reviews. Ces travaux dont l’objectif
est délibérément formatif* ne répondent pas stricte-
- Évaluations stratégiques. Les cadres d’interventions ment aux critères et méthodologies de l’évaluation, ni
(géographiques, sectoriels et transversaux) traduisent ne traitent nécessairement de tous les critères d’évalua-

tion du CAD, mais simplement des questions identifiées cisément, les revues se focalisent sur les aspects opéra-
comme utiles. Ils peuvent prendre différentes formes : tionnels et ne cherchent pas autant que les évaluations
cartographies, analyses de grappes d’opérations, revue à apprécier les résultats et l’impact des interventions.
de portefeuille, bilans... Ces travaux sont menés lorsqu’il Ces travaux sont diffusés de manière interne à l’AFD,
s’agit d’apprécier la performance des interventions mais ils peuvent aussi être publiés s’ils présentent un
complexes difficilement évaluables (cf. infra). Plus pré- intérêt pour le public.
EVALUATION DES ACTIVITÉS OUTRE-MER DE L’AFD
La politique d’évaluation présentée dans ce document - la possibilité de se voir confier par la DGOM la réalisation
s’applique aux interventions de l’AFD Outre-mer sous une d’évaluations d’impact de politiques publiques dans les dé-
forme adaptée qui tient compte notamment des spécificités partements d’Outre-mer.
du mandat de l’AFD et des missions confiées à la Direction
Générale des outre-mer en matière d’évaluation. Les évaluations des activités Outre-mer visent principale-
ment des objectifs d’apprentissage, d’aide à la décision et
L’AFD a une mission d’accompagnement des politiques pu- de renforcement du dialogue avec les parties prenantes à
bliques de l’Etat en faveur du développement économique l’intervention évaluée. Les évaluations mettent l’accent sur
et social des Outre-Mer. Elle intervient comme opérateur ou la dimension participative, soit dans l’approche évaluative
comme partie prenante à la mise en œuvre de ces politiques retenue, soit dans l’implication des parties prenantes dans
que la DGOM a mandat d’évaluer. Ce positionnement spéci- le processus évaluatif. Le champ de l’évaluation Outre-mer
fique se traduit, en matière d’évaluation, par : comprend (i) les cadres d’intervention géographiques et les
parties des cadres d’interventions sectoriels consacrées à
- une faible légitimité de l’AFD à s’interroger seule sur la per- l’Outre-mer et (ii) un nombre réduit de projets de finance-
tinence de ces interventions, ce qui suppose d’adapter le ment où l’évaluation contribue au partenariat de l’AFD avec
contenu et l’interprétation des critères d’évaluation du CAD les collectivités territoriales et les établissements publics
qu’elle utilise habituellement ; locaux qui les mettent en œuvre. L’évaluation porte alors à la
fois sur les concours financiers accordés par l’AFD et sur les
- l’intégration des interventions de l’AFD dans le champ cou- activités d’appui-conseil auprès des contreparties.
vert par les évaluations conduites par la DGOM. La DGOM
et l’AFD s’inscrivent toutefois davantage dans une logique L’appréciation des effets des concours financiers accordés par
d’apprentissage mutuel en matière d’évaluation, qui se tra- l’AFD Outre-mer peut s’avérer complexe (prêts budgétaires, …).
duit notamment par des participations croisées aux comités L’AFD consent, en conséquence, un effort méthodologique parti-
de pilotage des évaluations qu’elles conduisent ; culier pour évaluer ces interventions.

Les défis de l’évaluation
3
à l’AFD

Les défis de l’évaluation à l’AFD
L
es défis que l’AFD s’engage à relever en matière grammation plus stratégique, la clarification des rôles
d’évaluation sont : l’amélioration de l’évaluabilité et responsabilités des différentes parties prenantes aux
des interventions, une meilleure allocation des évaluations, le renforcement de la qualité des travaux
ressources consacrées à l’évaluation grâce à une pro- et, plus globalement, de leur utilité et utilisation.
3.1 Améliorer l’évaluabilité des interventions
Une intervention évaluable est idéalement une inter- - développer un travail méthodologique spécifique
vention dont la théorie de l’action*, les objectifs, les permettant d’améliorer l’évaluabilité des interventions
indicateurs et les dispositifs de suivi sont clairement les plus complexes (ex. aides budgétaires).
formulés dès la conception et dont les réalisations et
les résultats ont été effectivement suivis. L’amélioration
Les autres « regards » (cf encadré p.14) contribuent à cet
de l’évaluabilité des interventions est une priorité de
la politique d’évaluation de l’AFD pour les prochaines
années. Ceci implique un engagement constant des .
effort, notamment via :
lle contrôle qualité à l’entrée des projets, effectué par
le département technique à la fin de la phase d’instruc-
différentes personnes impliquées dans les phases de
conception, de décision et d’exécution des stratégies et
des opérations. .
tion par le chef de projet ;
l’avis formulé par la Seconde opinion, dont le contrôle
A cette fin, l’AFD s’engage à : .

porte sur le système de suivi prévu dans le projet ;
les notes de présentation aux instances de décision
qui explicitent le dispositif de suivi et évaluation mis
- développer une culture de l’évaluation d’application
générale, dans le sens où la nécessité d’évaluer l’action
de l’AFD est reconnue à tous les niveaux de l’institution ; .
en place pour chaque opération ;
les revues annuelles sur les résultats de la notation
qualité des projets en exécution et sur les performances
- ancrer l’évaluation dans le cycle du projet et celui de
de la supervision, qui sont réalisées par la cellule qualité
la production des cadres d’intervention stratégiques ;
- utiliser les approches et méthodes adaptées au degré
d’évaluabilité de l’intervention, en reconnaissant que
.
de la direction des opérations ;
le renforcement de la qualité du contenu des rapports
d’achèvement de projet et l’amélioration du reporting à
toutes les interventions ne peuvent pas être évaluées avec
l’achèvement.
le même degré de rigueur et selon la même approche ;

3
3.2 Programmer les évaluations en fonction de leur objectif principal
La programmation des évaluations est un exercice d’op- - Déficit de preuves (evidence gap) : a-t-on un doute
timisation de l’allocation des ressources d’évaluation. La spécifique sur la pertinence ou l’efficacité de l’interven-
programmation consiste d’abord à assigner à chaque tion ? Présente-t-elle un caractère innovant et/ou est-
type d’évaluations un « objectif principal » et à organi- elle destinée à être reproduite/étendue ?
ser en conséquence le processus d’élaboration du pro-
gramme d’évaluations de l’AFD. - Evaluabilité : l’intervention est-elle évaluable à un coût
raisonnable, y compris en termes d’investissement mé-
Programmer les évaluations approfondies en fonc- thodologique ?
tion de l’objectif de production de connaissances
En sus des sollicitations des services opérationnels, la
L’évaluation doit répondre à des questions concrètes division de l’Évaluation peut également prendre l’initia-
que soulèvent le bien-fondé, la mise en œuvre et les tive de travaux d’évaluation. C’est le cas, notamment, des
effets des interventions financées. Ces questions sont évaluations qui portent sur des instruments dont l’effi-
soulevées par la direction des Opérations et, parfois, par cacité fait l’objet d’interrogations de la part du conseil
les ministères de tutelle ou les organes de contrôle. d’administration ou des organes de contrôle de l’AFD.
La programmation des évaluations approfondies ré- Les évaluations approfondies sont présentées au Comité
sulte donc, dans un premier temps, d’un processus de études et recherche de l’AFD qui est une enceinte de discus-
consultations menées par la division de l’Évaluation sions sur le programme et le contenu des travaux d’études,
avec les services opérationnels, notamment les divi- de recherche, d’évaluation et de prospective de l’AFD.
sions techniques de la direction des Opérations.
Les évaluations approfondies mobilisent environ la
Les évaluations sont sélectionnées selon trois critères : la moitié des ressources humaines et budgétaires de l’AFD
plus-value de l’évaluation, le déficit de preuves et l’éva- allouées à l’évaluation (i.e. hors programme 2009). Une
luabilité de l’intervention partie de ces ressources est réservée aux évaluations
d’impact, qui sont les plus difficiles à réaliser. L’AFD
- Plus-value de l’évaluation : la question n’a-t-elle pas déjà prévoit de réaliser chaque année un nombre suffisant
été traitée par une autre évaluation réalisée par l’AFD ou d’études pour développer une expertise interne et se
par d’autres bailleurs de fonds ? Dans ce dernier cas, à mettre en position d’influencer le débat international
quelles conditions peut-on se contenter des enseigne- sur les évaluations d’impact. Ce programme concrétise
ments obtenus par ces évaluations ? N’est-ce pas un les engagements pris par l’AFD en matière d’impacts
exercice de revue systématique* qui doit répondre à la dans sa politique de responsabilité sociétale.
question ?
LES ÉVALUATIONS D’IMPACT À L’AFD
Les Évaluations d’impact sont pilotées par la division de L’implication de la division de l’Évaluation est particulière-
l’Évaluation en étroite collaboration avec les services opéra- ment forte dans l’identification des partenaires de recherche,
tionnels de l’AFD. A travers cette collaboration, l’AFD : la définition du protocole des évaluations d’impact et leur
pilotage (suivi des différentes enquêtes, analyse critique des
- identifie les projets pertinents à la fois en termes de re- méthodes utilisées, interprétation et diffusion des résultats,
cherche (« déficits de connaissances ») et dans un but opéra- etc.).
tionnel (« utilisation des résultats ») ;
Cette implication forte des équipes internes doit permettre
- s’assure que les conditions opérationnelles se prètent à à l’AFD de participer activement au débat international sur
une évaluation rigoureuse et identifie les méthodes les plus les évaluations d’impact.
adaptées pour cette étude ;
Compte tenu de la dimension scientifique de ce type d’éva-
- permet une diffusion et une utilisation effective (directe ou luations, l’AFD conclut des partenariats de recherche avec les
plus stratégique) des résultats obtenus. laboratoires les plus expérimentés en la matière (IRD – DIAL,
...
...
J-Pal, université de Californie, Berkeley, etc.), en recherchant tefois pas être menées dans tous les cas. Les méthodes quasi
davantage la mixité des approches et des équipes. Dans la expérimentales peuvent être utilisées de manière alterna-
mesure du possible, elle associe aux travaux d’évaluation les tive, en tenant compte des contraintes opérationnelles et
centres de recherche des pays d’intervention. budgétaires.
Parmi les évaluations d’impact, les évaluations expérimen- Le cas échéant, l’AFD privilégie pour la collecte de données
tales sont capables d’établir la relation de causalité entre l’in- nécessaires aux évaluations d’impact les Instituts nationaux
tervention et ses résultats avec un bon niveau de confiance de la statistique. Quand cela est possible, cette collecte est
statistique. Les évaluations expérimentales ne peuvent tou- adossée à des enquêtes en cours ou prévues.
Les évaluations stratégiques sont dédiées à l’amé- de projets achevés en termes de secteur et de géo-
lioration des cadres d’intervention de l’AFD graphie. En participant ainsi à la programmation des
évaluations, la division de l’Évaluation s’assure que
Compte tenu des ressources allouées à l’évaluation, les évaluations ex post puissent également être un
l’ensemble des cadres d’intervention ne peut pas être instrument par lequel l’AFD peut rendre compte de sa
évalué au cours de la période de 5 ans couverte par performance comme opérateur de l’aide au dévelop-
le POS de l’AFD. La programmation des évaluations pement.
stratégiques, qui viennent en fait compléter les bilans
systématiques réalisés avec l’appui de la direction de L’AFD s’engage donc à étendre le périmètre des éva-
la Stratégie doit être sélective et répondre à un critère luations ex post de projets, mais à l’intérieur de ce péri-
d’opportunité : l’évaluation concerne-t-elle une prio- mètre, l’AFD ne recherche pas un objectif de couver-
rité du POS ? L’évaluation sera-t-elle utile à la direction ture exhaustive des projets évalués à leur achèvement.
des Opérations pour la définition ou la refonte d’un
cadre d’intervention stratégique ? L’évaluation ré- Comme le prévoient les statuts de l’AFD, les finance-
pond-elle à un questionnement spécifique du Conseil ments accordés aux ONG font l’objet d’une activité
d’administration ? régulière d’évaluation. Le champ pertinent pour l’éva-
luation des financements des initiatives ONG est celui
Les évaluations ex post de projets servent un ob- du pays et du secteur.
jectif d’apprentissage, en lien avec les contrepar-
ties. Le programme d’évaluations
L’évaluation systématique de toutes les opérations Pour faciliter la réalisation de ces différents objectifs, le
n’est pas une option à privilégier : elle conduit à une programme d’évaluations est présenté dans une pers-
dispersion des moyens peu favorable à la recherche pective triennale : il comporte des orientations sur une
de qualité et à des évaluations dont l’utilité peut être période de trois ans précisant notamment les priorités
faible. Les projets à évaluer sont donc sélectionnés se- stratégiques de l’activité d’évaluation et le programme
lon plusieurs critères : opportunité d’un dialogue sur détaillé des évaluations de l’année à venir.
les résultats avec le bénéficiaire, intérêt de l’évaluation
Le programme d’évaluations ainsi élaboré – et auquel
en termes d’apprentissage,… La qualité des projets,
s’ajoutent les évaluations conjointes avec les minis-
en revanche, ne doit pas interférer dans le choix des
tères de tutelle – est soumis à l’avis du Comité des
projets évalués afin d’éviter que la sélection ne soit
évaluations, qui se prononce sur sa contribution à l’ob-
biaisée en faveur des projets considérés comme les
jectif de redevabilité et sur sa faisabilité. Il est ensuite
plus satisfaisants. En pratique, la programmation des
présenté pour approbation à la Directrice générale de
évaluations courantes de projets est élaborée conjoin-
l’AFD sous la forme d’une liste d’évaluations à engager
tement par la direction des Opérations et la division
au cours de l’exercice budgétaire de l’année à venir.
de l’Évaluation qui veille à ce que le programme des
Cette liste est alors communiquée aux ministères de
évaluations ex post soit représentatif du portefeuille
tutelle de l’AFD et à l’OCDE.

3
3.3 Clarifier les responsabilités dans la conduite des évaluations
Les responsabilités dans la conduite des évaluations limité de représentants des services opérationnels de
doivent être énoncées avec précision pour garantir leur l’AFD concernés, des parties prenantes à l’intervention
indépendance et leur qualité. Les évaluations à propre- évaluée, d’experts du département de la recherche
ment parler – ce qui exclut les travaux de revues analy- et de personnes qualifiées extérieures, y compris des
tiques – sont traitées ici en deux groupes distincts : les personnes qualifiées en matière d’évaluation. Les
évaluations pilotées par la division de l’Évaluation et les ministères de tutelle peuvent être invités à participer
évaluations menées de manière décentralisée. au groupe de référence. La présidence est assurée par
une personnalité qualifiée ou, à défaut, par le chef du
Evaluations pilotées par la division de l’Évaluation Département de la recherche ou le responsable de la
division de l’Évaluation de l’AFD.
Préparation de l’évaluation
La diversité de la composition du groupe de référence
La qualité d’une évaluation repose en partie sur le travail
est un élément essentiel pour assurer la qualité des tra-
préalable à sa conduite. La division de l’Évaluation com-
vaux et garantir l’indépendance de l’exercice d’évalua-
mence par expliciter la finalité de l’évaluation (pourquoi
tion. L’AFD favorise la participation au groupe de réfé-
évalue-t-on, mais également pour qui ?). Un travail pré-
rence de personnalités issues du monde universitaire,
alable est ensuite systématiquement mené, afin de pré-
de la recherche, des entreprises et des ONG.
ciser au maximum le champ de l’évaluation et de confir-
mer son intérêt. Ces travaux préalables peuvent être des Le groupe de référence est consulté pour la sélection
revues de littérature ou des revues analytiques* telles des évaluateurs, le suivi et la validation de leurs travaux
que les cartographies des projets. réalisés par les évaluateurs. Il participe à l’appréciation
de la qualité de l’évaluation, selon une grille établie sur
Les termes de référence sont ensuite rédigés avec l’ap-
la base des standards de qualité du CAD de l’OCDE (cf.
pui des membres du groupe de référence. Ceux-ci expli-
annexe IV).
citent le contexte, le champ et proposent un nombre
limité de questions évaluatives. Ils précisent l’approche Evaluations menées de manière décentralisée
et les méthodes d’évaluation qui seront mises en œuvre.
Les termes de référence incluent le plan de dissémina- Les évaluations ex post de projet sont conduites par
tion, y compris les règles de publication des résultats de les agences en suivant des procédures simples et stan-
l’évaluation. dardisées.
Sélection de l’évaluateur Le rôle de l’agence est :
Les évaluations sont le plus souvent externalisées. Le

processus de choix des consultants doit, en conformité
. d’assurer le pilotage de l’ensemble du processus
d’évaluation, depuis la rédaction des termes de réfé-
avec les règles applicables aux achats de l’AFD, privilé- rence jusqu’à la diffusion du rapport final ;
gier la qualité des offres. Le choix des évaluateurs donne
lieu à un échange au sein du groupe de référence, mais . de coordonner l’activité des différents acteurs impli-
qués dans le processus, et notamment les partenaires
il est in fine du ressort de la division de l’Évaluation, res-
ponsable du budget et garante de la qualité de l’évalua- locaux de l’AFD associés au groupe de référence de
tion. Les évaluations d’impact relèvent de partenariats l’évaluation.
de recherche (cf. encadré sur les évaluations d’impact).
La division de l’Évaluation assure la supervision des éva-
Groupe de référence luations décentralisées, c’est-à-dire l’encadrement mé-
thodologique et le contrôle qualité de ces évaluations,
Toutes les évaluations sont pilotées par la division de sous forme d’une notation ex post suivant une grille
l’Évaluation en liaison avec un groupe de référence qualité reprenant de manière simplifiée les standards
qui se réunit aux échéances fixées dans les termes de du CAD de l’OCDE. Cet encadrement inclut la mise à
référence. Le plus souvent, la division de l’Évaluation est jour des procédures et des documents de référence,
assistée par des experts sectoriels issus de la direction la formation des services opérationnels, la formulation
des Opérations et « mis à disposition » de la division de d’avis sur les termes de référence et les livrables s’ils sont
l’Évaluation. sollicités, voire un appui plus direct dont l’importance
est fonction de la capacité et des besoins de l’agence
Le groupe de référence est constitué d’un nombre concernée.

La division de l’Évaluation a enfin pour mandat de valo- tocole spécifique, avec une implication de la division de
riser la connaissance issue des évaluations décentrali- l’Évaluation dans l’élaboration des termes de référence,
sées en conduisant des travaux de synthèse d’évalua- les choix méthodologiques, la sélection des consul-
tions. tants, la validation des livrables et la diffusion du rap-
port d’évaluation. La division de l’Évaluation participe le
Les évaluations des financements ONG suivent un pro- plus souvent au groupe de référence qui est constitué.
3.4 Concevoir des produits d’évaluation pratiques et utiles
Les évaluations contribuent à la connaissance et à la Les recommandations déduites des conclusions per-
redevabilité par leurs différents « produits » : mettent d’établir le lien entre la démarche évaluative et
le processus décisionnel. Pour s’assurer de l’appropria-
- les constats, basés sur les données de suivi et les ob- tion des recommandations par les services en charge
servations spécifiques des évaluateurs, les analyses et, de la conception et de la conduite des opérations ou
surtout, les conclusions, qui constituent le produit prin- des stratégies, un autre type de relation doit être établi
cipal de l’évaluation. Ces conclusions peuvent avoir un entre évaluateurs et opérationnels. Autant il est impor-
caractère spécifique et une validité limitée à l’interven- tant de s’assurer que les conclusions soient formulées
tion évaluée ou avoir une portée plus générale. On dis- par les évaluateurs en toute indépendance, autant
tinguera ces deux types de conclusions afin de faciliter la formulation des recommandations gagne à impli-
l’utilisation des évaluations : les conclusions de portée quer les services susceptibles de les mettre en œuvre,
générale, seront identifiées par les évaluateurs et pour- compte tenu notamment du décalage dans le temps
ront faire l’objet de synthèses sur une base sectorielle, entre la période passée de conception des opérations
thématique ou géographique. évaluées et le présent où s’identifient les projets à venir.
3.5 Garantir la qualité des évaluations
L’ AFD assure la meilleure qualité possible aux évalua- 1. une meilleure évaluabilité des projets dès la phase de
tions tout au long du processus. Elle s’engage en parti- conception ;
culier à améliorer la qualité des évaluations décentrali-
sées en visant une programmation plus stratégique, en 2. une formulation de termes de référence de qualité,
impliquant les divisions techniques dans la préparation clarifiant la finalité de l’évaluation, son contexte, et
et le suivi des évaluations décentralisées de projet et en énonçant un nombre restreint de questions évaluatives ;
s’assurant que les rapports d’achèvement fournissent
3. une sélection des prestataires extérieurs focalisée sur
les informations objectives et quantitatives nécessaires
la qualité de leurs offres ;
à la réalisation d’évaluations ex post de qualité.
4. un choix de la bonne approche méthodologique ;
Qualité à l’entrée et au cours de l’évaluation
5. une participation d’experts en évaluation au sein des
En amont, l’AFD s’appuie sur la division de l’Évaluation
groupes de référence.
pour assurer :

3
Qualité à la sortie - premier niveau : pour les évaluations décentralisées,
par l’agence et le département géographique ; pour
L’AFD s’est dotée d’une grille d’appréciation de la qua- les évaluations menées par la division de l’Évaluation
lité des évaluations. Celle-ci se réfère aux standards du et pour les évaluations de projets ONG, par le dispositif
CAD qui portent à la fois sur la qualité du travail de d’assurance qualité de l’évaluateur externe ;
l’évaluateur et sur le processus évaluatif lui-même.
- deuxième niveau : par la division de l’Évaluation,
Cette grille figure en annexe IV. Elle est utilisée par le pour les évaluations décentralisées ; par la division de
groupe de référence et par la division de l’Évaluation l’Évaluation assistée du groupe de référence pour les
pour décider de la publication d’une étude. évaluations qu’elle pilote et les évaluations des projets
ONG. Certaines évaluations peuvent justifier le recours
L’AFD ne soutient pas l’idée d’un rating des projets, pour
à un prestataire externe spécialement engagé pour le
éviter les biais liés à l’agrégation de notes relatives à des
contrôle qualité ;
jugements portés par une grande diversité d’évaluateurs,
sur des projets de natures très différentes menés dans - troisième niveau : le Comité des évaluations, qui a pour
des contextes différents. En revanche, elle encourage les mandat d’appuyer l’AFD dans l’exercice de sa mission
évaluateurs à apprécier de façon à la fois synthétique et de rendre des comptes et d’évaluer ses actions de façon
quantitative les différents critères d’évaluation pour ren- crédible, indépendante et transparente ; il se prononce
forcer la clarté du positionnement pris dans leur analyse. notamment sur la qualité des travaux d’évaluation me-
nés par l’ AFD.
Le contrôle qualité est organisé à trois niveaux :
3.6 Rendre les évaluations plus utiles
L’AFD est déterminée à renforcer de manière systéma- L’utilisation directe à des fins de rétroaction
tique l’utilisation des évaluations qu’elle produit.
L’un des objectifs principaux de l’évaluation est d’amé-
L’ Agence reprend la distinction des trois types d’utili- liorer les opérations grâce à la rétroaction des leçons
sations de l’évaluation de Rossi et al 6 : apprises sur les interventions nouvelles et éventuelle-
ment sur les interventions en cours.
1. l’utilisation directe ou instrumentale, c’est-à-dire
l’utilisation des constats, conclusions et recommanda- La pratique actuelle
tions de l’évaluation par les décideurs et parties pre-
nantes ; Cette rétroaction est organisée dès l’amont de l’éva-
luation au travers des modalités suivantes :
2. l’utilisation conceptuelle, qui vise à contribuer au
débat intellectuel en général ; - l’implication des services opérationnels dans la pro-
grammation des évaluations et dans la rédaction des
3. l’utilisation persuasive ou symbolique de l’évalua- termes de référence, qui sont rédigés pour répondre à
tion, qui vise à défendre une position politique. des questions opérationnelles ;
Cette distinction recoupe les concepts plus classiques - la prise en compte d’un critère d’opportunité pour
de rétroaction, de capitalisation et de plaidoyer. L’ob- sélectionner les sujets à évaluer, qui vise à s’assurer
jectif de production de connaissances de l’évaluation autant que possible que l’évaluation est conduite au
à l’AFD recoupe les deux premières catégories. L’AFD bon moment pour éclairer les projets, programmes et
assume le « plaidoyer » que peut nourrir l’évaluation cadres d’interventions stratégiques de l’AFD.
et entend donc dans certains cas en faire aussi une
« utilisation persuasive ». L’implication des services opérationnels dans le choix
des sujets à évaluer, dans la préparation de l’évaluation
6
Rossi P.H., M. Lipsey et H.E. Freeman (2004), “Evaluation: A Systematic Approach”, 7th Edition.

et dans la conduite des évaluations est une garantie de Le suivi des recommandations
l’utilisation ultérieure de l’évaluation. L’influence du
processus évaluatif sur les acteurs est souvent aussi im- Comme recommandé par la Cour des comptes et l’Ins-
portante que celle du « produit » final de l’évaluation. pection Générale, l’AFD s’engage à mettre en place un
système de suivi des recommandations. Le dispositif
La réponse aux conclusions de l’évaluation de suivi sera mis en place au sein de la direction des
Opérations (et au sein de la division du Partenariat
Toute évaluation doit donner lieu à une réponse for- avec les ONG, pour ce qui concerne l’évaluation des
melle des services. Ainsi, les services concernés par financements des initiatives ONG).
l’intervention évaluée prennent position par rapport
aux conclusions de l’évaluation formulées par les éva- Outre ce mécanisme, l’AFD mentionne, lorsque c’est
luateurs. Conformément aux principes du CAD, l’AFD pertinent, les enseignements tirés de l’évaluation dans
assure l’indépendance de l’évaluation jusqu’au stade les notes de présentation des nouveaux projets aux
des conclusions. instances de décision. La division de l’Évaluation s’en-
gage à appuyer les équipes opérationnelles dans la
Dans certains cas, lorsque l’évaluation débouche sur phase d’instruction pour enrichir leurs connaissances
des conclusions qui peuvent remettre en cause la des enseignements tirés des évaluations pertinentes
poursuite d’une activité ou qui suggèrent un change- réalisées antérieurement.
ment radical d’orientation, il appartient au Comité exé-
cutif de l’AFD d’apporter la réponse aux conclusions. Afin de renforcer la boucle rétroactive entre le suivi
des recommandations et l’amélioration des nouvelles
Ce processus, qui concerne d’abord les évaluations interventions, la programmation devra prévoir des
conduites par la division de l’Évaluation, peut être évaluations portant régulièrement sur le même objet
mobilisé, lorsque cela s’avère utile, pour certaines éva- (thématique et instrument, notamment). Une telle
luations décentralisées et travaux de synthèse d’éva- répétition permet d’apprécier dans les nouvelles inter-
luations de projets. ventions la prise en compte des leçons apprises.
La formulation des recommandations La démarche de l’AFD pour renforcer l’utilisation des
évaluations à des fins de rétroaction est illustrée dans
Pour favoriser l’utilisation directe des évaluations, les
le tableau « Processus de rétroaction des évaluations »
services opérationnels sont directement impliqués
présenté dans l’annexe 5.
dans la formulation des recommandations.
L’utilisation conceptuelle à des fins de capitalisation
Deux voies alternatives sont possibles, suivant les cas :
L’évaluation sert aussi à comprendre des situations, à
1. une formulation des recommandations par les éva-
mettre en débat des conclusions et à tirer des leçons
luateurs. Les recommandations sont alors débattues
de l’expérience. A ce titre, elle participe à la production
avec les services opérationnels dans une logique
de connaissances opérationnelles sur l’aide au déve-
d’appropriation et de responsabilisation des différents
loppement.
acteurs ;
Pour favoriser ce processus de capitalisation, l’AFD ren-
2. une formulation conjointe des recommandations
force sa politique de gestion des connaissances. Dans
par les évaluateurs et les services concernés. Cette
ce cadre, elle veille à faciliter l’accumulation, l’accès et
seconde solution vise à améliorer la qualité des re-
l’appropriation des connaissances issues des évalua-
commandations, la faisabilité de leur mise en œuvre
tions.
et leur bonne appropriation par les opérationnels. Une
fois que l’AFD a pris position sur les conclusions de Des rapports plus lisibles
l’évaluation, les services concernés participent avec les
évaluateurs à la formulation de recommandations. Les La clarté et la concision des rapports est un des critères
évaluateurs jouent alors le rôle de facilitateurs pour de qualité des évaluations. Chaque évaluation prévoit,
faire émerger les recommandations crédibles. La divi- dans les termes de référence, la production d’une syn-
sion de l’Évaluation s’assure toutefois que les recom- thèse de quatre pages, qui pourra être publiée dans la
mandations formulées découlent des conclusions, série « Question de développement ».
sont hiérarchisées et classées par acteur concerné.

3 Les défis de l’évaluation à l’AFD
Des restitutions systématiques des travaux d’évaluation tion active de cette base de données en vue de fournir
un appui aux services opérationnels pour accéder à
L’AFD organise des restitutions de ces travaux en in- l’information mise en ligne, et formaliser des contenus
terne et, lorsque cela est pertinent et possible, dans synthétiques pour les services qui en font la demande.
le(s) pays concerné(s).
L’utilisation des évaluations à des fins de plaidoyer
En outre, l’AFD communique par différents canaux sur
ces travaux, en organisant ou en participant à des évé- Si toutes les évaluations doivent être publiées, elles
nements ponctuels, des séminaires d’échanges de pra- ne font pas toutes nécessairement l’objet du même
tiques et à des initiatives prises par d’autres bailleurs et effort de communication. Certaines évaluations qui
groupes de réflexion au niveau international. touchent des interventions ou des modèles que l’AFD
promeut sont particulièrement utiles : l’AFD peut vou-
L’utilisation des réseaux thématiques loir donner une plus grande visibilité à leurs enseigne-
ments. Dans ce cadre, un investissement au travers de
Des réseaux thématiques se sont constitués de manière
la mobilisation d’outils de communication spécifiques
informelle au sein de l’AFD pour mettre en partage les
est prévu.
informations et les réflexions utiles sur ces thèmes. Ces
réseaux peuvent être un vecteur de valorisation des Tant les succès que les échecs peuvent être porteurs
connaissances produites par les évaluations. de leçons. L’AFD reconnaît qu’une communication uni-
quement orientée vers la promotion des succès perd
La publication des évaluations
sa crédibilité et donc son utilité. La division de l’Éva-
L’AFD publie ses évaluations dans deux séries : « Eva- luation veille donc à produire un message équilibré
luation de l’AFD », intitulée série Ex post, et « Eva- et réaliste et à communiquer sur les résultats des éva-
luation conjointe ». Certains travaux d’évaluation qui luations conformément aux valeurs rappelées dans la
peuvent être utiles à un public académique pourront charte d’éthique professionnelle du groupe AFD.
être publiés dans la série « Document de travail » du
Les évaluations filmées participent au processus d’éva-
département de la Recherche.
luation mais elles sont surtout un outil d’information
Ces publications sont diffusées, notamment via le site et de formation, également utilisable à des fins de
internet de l’AFD, et distribuées gratuitement dans communication, et que l’AFD souhaite développer.
le cadre d’événements organisés par l’AFD ou par
Le recours aux réseaux sociaux pour diffuser des tra-
d’autres institutions ou bailleurs.
vaux d’évaluation, et ainsi contribuer au partage des
Une base de données Evaluations connaissances et au débat sur les questions d’aide au
développement est une piste qui pourrait être appro-
Afin de mieux partager les ressources issues des éva- fondie avec l’appui de la division de la Communication
luations, l’AFD compte mettre en place une base de et du réseau EVALNET du CAD.
données accessible à tous ses agents permettant
d’accéder facilement à tous les rapports d’évaluation. De façon plus générale, la division de la Communication
Cette base de données sera munie d’un moteur de est davantage associée au processus d’évaluation, afin
recherche permettant de trier les documents par zone de concevoir les modalités de communication des tra-
géographique, secteur, instrument évalué ou type de vaux d’évaluation dès le stade des termes de référence
publication. et de mieux intégrer la dimension communication dans
l’activité d’évaluation, une communication tournée au-
La division de l’Évaluation doit évoluer vers un rôle de tant vers les services opérationnels que vers l’extérieur.
« courtier en connaissances », consistant en l’exploita-

Un travail mené en
collaboration avec nos partenaires
4

4 Un travail mené en
collaboration avec nos partenaires
L
’AFD encourage et valorise les collaborations et partenaires privilégiés qui se sont engagés à améliorer
échanges avec ses partenaires extérieurs en ma- leurs propres pratiques d’évaluation.
tière d’évaluation.
La division de l’Évaluation entretient aussi des relations
Si le renforcement des capacités dans ce domaine re- soutenues avec les unités d’évaluation des autres bail-
lève de la compétence du ministère des Affaires étran- leurs de fonds. Au niveau européen, elle contribue acti-
gères, les évaluations à l’AFD sont néanmoins conduites vement aux efforts de convergence en matière de pra-
en veillant à ce qu’elles puissent autant que possible tiques d’évaluation avec la BEI et la KfW, dans le cadre de
contribuer au renforcement des compétences en éva- l’Initiative de reconnaissance mutuelle des procédures.
luation des acteurs locaux impliqués. Les évaluations
décentralisées de projet recourent principalement à Enfin, la division de l’Évaluation soutient et participe acti-
des consultants locaux dans une perspective de ren- vement aux réseaux de responsables et praticiens de l’éva-
forcement des capacités locales d’évaluation. Le centre luation : EVALNET du CAD de l’OCDE, le NONIE et l’African
de formation de l’AFD, le CEFEB, propose un module « Impact Evaluation Network, au niveau international et, au
évaluation » dans son Master Maîtrise d’ouvrages pu- niveau national, la SFE dont elle est membre, et le collectif
bliques et privée. F3E (Fonds pour la promotion des études préalables, des
La division de l’Évaluation joue par ailleurs un rôle études transversales et des évaluations), dédié aux ONG
d’appui-conseil auprès des structures d’évaluation de ses et aux collectivités locales françaises engagées dans les
actions de solidarité internationale.
LES ÉVALUATIONS CONJOINTES
Pour l’AFD, une évaluation conjointe est une évaluation Les évaluations conjointes auxquelles participe l’AFD portent
menée conjointement avec d’autres bailleurs de fonds. Les sur les projets et programmes cofinancés avec d’autres bail-
évaluations associant les bénéficiaires sont qualifiées d’éva- leurs de fonds pour lesquels il n’est pas possible d’isoler la
luations partenariales. contribution de l’AFD à l’atteinte des objectifs de dévelop-
pement. Elles ciblent aussi les projets et programmes cofi-
L’AFD adhère aux principes du CAD7 sur les évaluations nancés pour lesquels les objectifs sont réellement partagés
conjointes : « les donateurs devraient s’attacher à faire des entre bailleurs afin de faciliter l’accord sur la finalité et le
évaluations conjointes qui offrent le double avantage de champ de l’évaluation et les questions évaluatives. Pour
favoriser une meilleure compréhension mutuelle des procé- favoriser la réalisation d’évaluations conjointes, l’AFD com-
dures et approches utilisées par les différents organismes munique au réseau EVALNET son programme d’évaluations.
d’aide et d’alléger le fardeau administratif pesant sur les Elle vérifie systématiquement, au moment de mener une
pays d’accueil ». Cette démarche est d’autant plus néces- évaluation, qu’il n’est pas plus approprié de mener un travail
saire qu’une part croissante des concours de l’AFD est mise conjoint avec d’autres bailleurs.
en œuvre selon des modalités communes, en application de
la Déclaration de Paris sur l’efficacité de l’aide. L’AFD suit éga- Le positionnement de l’AFD dans les évaluations conjointes
lement les « orientations du CAD relatives à la gestion des peut varier selon les cas. L’AFD peut prendre la direction de
évaluations conjointes », publiées en 2006. l’Évaluation, comme elle peut aussi déléguer très largement
...
Principes du CAD pour l’évaluation de l’aide au développement (1991).

7

Un travail mené en collaboration avec nos partenaires extérieurs
...
le pilotage et la conduite de l’évaluation à un autre bailleur avec d’autres pays, aux côtés des unités d’évaluation de ses
de fonds. Toutefois, l’AFD souhaite participer, le plus souvent ministères de tutelles. C’est notamment le cas des évalua-
possible, au comité de gestion de l’évaluation conjointe, car tions au champ large menées au niveau européen ou inter-
elle voit dans ces exercices conjoints un moyen d’apprentis- national, comme l’évaluation de la Déclaration de Paris ou
sage sur les approches et méthodes d’évaluation. les évaluations pays.
Avec ses deux partenaires de l’Initiative de reconnaissance Les évaluations conjointes ont un statut équivalent, pour
mutuelle des procédures, la KfW et la BEI, l’AFD entend aller l’AFD, aux autres évaluations et sont diffusées de façon simi-
jusqu’à une réelle division du travail en matière d’évaluation laire : publication dans la série « Evaluation conjointe », mise
ex post pour les projets cofinancés. en ligne sur le site institutionnel de l’AFD, et traduction en
français de la synthèse du rapport lorsque celui-ci est rédigé
L’AFD peut également participer à des évaluations conjointes dans une autre langue.

Organisation et ressources
5

Organisation et ressources
5.1 Gouvernance de l’évaluation
Le Conseil d’administration mise en place d’un système de suivi des recomman-

dations renforce l’implication de la direction générale
Le Conseil d’administration entérine la politique d’éva- dans le processus d’évaluation. En effet, ce système
luation de l’AFD et délibère, au moins une fois par an, instaure une réponse de sa part aux conclusions de
sur l’activité d’évaluation. Il examine le rapport que lui certaines évaluations importantes, ainsi qu’un engage-
présente le président du Comité des évaluations sur la ment à mettre en œuvre les recommandations qui en
qualité et la pertinence des travaux d’évaluation menés découlent. Cette implication conforte la légitimité et
par l’AFD. l’utilisation des évaluations.
Le Comité des évaluations La division de l’Évaluation et de la capitalisation
Le Comité des évaluations a été créé en octobre 2009 La division de l’Évaluation a pour mandat de préparer le
par décision du Conseil d’administration pour « ap- programme d’évaluations, de conduire ou de superviser
puyer l’AFD dans l’exercice de sa mission de rendre les évaluations qui sont menées par l’AFD, de contrôler
des comptes et d’évaluer ses actions de façon crédible, leur qualité, de favoriser leur utilisation et, plus généra-
indépendante et transparente ». Le Comité conseille lement, de promouvoir la culture de l’évaluation au sein
l’AFD sur sa politique et ses méthodes d’évaluation. Il de l’AFD. Elle veille à ce que l’AFD dispose des méthodo-
est composé des responsables des services d’évalua- logies appropriées pour évaluer ses interventions. Elle
tion des ministères de tutelle de l’AFD et de quatre participe à l’activité de recherche de l’AFD appliquée à
personnalités indépendantes qui sont désignées par l’analyse des processus et des résultats des activités de
le Conseil d’administration. Le Comité est présidé par développement.
une personnalité qualifiée, également nommée par le
Conseil d’administration. La division de l’Évaluation est intégrée depuis 2006 au
département de la Recherche, ce qui lui confère une
La direction générale grande autonomie, contribue à la mobilisation sur l’éva-
luation des compétences en sociologie, en statistiques
La direction générale a confirmé dans le POS3 son en-
et en économie, et facilite la collaboration avec les ser-
gagement à renforcer le dispositif d’évaluation de l’AFD.
vices d’édition de l’AFD.
Elle assiste régulièrement aux travaux du Comité des
évaluations et elle est attentive à ses avis. La direction Le responsable de la division de l’Évaluation est dési-
générale de l’AFD approuve notamment le programme gné par la directrice générale de l’AFD.
d’évaluations après avis du Comité des évaluations. La
5.2 Ressources humaines et financières
Ressources humaines dédiées à l’évaluation (15 personnes en moyenne, selon une enquête menée
en 2009 par le CAD de l’OCDE), sera stabilisé dans les
La politique de ressources humaines de l’AFD vient en années à venir pour permettre à l’AFD de produire
appui aux objectifs de la politique d’évaluation qui est entre 12 à 15 évaluations par an et de superviser une
présentée dans ce document. cinquantaine d’évaluations décentralisées de projets.
Compte tenu des enjeux liés à l’appréciation de la per-
Pour mener à bien la mission qui lui est assignée, la
formance environnementale de l’AFD dans l’activité
division de l’Évaluation de l’AFD compte actuellement
d’évaluation, la division continuera de compter en son
10 agents. Cet effectif, quoique légèrement inférieur
sein un expert très qualifié en matière d’environnement
à celui des autres agences d’aide au développement
et de biodiversité.

5 Organisation et ressources
L’effort en matière de gestion des ressources humaines Ressources humaines se propose de :

portera sur le renforcement des compétences. En effet,
même si les évaluations sont le plus souvent externa- - compléter dès 2013 le plan de formation de l’AFD par
lisées, l’AFD doit veiller à conserver une forte capacité de nouveaux modules : « gestion de projet axée sur les
en interne, afin d’être en mesure de concevoir et pilo- résultats », « évaluation rétrospective », « évaluations
ter des évaluations complexes, de garantir la qualité décentralisées de projets », « redevabilité et transpa-
des rapports produits par les évaluateurs externes et rence » ;
de promouvoir l’utilisation des évaluations en interne.
- intégrer, dans le cadre de la politique de gestion des
Cette exigence est plus forte encore pour les évalua-
ressources humaines, un système de référence en éva-
tions d’impact. Cet objectif affiché de conserver un bon
luation dans les différentes structures de la direction
niveau d’expertise est également susceptible de don-
des Opérations et à la division du Partenariat avec les
ner à la division de l’Évaluation une certaine attractivité.
ONG.
Pour y parvenir, l’AFD compte :
Budget
- assurer un équilibre, au sein de la division de l’Évalua-
La mise en œuvre de la politique d’évaluation énon-
tion, entre les collaborateurs présentant deux profils
cée dans ce document suppose un effort budgétaire
complémentaires : (i) une expérience opérationnelle
conséquent de la part de l’AFD et de ses tutelles. Il est
acquise comme chef de projets dans une division tech-
aujourd’hui d’environ 1,5 M€ par an pour les dépenses
nique et (ii) une expertise en matière d’évaluation faisant
directement liées aux évaluations sous la forme de
appel aux méthodes des sciences sociales (économie,
prestations de services et de partenariats de recherche
sociologie, anthropologie, …). Le « référentiel de com-
(hors charges de personnel).
pétences », en cours d’élaboration, pourra faciliter la dé-
finition des compétences « métiers » requises en matière Les évaluations décentralisées de projets et les éva-
d’évaluation. Les descriptifs des postes de la division de luations des financements accordés aux ONG par la
l’Évaluation pourront venir préciser, en outre, les types division du Partenariat avec les ONG sont financées sur
d’expériences nécessaires, les outils et méthodologies les crédits du programme 209 « Solidarité à l’égard des
à maîtriser, les connaissances théoriques, académiques pays en développement », inscrits au budget du minis-
indispensables. Cet équilibre impliquera d’instituer, à tère des Affaires étrangères. Le rapport annuel sur les
terme, la parité entre recrutements internes et recrute- activités d’évaluations présenté au Comité des évalua-
ments externes au sein de la division de l’Évaluation ; tions et communiqué aux ministères de tutelle rend
compte de l’utilisation des ressources utilisées par l’AFD
- engager un programme pluriannuel de formation des
pour les évaluations de projets.
évaluateurs de la division de l’Évaluation, axé sur les
méthodologies et les pratiques de l’évaluation. Les autres évaluations sont financées sur le budget de
l’AFD. Ces ressources sont versées au budget du dépar-
En raison de l’importance du travail mené avec les
tement de la Recherche auquel est rattachée la division
autres bailleurs de fonds, la division de l’Évaluation de-
de l’Évaluation. Elles font cependant l’objet d’un suivi
vrait également bénéficier de programmes d’échanges
séparé qui permet de rendre compte des ressources
de personnel avec d’autres bailleurs.
budgétaires consacrées par l’AFD à l’activité d’évalua-
Pour contribuer au développement de la culture de tion. Cette information est également intégrée au rap-
l’évaluation au sein de l’établissement, la direction des port annuel sur les activités d’évaluation.

Annexes
6

ANNEXE 1 Glossaire
► Efficacité : critère d’évaluation qui permet d’apprécier dans quelle mesure les résultats attendus ont été effective-
ment atteints.
► Efficience : critère d’évaluation qui permet d’apprécier dans quelle mesure les résultats sont obtenus à des coûts
« raisonnables ».
► Evaluation formative : évaluation tournée vers un objectif d’amélioration des performances de l’intervention. Une
évaluation formative peut porter sur les interventions achevées mais aussi sur les interventions en cours.
► Évaluation d’impact : évaluation scientifiquement rigoureuse visant à identifier les effets strictement attribuables à
une intervention au moyen d’un contrefactuel, c’est-à-dire en comparant l’évolution d’une population traitée par rap-
port la situation qui aurait prévalu en l’absence de toute intervention.
► Impact au sens du CAD : effets positifs et négatifs, directs ou indirects, intentionnels ou non, induits par une intervention.
► Intervention : action conduite ou soutenue par l’AFD afin d’induire un changement.
► Objectifs généraux (finalités) : changements attendus auxquels l’intervention doit contribuer. Ils justifient générale-
ment l’intervention.
► Objectifs spécifiques : changements souhaités dans la situation ou des comportement des bénéficiaires ou dans leur
évolution. Ces changements sont objectivement vérifiables et les réalisations du projet en sont la cause principale.
► Pertinence : critère d’évaluation qui indique dans quelle mesure les objectifs de l’intervention correspondent au
problème ou aux enjeux identifiés. La pertinence peut intégrer, par extension, la notion de cohérence : mesure dans
laquelle l’objectif de l’intervention s’inscrit dans un cadre stratégique plus large.
► Réalisations : biens et services produits par l’intervention et mis à disposition des bénéficiaires.
► Résultats : changements obtenus qui se situent généralement au niveau de la situation ou des comportements des
bénéficiaires, directement induits par l’intervention.
► Revue analytique : examen de la performance d’une intervention, portant principalement sur ses aspects opérationnels.
► Revue systématique : revue de littérature centrée sur une question de recherche qui rassemble, sélectionne et syn-
thétise tous les travaux de recherche et d’évaluation réalisés sur cette question.
► Soutenabilité : mesure dans laquelle les résultats obtenus perdurent une fois l’intervention terminée.
ANNEXE 2 Conditions d’évaluabilité
Clairement définis, quantitativement et qualitativement

Objectifs
Objectifs spécifiques (résultats attendus) et réalisations attendues clairement identifiés,
autant que possible quantifiés, dotés de valeurs cibles
Clairs, univoques et directement liés aux différents niveaux d’objectifs
Valeur de départ et valeur cible renseignées pour chaque indicateur de résultat

Indicateurs
Disponibilité, fiabilité, méthodes et fréquence de collecte des informations nécessaires
au suivi des indicateurs définies et moyens nécessaires prévus au budget
Dispositif de suivi décrit
Suivi Valeur observée des indicateurs de résultats systématiquement comparée à la valeur de

départ, aux évolutions précédentes et à l’objectif fixé

Charte de la Société française de
ANNEXE 3 l’Evaluation (SFE)
Pluralité sionnel mettent en œuvre des com- té des résultats doit être respectée,
pétences spécifiques en matière de quels que soient les modalités ou
L’évaluation s’inscrit dans la triple lo- conception et de conduite de l’éva- les supports de diffusion retenus.
gique du management public, de la luation, de qualité de la commande,
démocratie et du débat scientifique. de méthodes de collecte de don- Opportunité
Elle prend en compte de façon rai- nées et d’interprétation des résul-
sonnée les différents intérêts en tats. Elles ont le souci d’améliorer et Une évaluation doit être décidée
présence et recueille la diversité des de mettre à jour leurs compétences, lorsqu’elle est susceptible de – et
points de vue pertinents sur l’action notamment en référence à celles en organisée afin de – produire des
évaluée, qu’ils émanent d’acteurs, usage dans la communauté interna- résultats à l’égard des finalités
d’experts, ou de toute autre per- tionale de l’évaluation. mentionnées au préambule de
sonne concernée. cette charte : compte rendu démo-
Respect des personnes cratique, efficacité de la dépense,
Cette prise en compte de la pluralité apprentissage organisationnel, fa-
des points de vue se traduit –chaque Les personnes participant au pro- cilitation d’évaluations ultérieures.
fois que possible – par l’association cessus d’évaluation à titre profes-
des différentes parties prenantes sionnel respectent les droits, l’inté- Responsabilité
concernées par l’action publique ou grité et la sécurité de toutes les
par tout autre moyen approprié. parties concernées. La répartition des rôles entre les
différents acteurs de l’évaluation
Distanciation Elles s’interdisent de révéler l’origine est établie dès le départ de façon
nominative des informations ou à ce que toutes les fonctions de
L’évaluation est conduite de façon opinions recueillies, sauf accord des celle-ci soient bien prises en charge
impartiale. Les personnes partici- personnes concernées. (définition du mandat, pilotage du
pant au processus d’évaluation à processus, enquêtes et analyses,
titre professionnel informent les Transparence formulation du jugement et des
autres partenaires de tout conflit recommandations éventuelles, dif-
d’intérêt éventuel. La présentation des résultats d’une fusion des résultats).
évaluation s’accompagne d’un
Le processus d’évaluation est exposé clair de son objet, de ses Les personnes et institutions par-
conduit de façon autonome par rap- finalités, de ses destinataires, des ticipant au processus d’évaluation
port aux processus de gestion et de questions posées, des méthodes mobilisent les moyens appropriés
décision. Cette autonomie préserve employées et de leurs limites, ainsi et fournissent les informations
la liberté de choix des décideurs que des arguments et critères qui nécessaires à la conduite de l’éva-
publics. conduisent à ces résultats. luation.
Compétence La diffusion publique des résultats Elles sont conjointement respon-

d’une évaluation est souhaitable. sables de la bonne application
Les personnes participant au pro- Les règles de diffusion des résultats des principes énoncés dans cette
cessus d’évaluation à titre profes- sont établies dès le départ. L’intégri- charte.

Critères de qualité d’une évaluation
ANNEXE 4
L
es objectifs de l’intervention sion d’offres de qualité. Elle est qualitative ou quantitative. Lorsque
sont cohérents et évaluables. conforme aux procédures d’achats les données présentent des insuffi-
L’évaluation porte sur une in- de l’AFD. Le recours au gré à gré est sances, le rapport explique les fai-
tervention pour laquelle la logique exceptionnel. blesses et les limites d’utilisation de
d’intervention est interprétable. ces données.
L’équipe d’évaluateurs sélectionnée
Les termes de référence de l’éva- réunit les compétences nécessaires Les constats découlent logique-
luation sont bien formulés. Ils en matière d’évaluation, un bon ment de l’analyse des données,
décrivent notamment, avec une niveau d’expertise technique sur le d’interprétations basées sur des
précision suffisante, la finalité de type d’intervention évaluée et une hypothèses et sur une logique
l’évaluation (pour qui et pourquoi bonne capacité d’organisation. présentées avec soin. Les liens de
l’évaluation est réalisée et pourquoi cause à effets sont explicités.
à ce moment-là), les éléments de Le dialogue avec les parties pre-
contexte, le champ et l’approche nantes à l’intervention évaluée Les conclusions sont impartiales
retenue et les objectifs de l’éva- est efficace durant tout le proces- et crédibles. Elles découlent logi-
luation. Ils comportent un nombre sus. Le point de vue des bénéfi- quement des constats, elles sont
limité de questions évaluatives et ciaires, notamment, est bien pris fondées sur des critères de juge-
donnent des indications sur les en compte. ments définis dans les termes de
méthodes d’évaluation à utiliser. Ils référence ou la note de cadrage,
précisent les analyses qui doivent elles sont équilibrées et équitables
Le rapport produit répond aux de-
être conduites. Ils comportent une vis-à-vis de l’ensemble des acteurs
mandes d’informations formulées
description des livrables attendus impliqués dans l’intervention éva-
par le commanditaire et corres-
et donnent des éléments sur le luée ; elles sont hiérarchisées selon
pond aux termes de référence.
budget consacré à l’évaluation, y leur importance, classées selon leur
compris le budget consacré à la res- degré de fiabilité et partagées par
titution de ses résultats. Les termes Le champ de l’évaluation est perti-
les différentes parties prenantes.
de référence décrivent la gouver- nent par rapport aux questions et à
nance de l’évaluation. la nature de l’intervention. Il couvre
de manière satisfaisante l’interven- Les recommandations découlent
tion évaluée pour permettre un des conclusions. Elles sont ordon-
La gouvernance de l’évaluation nées par priorités et classées par
jugement sur sa pertinence, son
est précisée dès le démarrage de acteur concerné.
efficacité et ses effets.
l’évaluation. Les responsabilités
des différentes parties prenantes à Le rapport d’évaluation est clair et
l’évaluation sont décrites avec une La méthode d’évaluation utilisée
est justifiée. Elle est correctement concis. Il constitue une synthèse
précision suffisante. La composi- de l’évaluation et doit pouvoir être
tion et le rôle du groupe de réfé- mise en œuvre pour fournir l’en-
semble des constats qui serviront à lu indépendamment des annexes.
rence, notamment, sont connus au Il comporte un résumé court, de
moment de lancer l’évaluation. répondre aux principales questions
de l’évaluation. Les limites d’ordre quatre pages.
méthodologique sont explicitées.
La procédure de choix de l’équipe Les résultats de l’évaluation sont dif-
d’évaluateurs est transparente. La Les données collectées sont adap- fusés de manière efficace et appro-
procédure doit faciliter la soumis- tées et fiables. Elles sont de nature priée (restitutions, publications, …).
36 Politique d’évaluation de l’AFD Politique d’évaluation de l’AFD 36

La prise en compte par l’AFD des
ANNEXE 5 résultats des évaluations pilotées
par la division de l’Évaluation
Processus de rétroaction des évaluations
Etapes de l’évaluation Acteurs impliqués Actions

Mène le processus, fait des suggestions,
EVA s’assure de la cohérence de la programmation
avec les objectifs de la politique d’évaluation
► 1 Programmation Services opérationnels Sont consultés

Donne un avis sur la pertinence et la faisabilité
Comité des évaluations du programme
Rédige les termes de référence, procède au

EVA choix du consultant
2 Préparation de l’évaluation Groupe de référence (auquel sont

associés les services opération- Sont consultés
nels)
Pilote le consultant extérieur

EVA
Conduite
Mène l’évaluation conformément aux termes
3 de l’évaluation jusqu’aux
conclusions
Prestataire extérieur de référence
Groupe de référence Sont consultés sur les livrables
Notation
4 qualité de l’évaluation EVA

Effectue la notation qualité
Récurrence des
évaluations sur
certains thèmes Réponse
Services opérationnels ou le Formalise leur position par rapport aux conclu-
du management sur les COMEX selon le niveau de déci- sions de l’évaluation
conclusions sion nécessaire
5
Prestataire extérieur Organise et anime l’atelier
Formulation
Participent à la formulation des recommanda-
des recommandations et Services opérationnels tions à partir des conclusions de l’évaluation et
6 contrôle de leur qualité et engagement à les
appliquer
s’engagent à les appliquer
Vérifie la cohérence des recommandations au
EVA regard des conclusions
Suivi
7 de l’application des
recommandations
DOE
Assurera le suivi des recommandations
Prise en Consultent et tiennent compte des enseigne-

ments tirés des évaluations antérieures dans
►
8 compte des enseignements
tirés des évaluations
Services opérationnels le cadre de la conception des projets et des
cadres d’intervention

Liens avec les documents du CAD de
ANNEXE 6 l’OCDE auxquels il est fait référence
dans le document
Glossaire du CAD de l’OCDE sur les principaux termes relatifs à l’évaluation :

http://www.oecd.org/development/peer-reviews/2754804.pdf
Evaluer la coopération pour le développement : récapitulatif des normes et standards de référence, 2e édition :
http://www.oecd.org/dac/evaluation/dcdndep/47832438.pdf
Orientations relatives à la gestion des évaluations conjointes, collection CAD Evaluation :

http://www.oecd.org/development/evaluation/dcdndep/37681798.pdf
Normes de qualité pour l’évaluation du développement, lignes directrices et ouvrages de référence du CA :

http://www.oecd.org/dac/evaluation/dcdndep/44920384.pdf
38 Politique d’évaluation de l’AFD Politique d’évaluation de l’AFD 38

Agence Française de Développement (AFD)
5, rue Roland Barthes - 75598 Paris cedex 12
France
Tél. : + 33 1 53 44 31 31
www.afd.fr

Politique Evaluation Afd

Transféré par

Droits d'auteur :

Formats disponibles

Politique Evaluation Afd

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Politique Evaluation Afd

Transféré par

Droits d'auteur :

Formats disponibles

Octobre 2013

Politique d’évaluation de l’AFD

Politique d’évaluation de l’AFD 3

Politique d’évaluation de l’AFD 5

6 Politique d’évaluation de l’AFD

Politique d’évaluation de l’AFD 7

8 Politique d’évaluation de l’AFD

1.2 Objectifs du document de politique d’évaluation

Politique d’évaluation de l’AFD 9

10 Politique d’évaluation de l’AFD

2.1 Objectifs de l’évaluation à l’AFD

Politique d’évaluation de l’AFD 11

12 Politique d’évaluation de l’AFD

2.3 Concepts et critères

Concepts l’AFD. En matière d’évaluation, cela implique d’analyser

Politique d’évaluation de l’AFD 13

6. Le sixième regard est celui de l’évaluation.

14 Politique d’évaluation de l’AFD

2.5 Les principaux types d’évaluation

Type d’évaluations Champ Approche/méthodes Objectif principal (secondaires)

Evaluation par rapport aux objectifs

Synthèses d’évaluations Grappes de projets Méta-évaluation Amélioration des interventions

Politique d’évaluation de l’AFD 15

LES ÉVALUATIONS DÉCENTRALISÉES DE PROJETS

16 Politique d’évaluation de l’AFD

EVALUATION DES ACTIVITÉS OUTRE-MER DE L’AFD

Politique d’évaluation de l’AFD 17

18 Politique d’évaluation de l’AFD

3.1 Améliorer l’évaluabilité des interventions

A cette fin, l’AFD s’engage à : .

Politique d’évaluation de l’AFD 19

LES ÉVALUATIONS D’IMPACT À L’AFD

Politique d’évaluation de l’AFD 21

Sélection de l’évaluateur Le rôle de l’agence est :

Les évaluations sont le plus souvent externalisées. Le

22 Politique d’évaluation de l’AFD

3.4 Concevoir des produits d’évaluation pratiques et utiles

3.5 Garantir la qualité des évaluations

Politique d’évaluation de l’AFD 23

3.6 Rendre les évaluations plus utiles

24 Politique d’évaluation de l’AFD

Politique d’évaluation de l’AFD 25

26 Politique d’évaluation de l’AFD

Politique d’évaluation de l’AFD 27

LES ÉVALUATIONS CONJOINTES

Principes du CAD pour l’évaluation de l’aide au développement (1991).

28 Politique d’évaluation de l’AFD

Politique d’évaluation de l’AFD 29

30 Politique d’évaluation de l’AFD

5.1 Gouvernance de l’évaluation

Le Conseil d’administration mise en place d’un système de suivi des recomman-

5.2 Ressources humaines et financières

Politique d’évaluation de l’AFD 31

L’effort en matière de gestion des ressources humaines Ressources humaines se propose de :

32 Politique d’évaluation de l’AFD

Politique d’évaluation de l’AFD 33

ANNEXE 2 Conditions d’évaluabilité

Clairement définis, quantitativement et qualitativement

Clairs, univoques et directement liés aux différents niveaux d’objectifs

5.1 Gouvernance de l’évaluation