Aperçu
1.1 Objectif
Le HCR fait sienne la définition par les Nations Unies de l’évaluation :
« Une évaluation a pour objet d’apprécier, de manière aussi systématique et impartiale que possible, une activité, un projet, un programme, une stratégie, une politique, un sujet, un thème, un secteur, un domaine opérationnel ou une performance institutionnelle. Elle permet d’analyser le niveau de réussite, à la fois en termes de résultats escomptés et inattendus, en examinant la chaîne des résultats, les processus, les facteurs contextuels et le lien de causalité. Elle s’appuie pour cela sur des critères tels que la pertinence, l’efficacité, l’efficience, l’impact et la durabilité1.Une évaluation doit fournir, à partir d’éléments démontrables, des renseignements crédibles et utiles, qui permettent d’intégrer en temps voulu les conclusions, recommandations et enseignements dans le processus décisionnel des organisations et des parties prenantes. »
L’évaluation éclaire les choix faits à tous les niveaux de l’organisation en matière de planification stratégique, de programmation et de prise de décision, sur la base de données représentatives de la période considérée, crédibles et impartiales. Ces données rendent compte, directement et indirectement, les opinions et les points de vue des personnes relevant de la compétence du HCR et des communautés d’accueil sur les services de protection et d’assistance fournies par l’organisation.
Les évaluations des opérations d’urgence permettent d’analyser dans quelle mesure le HCR (dans son ensemble) apporte une réponse pertinente, efficace et en temps voulu à une crise humanitaire nationale ou régionale, en tenant compte des facteurs favorables et des contraintes complexes propres au pays ou à la région.
Les évaluations des opérations d’urgence visent quatre objectifs principaux :
- Renforcer l’approche des opérations du HCR ainsi que la préparation de l’organisation aux situations d’urgence – en évaluant dans quelle mesure la stratégie nationale du HCR a répondu aux besoins les plus importants des réfugiés et des populations déplacées, a correspondu aux domaines de compétence et à la mission de l’organisation, et a pris en considération les capacités et les interventions des autres partenaires ;
- Améliorer les performances du HCR et les résultats obtenus pour les personnes relevant de sa compétence – en analysant les opérations, les partenariats, les résultats immédiats et les impacts potentiels à plus long terme des activités du HCR ;
- Aider le HCR à renforcer ses politiques, ses orientations, ses systèmes et son approche des liens entre action humanitaire et développement, afin de mieux répondre aux situations d’urgence – en tirant les leçons de l’ensemble des opérations du HCR ;
- Fournir au HCR des informations crédibles et objectives sur les performances de l’organisation, qui peuvent être utilisées pour offrir des garanties et rendre des comptes aux partenaires.
1.2 Principes directeurs et critères
L’évaluation au sein du HCR repose sur les principes fondamentaux d’impartialité, de crédibilité et d’utilité. Ces principes, qui sont liés et se renforcent mutuellement, recouvrent un certain nombre de valeurs spécifiques qui guident l’approche du HCR lorsqu’il initie une évaluation, lorsqu’il la met en œuvre et lorsqu’il en exploite les résultats.
Les évaluations, y compris les évaluations des opérations d’urgence, reposent sur le respect des genres, de l’équité et des droits de la personne, conformément aux valeurs, normes et orientations des Nations Unies. Le HCR s’appuie sur les critères du Comité d’aide au développement de l’OCDE et d’ALNAP, qu’il adapte à l’évaluation de l’action humanitaire. Le HCR ne sélectionne ni n’applique les critères de manière systématique, mais les adapte de telle sorte que l’évaluation tienne compte des bonnes pratiques et des objectifs de ceux qui en exploiteront les résultats.
Conformément aux politiques du HCR, les évaluations doivent être menées en intégrant des critères d’âge, de genre et de diversité, ainsi qu’en tenant compte de l’engagement du HCR de rendre des comptes aux populations touchées, afin que tous les groupes et identités au sein des populations relevant de la compétence du HCR puissent s’impliquer et contribuer à l’évaluation de manière équitable, indépendamment de leur âge, de leur genre, de leur appartenance ethnique, de leurs convictions politiques, de leurs croyances religieuses ou de leur identité sexuelle.
Pertinence pour les opérations d'urgence
2.1. Gestion de l’évaluation d’une opération d’urgence de niveau 3 (L3)
Les évaluations des situations d’urgence de niveau 3 sont demandées et gérées par le Service de l’évaluation. Conformément à la politique d’évaluation du HCR, ces évaluations doivent être réalisées au plus tard 15 mois après la déclaration d’une urgence de niveau 3. Toutes les évaluations des opérations d’urgence de niveau 3 sont menées par des évaluateurs externes indépendants et financées sur des fonds dédiés aux urgences de niveau 3.
En fonction des objectifs de l’évaluation et du contexte opérationnel, l’évaluation peut débuter avant la fin du délai de 15 mois afin de contribuer à la revue en temps réel et de pouvoir évaluer les conditions de mise en œuvre des recommandations tirées de la revue en temps réel.
Principales étapes :
Après la déclaration d’une urgence de niveau 3, le chef du Service de l’évaluation nomme un responsable de l’évaluation.
Dès la finalisation de la revue en temps réel, le responsable de l’évaluation entame des discussions avec les divisions concernées du Siège, le bureau régional et le bureau de pays afin de convenir des objectifs, du champ d’application et du calendrier de l’évaluation.
Le Service de l’évaluation confiera la réalisation de l’évaluation à une société d’évaluation indépendante, le prestataire de services.
Une note conceptuelle d’évaluation (2 pages) et des termes de référence seront ensuite rédigés et soumis à validation.
Le responsable de l’évaluation sera chargé de gérer les aspects quotidiens du processus d’évaluation. Un coordonnateur de l’évaluation sera désigné par l’équipe opérationnelle de pays/le bureau régional du HCR.
Les responsables aux niveaux mondial, régional et national doivent soutenir toutes les étapes du processus d’évaluation. Ils doivent :
- Informer à l’avance toutes les parties concernées (collègues du HCR, organisations des Nations Unies et ONG partenaires, gouvernement, donateurs), présenter l’équipe d’évaluation, et expliquer que le personnel et les partenaires peuvent être sollicités pour des entretiens.
- Désigner un coordonnateur chargé des questions de fond, ainsi qu’un coordonnateur affecté à des tâches d’appui logistique et administratif.
- Mettre à la disposition de l’équipe d’évaluation des documents qui rendent compte des principaux développements de l’opération d’urgence, des décisions prises et des résultats obtenus. Aider l’équipe d’évaluation à organiser des entretiens avec les principales parties prenantes.
- S’assurer que les entretiens impliquent des personnes relevant de la compétence du HCR et qu’ils sont planifiés en intégrant des critères d’âge, de genre et de diversité (AGD). Il peut également être demandé au(x) représentant(s) et au(x) bureau(x) de pays de fournir un appui logistique (sous réserve de contraintes opérationnelles). Afin de préserver la crédibilité et l’objectivité de l’évaluation, le personnel du HCR ne peut participer à aucun des entretiens de l’équipe d’évaluation.
Tout au long du processus, le Service de l’évaluation du HCR mettra à disposition de l’équipe d’évaluation un ensemble de documents de référence et de données qui seront continuellement mis à jour.
2.2 Champ d’application de l’évaluation d’une opération d’urgence
La portée opérationnelle des évaluations des opérations d’urgence n’est pas figée ; le Service de l’évaluation en discutera avec l’(les) équipe(s) opérationnelle(s) de pays concernée(s), le(s) bureau(x) régional(régionaux) et le Siège. Rappelons toutefois que, dans la mesure où une opération d’urgence de niveau 3 déclenche une réponse de l’ensemble de l’organisation, la portée opérationnelle des évaluations doit inclure tous les niveaux de l’organisation.
La portée géographique doit correspondre à la portée opérationnelle. Elle peut se concentrer uniquement sur les zones de l’opération d’urgence ou sur l’ensemble du pays/de la région. La décision d’inclure ou non les programmes réguliers (sans lien direct avec la situation d’urgence) dans le champ d’application de l’évaluation peut être prise au cas par cas et sera précisée dans les termes de référence.
Tout ce qui précède s’applique également aux évaluations des opérations d’urgence de niveaux 1 et 2, bien que la durée et la portée opérationnelle soient plus limitées. Se référer à la politique du HCR sur la préparation et la réponse aux situations d’urgence pour connaître les principales caractéristiques des opérations de niveaux 1 et 2.
Dans certains cas, les évaluations des opérations d’urgence du HCR peuvent être complétées par des évaluations humanitaires interorganisations qui se concentrent, à l’échelle du système, sur les performances, les obstacles opérationnels et les réalisations.
Conseils principaux
3.1. Termes de référence/principaux domaines d’évaluation
Les critères d’évaluation du Comité d’aide au développement de l’OCDE sont les critères de référence pour l’évaluation de l’aide au développement et de l’aide humanitaire. Mis à jour en 2019, ces six critères sont l’efficacité, la pertinence, l’efficience, l’impact, la viabilité et la cohérence. Le guide 2006 d’ALNAP interprète ces critères et les applique à l’évaluation de l’action humanitaire en considérant les indicateurs suivants : efficacité, adéquation/pertinence, efficience, impact, couverture, cohérence et connexité.
Des critères supplémentaires peuvent inclure des thèmes transversaux, tels que la coordination, la redevabilité à l’égard des populations touchées, la prise en compte de l’âge, du genre et de la diversité. Le poids de chaque critère fera l’objet d’une discussion avec le responsable de l’évaluation du HCR au cours de la phase de démarrage.
Compte tenu des contraintes temporelles et opérationnelles, l’évaluation doit se concentrer sur les questions prioritaires qui peuvent contribuer à mettre en lumière l’étendue de la réponse du HCR et la nature de l’assistance humanitaire fournie. À titre indicatif, l’évaluation peut aborder les questions suivantes :
- La stratégie du HCR s’est-elle adaptée à l’environnement extérieur, y compris à l’évolution du contexte et au rôle du gouvernement et des autres acteurs de l’aide humanitaire et du développement (Nations Unies, ONG, société civile et acteurs locaux) ?
- Dans quelle mesure le HCR a-t-il donné suite aux recommandations de la revue en temps réel pour faire face à l’évolution de la crise ?
- Compte tenu des ressources disponibles, dans quelle mesure le HCR a-t-il apporté une réponse adaptée aux besoins des populations les plus vulnérables ? Quelle a été l’efficacité de sa stratégie de ciblage ?
- Dans quelle mesure le HCR a-t-il atteint les cibles visées, obtenu les produits recherchés et contribué aux effets attendus ? Y a-t-il des signes que la réponse de niveau 3 a pu avoir des effets inattendus ou négatifs ?
- Dans quelle mesure la réponse a-t-elle été efficace et fournie en temps opportun, par exemple du point de vue de l’adaptation des processus opérationnels, des ressources humaines, de l’approvisionnement, du financement, de l’appui technique et d’autres aspects ? Les responsabilités internes étaient-elles clairement définies ?
- Dans quelle mesure les réussites et les échecs de la réponse sont-ils imputables à des facteurs systémiques ? Quel rôle les principales entités du HCR (divisions, bureaux, Siège, équipes opérationnelles) ont-elles joué à cet égard ?
Les recommandations portent généralement sur les points suivants :
- Que faut-il faire de plus ? Que faudrait-il faire différemment pour améliorer les programmes du HCR en faveur des réfugiés, des PDI et de leurs communautés ?
- Quels enseignements le HCR peut-il tirer de ses efforts de préparation ? Et quels enseignements peuvent être mis à profit au niveau régional et dans d’autres régions où le HCR mène des opérations ?
- Comment le HCR peut-il adapter ses opérations d’urgence aux besoins de relèvement et de réintégration à plus long terme ?
En raison de la spécificité de chaque évaluation, les questions de l’évaluation sont examinées et formulées au stade de l’élaboration des termes de référence. Elles sont présentées ici uniquement à titre indicatif.
Le HCR encourage l’utilisation d’une matrice d’évaluation standard, qui constitue le principal outil d’analyse dans le cadre d’une évaluation. Elle explique comment chaque question et chaque critère d’évaluation doivent être traités. Elle décompose également les questions principales en plusieurs sous-questions, auxquelles elle associe des méthodes de collecte et d’analyse des données, des indicateurs, des points à approfondir, des outils de collecte de données et des sources d’information. La matrice d’évaluation indique où les données secondaires seront utilisées et où les données primaires devront être recueillies. En outre, elle guide l’analyse, garantit que toutes les données recueillies sont analysées et recoupées, contribuant ainsi à améliorer la crédibilité et à réduire la subjectivité du jugement évaluatif.
3.2. Méthodologie
Pour chaque évaluation d’une situation d’urgence, les termes de référence préciseront les attentes du HCR et la méthodologie la plus appropriée sera définie au cas par cas.
Néanmoins, il convient de toujours s’efforcer d’utiliser une approche mixte faisant appel à plusieurs sources primaires et secondaires. Compte tenu de la nature des évaluations des opérations d’urgence, les méthodes de collecte et d’analyse des données réputées longues et nécessitant une forte mobilisation des ressources humaines (modélisation économique, enquêtes à grande échelle, examens systématiques) peuvent s’avérer moins adaptées. L’approche doit toujours être participative, mais les entretiens avec des informateurs clés et les discussions de groupe ne doivent pas nécessairement être multipliés et peuvent, si possible, être réalisés à distance afin de réduire l’empreinte environnementale de la mission d’évaluation.
3.3. Livrables et calendrier
Les principaux livrables sont répertoriés ci-dessous. Ils sont fournis à titre indicatif et peuvent changer en fonction du champ d’application de l’évaluation, du calendrier et des attentes du HCR précisées dans les termes de référence.
Les principaux livrables des évaluations des opérations d’urgence sont les suivants :
- Un rapport initial (7 à 15 pages) et une étude documentaire complète (10 à 15 pages) confirmant le champ d’application de l’évaluation, les questions de l’évaluation, les méthodes à utiliser, l’ensemble des outils de collecte de données, ainsi que le cadre analytique, et résumant les conclusions de l’examen de la documentation existante ;
- Des présentations et des comptes-rendus après la phase de démarrage, la mission sur le terrain (ou la collecte de données à distance) et la soumission du rapport final, y compris une présentation PowerPoint ou un aide-mémoire ;
- Des ateliers avec le personnel concerné du Siège, des bureaux régionaux et des bureaux de pays afin de valider les résultats ; des rapports d’évaluation provisoires et finaux (30 à 50 pages), comprenant un résumé analytique séparé de 4 à 6 pages ;
- Des copies des outils de collecte de données, du matériel de formation et de tout autre support élaboré au cours de la période d’évaluation ;
- L’ensemble des supports de communication prévus pour l’évaluation (documents d’infographie, podcasts, etc.).
Calendrier indicatif de l’évaluation d’une opération d’urgence, à partir de la signature de l’accord avec le prestataire de services :
3.5. Réponse de la direction
Une réponse de la direction sera préparée dans les trois mois suivant la finalisation du rapport d’évaluation. Le bureau du Haut Commissaire assistant chargé des opérations est responsable de la coordination et de l’approbation de la réponse de la direction à l’évaluation d’une opération d’urgence de niveau 3, laquelle sera alimentée par les contributions des bureaux de pays, des bureaux régionaux et des divisions concernés, selon le cas, et sera utilisée pour le suivi, 12 et 24 mois plus tard, de la mise en œuvre des actions qui auront été arrêtées.
3.6. Groupe de référence du processus d’évaluation
Le responsable de l’évaluation et l’équipe d’évaluation bénéficieront du soutien d’un groupe de référence du processus d’évaluation, qui jouera un rôle consultatif et sera composé d’un panel représentatif des principaux utilisateurs des résultats de l’évaluation. Le groupe de référence comprend généralement plusieurs parties prenantes externes. Des représentants des personnes avec et pour lesquelles le HCR travaille doivent, dans la mesure du possible, faire partie du groupe de référence.
Ce groupe est chargé d’évaluer la qualité du travail d’évaluation et d’émettre des avis, notamment lors de réunions et d’ateliers spécifiques organisés au cours du processus d’évaluation. Le cadre de collaboration de l’équipe d’évaluation et du groupe de référence doit être défini (ainsi que la composition du groupe) au début de la phase de démarrage.
3.7. Publics concernés
Les principaux destinataires des conclusions et recommandations des évaluations des opérations d’urgence sont l’équipe de hauts responsables, la Division des urgences, de la sécurité et de l’approvisionnement (DESS), d’autres divisions concernées (DIP, DSPR, DRS, etc.), ainsi que des groupes sectoriels (groupe sectoriel mondial Protection, groupe sectoriel Coordination et gestion des camps, etc.), le directeur du bureau régional concerné et le(s) représentant(s) de pays.
Les publics secondaires comprennent les Nations Unies et les partenaires gouvernementaux, les donateurs, les populations cibles et les partenaires de mise en œuvre.
Évaluation des opérations d’urgence – Tâches de direction
Lorsque vous dirigez une opération d’urgence, prévoyez et prenez le temps d’effectuer une revue en temps réel dans un délai de 3 mois et une évaluation dans un délai de 15 mois à compter du début de l’opération.
Désignez un coordonnateur au sein de l’équipe opérationnelle, qui travaillera aux côtés du responsable de l’évaluation du Siège sur les questions de fond, ainsi qu’un coordonnateur administratif pour les besoins logistiques.
Le premier de ces coordonnateurs est chargé de rassembler des documents, des données et des informations liés au champ d’application convenu de l’évaluation.
Il doit en outre identifier les parties prenantes susceptibles de jouer le rôle d’informateurs clés lors de la phase de collecte des données (visite de l’équipe d’évaluation sur le terrain) et solliciter leur participation.
Veillez à ce que le personnel de l’équipe opérationnelle reçoive toutes les informations nécessaires concernant le lancement officiel de l’évaluation, l’équipe d’évaluation, le calendrier et les contributions attendues.
Assistez aux séances d’information et de compte-rendu avec l’équipe d’évaluation, analysez le rapport provisoire et indiquez quelles recommandations sont acceptées/partiellement acceptées ou rejetées, ainsi que les raisons de ces choix.
Rédigez la réponse de la direction sur le rapport, en précisant les mesures de suivi qu’il a été convenu de mettre en œuvre.
Liens
Contacts principaux
Chef du Bureau de l’évaluation du HCR : [email protected]
Dans cette section:
Aidez-nous à améliorer l’expérience utilisateur de notre nouveau site en nous faisant part de votre opinion…
Aidez-nous à améliorer l’expérience utilisateur de notre nouveau site en nous faisant part de votre opinion…