Líneas generales
1.1 Propósito
El ACNUR aplica la siguiente definición de evaluación de las Naciones Unidas:
Una evaluación es una valoración, lo más sistemática e imparcial posible, de una actividad, proyecto, programa, estrategia, política, tópico, tema, sector, área operativa o desempeño institucional. Analiza el grado de consecución de los resultados esperados e imprevistos, examinando la cadena de resultados, los procesos, los factores contextuales y la causalidad a partir de criterios adecuados como la pertinencia, la eficacia, la eficiencia, el impacto y la sostenibilidad. Una evaluación debe suministrar información creíble y útil con base empírica que facilite la incorporación oportuna de los hallazgos, recomendaciones y lecciones en los procesos de toma de decisiones de las organizaciones y las partes interesadas.
Las evaluaciones sirven de base para las determinaciones que se adopten en todos los niveles de la organización en cuanto a planificación estratégica, programación y toma de decisiones, tomando como base pruebas imparciales, fiables y oportunas. Estas pruebas reflejarán, directa e indirectamente, las opiniones y perspectivas de las personas de interés del ACNUR y de las comunidades de acogida en cuanto a la protección y la asistencia que ofrece la organización.
Las evaluaciones de las emergencias analizan en qué medida el ACNUR (en su conjunto) está dando una respuesta eficaz, oportuna y pertinente ante una crisis humanitaria nacional o regional, considerando los complejos factores facilitadores u obstaculizadores del país o la región.
En términos generales, se puede decir que los objetivos de las evaluaciones de las respuestas de emergencia son los siguientes:
- Fortalecer el diseño de las operaciones del ACNUR y su preparación ante situaciones de emergencia: al analizar en qué medida la estrategia del ACNUR en el país se adaptó a las necesidades más importantes de la población de personas desplazadas internas y refugiadas, respondió a las áreas de crecimiento y de responsabilidad del organismo, y tuvo en cuenta las capacidades y operaciones de otros socios.
- Mejorar el desempeño del ACNUR y los resultados alcanzados para las personas de interés por medio de un análisis de las intervenciones, las asociaciones, los resultados inmediatos de las actividades del ACNUR y su potencial de impacto a más largo plazo.
- Ayudar al ACNUR a seguir consolidando sus políticas, directrices, sistemas, el nexo acción humanitaria-desarrollo y sus enfoques, para responder mejor ante situaciones de emergencia, tomando como base las lecciones aprendidas a raíz de la respuesta del ACNUR en su conjunto.
- Constituir para el ACNUR una fuente fiable de información objetiva sobre el desempeño de las organizaciones, que posteriormente se pueda utilizar para ofrecerles seguridad a los socios y rendirles cuentas.
1.2 Principios rectores y criterios
El proceso de evaluación en el ACNUR se apoya en los principios fundamentales de la imparcialidad, la credibilidad y la utilidad. Estos principios, que están relacionados y se fortalecen mutuamente, incorporan diversas normas específicas que orientan la labor del ACNUR al encargar las evaluaciones, llevarlas a cabo o respaldar su realización.
Las evaluaciones, incluidas las de las respuestas de emergencia, tienen en cuenta las cuestiones relativas al género, la equidad y los derechos humanos, de conformidad con las normas, estándares y directrices del sistema de las Naciones Unidas en su conjunto. El ACNUR toma los criterios del Comité de Asistencia para el Desarrollo de la Organización de Cooperación y Desarrollo Económicos (CAD de la OCDE) y de ALNAP, y los adapta para evaluar la acción humanitaria. El ACNUR no selecciona ni aplica los criterios de forma mecánica, sino adaptativa, para garantizar que la evaluación refleje las buenas prácticas y las necesidades de sus usuarios.
Las evaluaciones deben realizarse respetando plenamente la política de edad, género y diversidad del ACNUR, y su compromiso con la rendición de cuentas ante las poblaciones afectadas para garantizar que todos los grupos e identidades dentro de las poblaciones de interés tengan igualdad de oportunidades en cuanto a la participación y los aportes que hacen a la evaluación, independientemente de su edad, género, origen étnico, religión, afiliación política o identidad sexual.
Relevancia para operaciones de emergencia
2.1 Gestión de la evaluación de una emergencia de nivel 3
Las evaluaciones de las emergencias de nivel 3 las encarga y gestiona la Oficina de Evaluación. De acuerdo con lo establecido en la política de evaluación del ACNUR, las evaluaciones deben llevarse a cabo, a más tardar, 15 meses tras la declaración de emergencia de nivel 3. Todas las evaluaciones de las respuestas de emergencia de nivel 3 están a cargo de evaluadores externos independientes y se financian por medio de llamamientos de financiación para emergencias de nivel 3.
Dependiendo de los objetivos de la evaluación y el contexto operacional, la evaluación puede comenzar antes de los 15 meses para garantizar que pueda reflejar información en tiempo real y que sea de ayuda para analizar la puesta en práctica de las recomendaciones del examen en tiempo real.
Principales pasos:
Después de la declaración de la emergencia de nivel 3, el Jefe de la Oficina de Evaluación nombra a un jefe de evaluación.
Al finalizar el examen en tiempo real, el jefe de evaluación da inicio a las conversaciones con las divisiones de la sede pertinentes, la oficina regional y la oficina en el país para acordar los objetivos, el alcance y el cronograma de la evaluación.
La Oficina de Evaluación contratará a una firma de evaluaciones independiente (el proveedor de servicios) para llevar a cabo la evaluación.
Luego, se acordarán y redactarán una nota conceptual (dos páginas) y los términos de referencia de la evaluación.
El jefe de evaluación tiene la responsabilidad de gestionar los aspectos rutinarios del proceso. La operación en el país o las oficinas regionales del ACNUR nombrarán a un punto focal para la evaluación.
La dirección superior a nivel nacional, regional y mundial presta asistencia en todo el proceso. Debe:
- Informar a todas las partes involucradas con antelación (colegas del ACNUR, socios de las Naciones Unidas y de organizaciones no gubernamentales, el gobierno y los donantes), presentar al equipo de evaluación, y explicar que es posible que se entreviste al personal y a los socios.
- Asignar a un punto focal para asistir en temas de fondo, así como en temas logísticos y administrativos.
- Poner a disposición del equipo de evaluación documentos que reflejen los principales avances, decisiones y resultados relacionados con la operación de emergencia. Asistir al equipo de evaluación en la coordinación de entrevistas con partes interesadas clave.
- Las entrevistas deben incluir a personas de interés del ACNUR y deben adoptar un enfoque que tenga en cuenta la edad, el género y la diversidad. También es posible que se les solicite a los Representantes y oficinas en el país que brinden apoyo logístico (condicionado a las limitaciones operacionales). Para resguardar la credibilidad y la objetividad de la evaluación, el personal del ACNUR no participará en ninguna de las entrevistas del equipo de evaluación.
A lo largo del proceso, la Oficina de Evaluación del ACNUR creará una biblioteca de documentos y datos de referencia para compartir con el equipo de evaluación, la cual actualizará regularmente.
2.2 Alcance de la evaluación de la emergencia
El alcance operacional de las evaluaciones de las respuestas de emergencia no es inamovible, y la Oficina de Evaluación lo discutirá, según sea pertinente, con las operaciones en los países, las oficinas regionales y la sede. Sin embargo, cabe recordar que el alcance operacional de las evaluaciones deberá extenderse a todos los niveles de la organización, ya que una respuesta a una emergencia de nivel 3 activa una respuesta de todo el sistema.
El alcance geográfico debe coincidir con el alcance operacional. Puede que se enfoque solo en las zonas de la respuesta de emergencia, o en todo el país o región. La decisión de incluir programas regulares (que no sean de emergencia) dentro del alcance de la evaluación puede tomarse examinando caso por caso, y se definirá en los términos de referencia.
Todo lo anterior también se aplica en el caso de las respuestas a emergencias de nivel 1 y 2, aunque los plazos y el alcance operacional estarán más limitados. Consulte la Política de Preparación y Respuesta ante Situaciones de Emergencia del ACNUR para ver las características principales de las respuestas de nivel 1 y 2.
En algunos casos, las evaluaciones de las respuestas de emergencia del ACNUR pueden complementarse con evaluaciones humanitarias interagenciales, que se centran en el desempeño, los obstáculos operacionales y los logros a un nivel general del sistema.
Guía principal
3.1. Términos de referencia y principales esferas de indagación
Los criterios de evaluación del CAD de la OCDE son los criterios preponderantes para evaluar el desarrollo y la asistencia humanitaria. Según la actualización de 2019, los seis criterios son: eficacia, pertinencia, eficiencia, impacto, sostenibilidad y coherencia. La guía de ALNAP de 2006 describe que, en el marco de su aplicación en la labor humanitaria, los criterios son: efectividad, idoneidad o pertinencia, eficiencia, impacto, cobertura, coherencia y conectividad.
Otros criterios pueden incluir temas transversales, como la coordinación, rendición de cuentas ante las poblaciones afectadas, edad, género y diversidad. La importancia de cada criterio se discutirá con el Jefe de Evaluación del ACNUR durante la fase de inicio.
Considerando los límites de tiempo y de la operación, la evaluación debe centrarse en las preguntas prioritarias que pueden ayudar a brindar pruebas de la respuesta ampliada y de la asistencia humanitaria del ACNUR. A modo de orientación, algunas preguntas de evaluación pueden ser:
- ¿Qué tan bien se adaptó la estrategia del ACNUR al entorno externo, como el contexto cambiante y el papel del gobierno y otros actores humanitarios y del desarrollo (las Naciones Unidas, ONG, la sociedad civil/los actores locales)?
- ¿En qué medida ha seguido el ACNUR las recomendaciones del examen en tiempo real durante la crisis en evolución?
- Dados los recursos disponibles, ¿en qué medida satisface la respuesta del ACNUR las necesidades de las personas más vulnerables? ¿Cuán eficaz ha sido su estrategia de selección de destinatarios?
- ¿En qué medida alcanzó el ACNUR las metas y los productos deseados, y contribuyó a la consecución de los resultados previstos? ¿Hay algún indicio de efectos negativos o inesperados de la respuesta de nivel 3?
- ¿Cuán eficiente y oportuna fue la respuesta (p. ej., el alcance de la respuesta ampliada en los procesos institucionales, recursos humanos, adquisiciones, financiación, apoyo técnico y otros)? ¿Estaban claras las responsabilidades internas?
- ¿En qué medida los logros y desaciertos de la respuesta pueden atribuirse a factores vinculados al sistema? ¿Qué papel tuvieron las entidades del ACNUR en elo (divisiones, oficinas regionales, sede, operación)?
Las áreas de recomendación por lo general analizan:
- ¿Qué más debe hacerse? ¿Qué debe hacerse de otra forma para mejorar la programación de la respuesta del ACNUR en favor de las personas refugiadas y desplazadas internas, y de sus comunidades?
- ¿Qué puede aprender el ACNUR de sus esfuerzos de preparación? Y, ¿qué lecciones se pueden aplicar a nivel regional y en otras regiones de las operaciones del ACNUR?
- ¿Cómo puede adaptar el ACNUR su respuesta de emergencia para favorecer una recuperación a largo plazo y suplir las necesidades de reintegración?
Debido a la especificidad de cada evaluación, estas preguntas se discuten y se formulan en la etapa de elaboración de los términos de referencia. Se presentan aquí solo a modo de sugerencia.
El ACNUR promueve el uso de una matriz de evaluación estándar, que constituye el principal marco analítico para una evaluación, plantea cómo se abordará cada pregunta y criterio de la evaluación, y desglosa las preguntas principales en subpreguntas, cotejándolas con métodos de recopilación y análisis de datos, indicadores y líneas de investigación, herramientas de recopilación de datos y fuentes de información. La matriz de evaluación es útil para señalar dónde se usarán datos secundarios y dónde será necesario recopilar datos primarios. Además, orienta el análisis, y garantiza que todos los datos recopilados se analicen y se triangulen, lo que mejora la fiabilidad y reduce la subjetividad del juicio evaluativo.
3.2. Metodología
Para cada evaluación de emergencia, se presentarán las expectativas del ACNUR en los términos de referencia, y se discutirá la metodología más apropiada caso por caso.
No obstante, siempre se debe procurar aplicar un enfoque de métodos mixtos en las evaluaciones, que se base en diversas fuentes primarias y secundarias. Teniendo en cuenta la naturaleza de las evaluaciones de emergencia, puede que los métodos de recopilación y análisis de datos que demandan más tiempo y esfuerzo (es decir, el modelado económico, las encuestas a gran escala y las revisiones sistemáticas) no sean los más adecuados. El enfoque debe ser siempre participativo, pero la cantidad de entrevistas con informantes clave y grupos focales de discusión puede ser menor o, cuando sea posible, llevarse a cabo a distancia para minimizar la huella de la misión de la evaluación.
3.3 Entregables y cronograma
Los entregables clave se indican a continuación. Estos son tentativos y pueden cambiar según el alcance de la evaluación, los plazos y las expectativas del ACNUR, conforme a las disposiciones de los términos de referencia.
Entre los entregables clave de las evaluaciones de las respuestas de emergencia, se incluyen:
- Un informe inicial (de 7 a 15 páginas) y un examen documental exhaustivo (de 10 a 15 páginas), que confirmen el alcance de la evaluación, las preguntas, los métodos que se usarán, todas las herramientas de recopilación de datos y el marco analítico, y que resuman las constataciones derivadas del examen de la documentación existente.
- Presentaciones e informes después de la fase de inicio y de la misión sobre el terreno (o la recopilación de datos a distancia), y la entrega de un informe final, con una presentación en PowerPoint o un aide-mémoire.
- Talleres con personal relevante en la sede, las oficinas regionales y la oficina en el país, para validar los hallazgos. Borrador y versión definitiva del informe de evaluación (de 30 a 50 páginas), que incluya un resumen ejecutivo independiente de entre 4 y 6 páginas.
- Copias de las herramientas de recopilación de datos, material didáctico y todo material elaborado durante el periodo de evaluación.
- Todo material de comunicación concebido para esta evaluación (p. ej., infografías o pódcast).
Cronograma indicativo para una evaluación de emergencia, desde el momento en que se haya contratado o seleccionado al equipo de evaluación externo:
3.5. Respuesta de la administración
La administración elaborará una respuesta dentro de los tres meses de finalizado el informe de evaluación. La oficina del Alto Comisionado Auxiliar para las Operaciones es responsable de coordinar y aprobar la respuesta de la administración a la evaluación de una emergencia de nivel 3, la cual se beneficiará de las contribuciones de las oficinas en los países, las oficinas regionales y las divisiones pertinentes, y servirá de base para los informes sobre la implementación de las medidas acordadas, elaborados después de 12 y 24 meses.
3.6. Grupo de referencia de la evaluación
El jefe de evaluación y el equipo de evaluación estarán respaldados por un grupo de referencia de la evaluación, que actúa en calidad de asesor y que se compone de un panel representativo de usuarios principales de la evaluación. El grupo de referencia de la evaluación incluye a diversas partes interesadas externas. De ser posible, los representantes de las personas con las que trabaja el ACNUR, así como de aquellas para las que trabaja, deben ser miembros del grupo de referencia de la evaluación.
El grupo ha de valorar la calidad de la labor de la evaluación y hacer observaciones, especialmente en reuniones y talleres concretos que se organizarán a lo largo del proceso de evaluación. El marco colaborativo del equipo de evaluación y del grupo de referencia de la evaluación (así como los miembros que los compondrán) se especificará en la primera etapa de la fase de inicio.
3.7. Destinatarios
Los principales destinatarios de las conclusiones y recomendaciones de las evaluaciones de emergencia son el Equipo Ejecutivo Superior, el Director de la División de Emergencia, Seguridad y Suministros (DESS) y otras divisiones pertinentes (la División de Protección Internacional, la División de Planificación Estratégica y Resultados, la División de Resiliencia y Búsqueda de Soluciones, etc.), grupos temáticos (de Protección, de Coordinación y Gestión de campamentos, etc.), y el Director de la oficina regional y los Representantes en los países pertinentes.
Otros destinatarios pueden ser socios gubernamentales y de las Naciones Unidas, donantes, poblaciones destinatarias y socios en la ejecución.
Evaluación de operaciones de emergencia: puntos de acción de la administración
Al dirigir una operación de emergencia, prever y programar un examen en tiempo real dentro de los 3 meses y una evaluación dentro de los 15 meses tras el inicio de la respuesta de emergencia.
Designar a un punto focal dentro de la operación para que coopere con el jefe de evaluación en la sede respecto del contenido, y un punto focal de administración para cuestiones logísticas.
El punto focal se encarga de recopilar documentos, datos e información que se encuentren dentro del alcance acordado para la evaluación.
El punto focal identificará partes interesadas como informantes clave para la fase de recopilación de datos (visita sobre el terreno del equipo de evaluación) y enviará a los informantes clave las solicitudes de participación.
Asegurarse de que el personal de la operación sepa cuándo es el inicio formal de la evaluación, y que esté al tanto del equipo de evaluación, el cronograma y las contribuciones previstas.
Asistir a sesiones informativas previas y posteriores a la actividad dentro del equipo de evaluación, revisar el borrador del informe, y señalar qué recomendaciones se aceptan, se adoptan parcialmente o se rechazan, y los motivos.
Remitir la respuesta de la administración respecto al informe y las medidas de seguimiento acordadas.
Enlaces
Contactos principales
Jefe de la Oficina de Evaluación del ACNUR: [email protected]
En esta sección:
Háganos saber su opinión sobre el nuevo sitio y ayúdenos a mejorar su experiencia de usuario...
Háganos saber su opinión sobre el nuevo sitio y ayúdenos a mejorar su experiencia de usuario...