1. INTRODUCTION
Dans l’évaluation d’un programme de santé reproductive on peut visualiser quatre points clés : Les dimensions à évaluer, les stratégies et techniques, l’utilisation des résultats, et les résultats atteints et risques des évaluations. La définition des dimensions à évaluer permet tout d’abord de se rendre compte de l’ampleur du problème à envisager. Au moment où ces dimensions sont définies il est beaucoup plus facile de déterminer les techniques nécessaires pour effectuer l’évaluation.
L’utilisation des résultats sert aux différentes parties prenantes, qui aimeraient se servir des nouvelles informations obtenues pour être capables de tirer des conclusions pour le processus de la prise des décisions. Ces décisions pourrant ou pas apporter des changements à l’intervention telle qu’elle est en train d’être effectuée.
Les résultats atteints et les risques des évaluations en santé reproductive vont conclure ce tour d’horizon des évaluations en santé reproductive. L’analyse des résultats et des risques devrait nous donner une compréhension de l’ensemble des aspects de la domaine en touchant tous les trois aspects principaux traités en haut. Plus spécifiquement, elle pourrait aussi avoir une forte importance pour l’ensemble des bailleurs de fonds qui sont très intéressés par les estimés des risques.
2. DIMENSION À ÉVALUERAu début d’une évaluation, l’évaluateur s’intéresse à se donner une vue globale de la situation de l’endroit (pays, politique) où l’intervention a lieu [1,2]. L’approche de l’évaluation devrait se concentrer tout d’abord au contexte global d’une intervention en santé reproductive en allant plus tard dans les détails de l’analyse du programme. 2.1 Situation politique, dans laquelle le programme va être implanté La situation politique dans le pays où un programme de santé est implanté est d’une importance primordiale [3]. Les politiques de santé du pays à l’épreuve doivent être analysés minutieusement avant de prendre des mesures appropriées pour porter des jugements sur les interventions qui y sont effectués. Dans la plupart des pays qui ont actuellement besoin de programmes de santé reproductive, l’analyse de la vie politique devrait se concentrer sur [4] : (i) le foisonnement des partis politiques qui engendre la lutte pour le pouvoir, occultant ainsi les problèmes économiques et sociaux, (ii) le degré d’instabilité ayant pour corollaire un ralentissement du processus général de développement et (iii) sur la classe politique qui devrait dégager un accord durable sur les objectifs et sur les stratégies de mise en œuvre d’un programme de développement national concerté dans lequel les actions à mener par secteur et par région relèvent d’un même objectif en application d’une stratégie macro-économique décidée au plus haut niveau de l'État. Il faut vérifier jusqu’à quel degré cette stratégie macro-économique est traduite par une organisation verticale de tous les organes d’intervention, entraînant des déséquilibres structurels. En ce qui concerne les collectivités territoriales, dont la participation à la gestion générale des pays est primordiale dans le cadre de la politique de décentralisation actuellement mise en œuvre par la plupart des gouvernements, un élément crucial semble d’avoir toujours été leur impréparation à ces fonctions de grande envergure. L’évaluation devrait clarifier, jusqu’à quel degré ce handicap est dû en grande partie au manque de compétences et de personnel spécialisé en matière de politique de développement et de définition de projet. 2.2 Situation en matière de population et développement L’évaluation devrait tenir compte des grandes lignes des politiques économiques et sociales qui ont été mises en œuvre et leurs conséquences sur les conditions de vie actuelles de la population. Dans le cadre de l’évaluation les éléments suivants sont les plus importants : L’évolution de la politique sociale, objectives et stratégies des politiques sociales ; Les dispositifs réglementaires pour la procréation ; La Reconnaissance par les hommes d'enfants illégitimes et instauration d'allocations familiales sans limitation du nombre d'enfants ; Une loi sur la réglementation en matière de limitation des naissances et de propagande sur les contraceptifs. Les dimensions de la population à évaluer tournent essentiellement autour de la formation des cadres pour remplacer rapidement les cadres étrangers, de l’éducation des enfants, et de l'amélioration du statut de la femme [5]. Concernant l’éducation, le plaidoyer doit être analysé à l’intention des communautés de base pour l’instruction aussi bien des enfants que des adultes. Sur le plan sanitaire, outre le maintien des Ecoles de Médecine créées, des écoles d’infirmiers et de sages-femmes sont à analyser ainsi que la démocratisation aux plans de l'éducation en santé: (i) la multiplication des écoles et l’adoption d’une seule langue comme langue d’enseignement dans les écoles primaires, puis secondaires; (ii) la démultiplication des Universités nationales et des écoles de sages femmes et d’infirmiers dans tout le pays; (iii) la création massive de Centres de Soins de Santé primaires. L’augmentation des charges récurrentes du système qui devinrent rapidement hors de portée du budget national entraîne un dysfonctionnement de ces infrastructures et une dégradation des services offerts. Il en résulte la désaffection de la population à l’égard de l'école et des formations sanitaires. (iv) La création des directions de la population, normalement au sein du Ministère de la Santé pour étudier les variables de population et encadrer les groupes vulnérables : Les conséquences sociales des politiques apparaissent avec l’émergence de groupes marginalisés (les jeunes chômeurs non diplômés). De nouveaux groupes défavorisés (les sans abris) suite à l’application des mesures d’ajustement structurel.
Un programme social spécial qui donne des informations précises pour le ciblage des populations les plus défavorisées doit bien être négocié avec les bailleurs de fonds nationaux et internationaux, pour que les interventions soient planifiées en utilisant des stratégies cohérentes. 2.3 Politique Nationale de Santé Les systèmes de santé sont normalement passés par l'élaboration d'une Politique Nationale de Santé. Cette politique constitue le document de référence en matière de développement sanitaire [4]. Elle devrait être conforme aux objectifs de la CIPD (Conférence Internationale sur les Populations et le Développement) 1994 au Caire et rejoindre les orientations des documents cadre élaborés par les gouvernements [6]. Des options stratégiques y devraient être évalués : (i) la décentralisation basée sur le district sanitaire, (ii) l'amélioration du financement du secteur santé par le financement communautaire, y compris les collectivités décentralisées, (iii) le développement du secteur privé, (iv) la participation communautaire au travers des comités de gestion des centres de santé, (v) la disponibilité des médicaments essentiels et des consommables médicaux à tous les niveaux du système de santé, (vi) le développement des ressources humaines, (vii) la lutte contre les maladies, et (viii) la promotion et la protection de la santé axées sur le couple mère-enfant, la santé génésique y compris la planification familiale et la santé des adolescents et des hommes. L’évaluation devrait investiguer comment les objectifs globaux de la CIPD sont pris en considération dans le cadre des politiques nationales de santé notamment ceux relatifs aux mortalités maternelle et infantile, à la prévalence contraceptive et à l'accès aux soins de santé de base et aux groupes cibles des interventions de santé vers les adolescents et les hommes. 2.4 L’organisation du système de santé L’évaluation du système de santé reproductive commence par l’analyse de ses différents secteurs. Cette analyse des secteurs amène l’évaluateur à une première estimation de l'importance et du poids décisionnel des différentes parties prenantes. Normalement les secteurs sont : public, parapublic et privé (y compris les ONGs) [5]. Après l’appréciation des secteurs l’analyse des niveaux hiérarchiques devrait porter un jugement sur la distribution et la répartition du pouvoir. L’organisation du système de santé reproductive doit couvrir les aspects géographiques, matérielles, logistiques et financières y compris les ressources humaines et les formations sanitaires publiques. Les analyses des prestations de soins fournies par les établissements du secteur public, des formations sanitaires privées, parapubliques et les ONGs sont organisées selon un mode pyramidal sur trois niveaux:
analyse des centres de santé de base (CSB) analyse des centres hospitaliers de district (CHD) analyse des centres hospitaliers universitaires (CHU) et centres hospitaliers régionaux (CHR)
L’analyse de la constitution du secteur parapublic devrait surtout focaliser sur les services médicaux inter-entreprises, et quant au secteur privé et ONGs, les points d’intérêt les plus importants sont les changements organisationnels rapides [7] connues depuis son développement particulier dans pratiquement tous les pays en voie de développement. En matière de ressources humaines, la caractérisation de la situation et l’état de l’utilisation des ressources existantes devraient être considérés.
3. STRATÉGIES, TECHNIQUES S’agissant de la responsabilité en matière d’évaluation, le principe selon lequel l’évaluation doit faire partie intégrante des diverses étapes du processus gestionnaire global suppose que les individus et groupes responsables de l’élaboration et de l’application de ce processus aux divers niveaux des choix politiques et de l’exécution assurent également la responsabilité de son évaluation [8]. Indicateurs et Critères pour l’Évaluation Il existe un très grand nombre d’indicateurs qui peuvent être classés en sous-groupes selon lesquelles ils se rapportent à la politique sanitaire, aux conditions socio-économiques, aux prestations sanitaires ou à l’état de santé. Voici quelques exemples importants de ces indicateurs : L’engagement politique à un niveau élevé en faveur de la santé pour tous Degré d’équité dans la répartition des ressources Disponibilité des médicaments essentiels pendant toute l’année L’accessibilité des établissements d’orientation-recours Etc.
Les critères sont des dimensions auxquelles on se réfère pour mesurer des actions. Les critères peuvent être techniques ou sociaux, les critères techniques étant en général hautement spécifiques à un programme. Un critère vise essentiellement à susciter une réflexion aboutissant à un jugement. Il est rare que l’on puisse parvenir à un tel jugement. Il y a plusieurs types d’évaluation qui peuvent être appliqués pour des programmes en santé reproductive : Il faut distinguer entre la technique de l’évaluation normative et la recherche évaluative [1]. En principe les deux approches se diffèrent surtout au niveau de l’ampleur de l’évaluation. En faisant une évaluation normative on se limite à faire des appréciations au niveau structure, processus et résultats de l’intervention. Ces appréciations sont basées sur des critères et des normes c’est à dire à des abrégés du vrai et du bien. En utilisant la technique de recherche évaluative on fait normalement une démarche qui consiste à poser un jugement ex-post sur une intervention en employant des méthodes scientifiques. Evidement pour une évaluation d’un programme de santé reproductive on peut se servir des deux possibilités selon les exigences. La stratégie et une technique approprié décident du succès ou de l’échec d’une évaluation. Dans la pratique la technique de l’évaluation normative est utilisée très souvent. Par rapport à la recherche évaluative elle est soumise à des contraintes financières et temporelles plus petites. L’évaluation normative est effectuée en quatre étapes principales [1] : Il s’agit de savoir dans quelle mesure les ressources sont employées de façon adéquate pour atteindre les résultats escomptés. On comparera donc les ressources de l’intervention ainsi que leur organisation avec des critères et normes de ressources.
Il s’agit de savoir dans quelle mesure les services sont adéquats pour atteindre les résultats escomptés.
S’assurer qu’il existe une liste des objectifs et des buts ; une description des approches utilisées pour réaliser les objectives et atteindre les buts, un résumé des ressources à mobiliser, y compris des informations sur le personnel, le budget et le financement, et enfin un calendrier des activités indiquant les étapes ou points de contrôle et leurs dates prévues.
Vérifier qu’on dispose d’informations sur l’utilisation des ressources. Déterminer les besoins en matière d’informations d’après les indicateurs à utiliser ou les questions à poser.
4. UTILISATION DES RÉSULTATS Les résultats d’une évaluation devraient nous rendre capable de tirer des conclusions à la lumière des informations résumées. Ces conclusions devraient servir de base pour modifier les programmes ou, si c’est nécessaire, pour reprogrammer. Voilà des activités proposées fréquemment dans des concepts de re-programmation [9]: Formuler des propositions au sujet des actions ultérieures qui s’imposent, par exemple redéfinir les problèmes qui ont été mal présentés, revoir la conception des programmes formulés de façon incorrecte, ou encore accélérer leur progression Redéfinir les fonctions et les structures d’une institution ou d’un service Accroître le budget Indiquer si le programme ou projet doit être poursuivi, modifié ou interrompu Préciser toutes les modifications qu’il y a lieu d’apporter aux objectifs, aux buts, aux méthodes et aux techniques, ainsi qu’aux ressources humaines et financières devant être mobilisées, et Indiquer le temps requis pour ces changements.
Si les conclusions ont été bien tirées elles vont servir à formuler des recommandations concernant les programmes entiers de santé de reproduction. Ces recommandations peuvent être faites sur plusieurs niveaux : en matière de conception, des gestion et du suivi du programme ; en matière de prise en compte de la santé de la reproduction des jeunes et adolescentes en terme d’information et de services et en matière d’implication des hommes en SR. Les recommandations tirées des conclusions devraient aussi se concentrer sur les priorités en matière d’assistance internationale au propre programme. Chaque bailleur de fonds international qui est intéressé par supporter un programme en santé reproductive va être intéressé à participer au processus de la prise de décision regardant ce programme. La contribution internationale représente une partie très forte (souvent autour de 90%) dans l’ensemble des bailleurs des fonds pour le développement au niveau de santé reproductive. L’utilisation de l’information imprègne l’ensemble du processus d’évaluation. Il est donc nécessaire de veiller à disposer d’un appui informationnel adéquat tout au long du processus de manière qu’aucun retard ne se produise ultérieurement par manque d’informations. Si les résultats de l’évaluation montrent que la politique, le programme, le service ou l’institution ne sont pas pertinents, on recommande leur modification ou, si c’est nécessaire, leur suppression. Voila quelques stratégies d’ajustement des programmes souvent recommandées en santé de la reproduction. Ces suggestions considèrent toujours l'état des réalisations dans le domaine de la Santé de la Reproduction, et les besoins prioritaires identifiés dans l'analyse de situation des quatre secteurs suivants [10] : Conception, gestion et suivi des programmes nationaux de SR (Santé reproductive) Couverture de la population en Santé de la Reproduction plus particulièrement celle résidant en zone rurale ; Prise en compte de la SR des jeunes et adolescents en terme d'information et de services ; et Implication des hommes en matière de SR.
En matière de conception, de gestion et de suivi du programme de SR, l' axe stratégique consiste à améliorer les capacités nationales dans le domaine institutionnel et gestionnaire. Pour ce faire, seront entrepris : L'actualisation du cadre institutionnel régissant le district sanitaire, plaque tournante du développement sanitaire pour une opérationnalisation effective du cadre logique dans les formations sanitaires La définition du cadre général pour la coordination des activités du programme de SR/PF (Planning Familial) La maîtrise de l'information pour une meilleure prise de décision
En matière de couverture de la population en Santé de la Reproduction plus particulièrement celle résidant en zone rurale , l'axe stratégique consiste à assurer le bien-être en matière de Santé de la Reproduction de toute la population et plus particulièrement celle située en milieu rural et dans les zones défavorisées. Pour ce faire seront entrepris: L' amélioration du degré de disponibilité, d'accessibilité et de qualité des services de Santé de la Reproduction à chaque niveau du système de santé y compris la communauté La réalisation d'activités de plaidoyer
En matière de prise en compte de la Santé de la Reproduction des jeunes et adolescents en terme d'information et de services , considérant les spécificités des adolescents , et surtout le contexte socio-sanitaire qui prévaut dans le pays, l'axe stratégique retenu consiste à développer divers modèles de prestations adaptées à leurs besoins. En matière d'implication des hommes en SR , il s'agira d'augmenter le degré de responsabilisation des hommes dans la maîtrise de la santé de la reproduction.
5. RÉSULTATS ATTEINTS, RISQUES L’évaluation, opération délicate en quelque domaine que ce soit, est particulièrement difficile dans celui de l’action sanitaire en raison de la nature même des activités de ce secteur qui, souvent, ne se prêtent pas commodément à la mesure de résultats en fonction d’objectives chiffrés prédéterminés. Par conséquent ; il est souvent nécessaire de porter un jugement qualitatif, étayé chaque fois que possible par des informations sûres et chiffrées [9]. Il faut tenir compte des relations complexes qui existent entre le secteur sanitaire et les autres secteurs sociaux et économiques. Il arrive souvent que des changements dans le domaine de la santé résultent d’éléments extérieurs au secteur sanitaire, ce qui complique encore l’évaluation, notamment celle de l’efficacité et de l’impact. Il est donc d’autant plus nécessaire d’établir des indicateurs sûres et sensibles [11] pour repérer les changements qui se produisent dans les situations sanitaires ou dans l’amélioration des prestations sanitaires. Les problèmes posés par la collecte d’informations sur ces indicateurs ont des répercussions sur leurs possibilités d’utilisation. Une autre contrainte fréquente est une certaine résistance instinctive à l’évaluation et à ses résultats que l’on refuse par principe de considérer comme des instruments de gestion valables. Il n’est alors pas difficile de prouver qu’un processus d’évaluation n’a pas été suffisamment ‘scientifique’ pour offrir une base ‘solide’ à des décisions sur les programmes ou encore de discréditer les résultats d’une évaluation en contestant la validité de certains des critères utilisés. Une contrainte aussi forte importante est le fait qu’il existe une grande diversité de systèmes nationaux de santé et les politiques sanitaires nationaux varient an fonction des systèmes politiques, économiques et sociaux. Le plupart des pays ont des plans, plus au moins élaborés, pour le développement de leur système de santé. Chez certains, les programmes de santé comportent des objectives généraux et chiffrés bien définis, mais on trouve partout différents types de services et d’institutions sanitaires, ainsi que diverses catégories de travailleurs sanitaires, professionnels ou autres. L’évaluation qu’il est proposé d’entreprendre en donnant suite aux exigences des règlements de la CIPD a un caractère général et doit être adaptée à des systèmes nationaux de santé très divers. La qualité des résultats et l’ampleur des risques d’échec de l’évaluation dépendent largement de cette adaptation difficile, surtout dans des pays politiquement instables.
RÉFÉRENCES Contandriopoulos, A.P., Champagne, F., Denis, J.-L., Pineault, R.: L'Évaluation dans le domaine de la santé: concepts et méthodes. GRIS, nov.1992. Champagne F. Denis JL: Pour une évaluation sensible a l'environnement des interventions: l'analyse de l'implantation. Service social: L'avenir des services ou services d'avenir 1992; 41(1): 143-163. Conseil Scientifique de l'Évaluation. Petit guide de l'évaluation des politiques publiques. "Introduction". Paris: La documentation française 1996. Lemieux V. L'étude des politiques publiques. Ste-Foy: Les Presses de l'Université Laval, 1995 P.FOURNIER, V.PICHE, L. ALBERT: "A curriculum for reproductive health programmes and interventions in developing countries", in: "Sexuality and reproductive health during adolescence in Africa" University of Ottawa Press 1998 Fonds des Nations Unies pour la Population (FNUAP): "État de la population mondiale", les générations nouvelles. FNUAP, New York, 1998 Denis JL, Champagne FC: L'analyse de l'implantation: modèles et méthodes. La revue canadienne d'évaluation de programme 1990; 5(2): 47-67. Denis JL, Béland F., Champagne F.: Le chercheur et ses interlocuteurs: Complicité et intéressement dans le domaine de la recherche évaluative. Dans Évaluer: Pourquoi? Actes du Colloque du CQRS tenu a l'occasion du 63e congres de l'ACFAS. Québec: CQRS, 1996. OMS: L'évaluation des programmes de santé : principes directeurs pour son application dans le processus gestionnaire pour le développement sanitaire national. Genève, Aug. 1988 Barry TM : "Quality of care: from concept to action. A way ahead for sub-Saharan Africa FP and RH programmes." AFRICAN JOURNAL OF FERTILITY SEXUALITY, AND REPRODUCTIVE HEALTH. 1996 Dec;1(2):85-91. PIP/131544 Sicotte C., Champagne F., Contandriopoulos A.P. et al.: "A Conceptual Framework for the Analysis of Health Care Organisations' Performance". Health Service Management Research l 1 , 1998: 24-48.
AUTRES SOURCES CONSULTÉES Campbell DT. Assessing the Impact of Planned Social Change. Évaluation and Program Planning 1979;2:67-90. Chen H.T.: "Issues in Constructing Program Theory", New Directions for Program Evaluation, Jossey-Bass, Fall 1990, no. 47, pp. 7- 18. Gardiner C : Embracing the reproductive health approach. Global perspective. JOICFP NEWS. 1996 Aug;(266):5. PIP/115560 Hoogerwerf A.: "Reconstructing Policy Theory" Evaluation and Program Planning, 1990, vol. 13, pp 285- 291. House P.W., Shull R.D. "Effective Policy Analysis " in Handbook of Public Administration. San Francisco, Jossey Bass 1990. Li H : Improving reproductive health status. The Chinese government has been developing new programs in line with the ICPD Program of Action. INTEGRATION. 1998 Summer;(56):20-2. PIP/135875 Mark M: "From Program Theory to Test of Program Theory". Advance in Program Theorv. L. Bickman (ed.) Jossey-Bass Inc., 1990; 47 (automne); 37-51. Scriven M. The Logic of Evaluation and Evaluation Practice. In New Directions for Program Evaluation, Jossey-Bass Publishers, 1995,68:49-70.
Sax A; Flury R.; Thurnher B : Credits against
fertility: the population policy of the World Bank.
PEOPLE'S PERSPECTIVES. 1994 Jan-Feb;(6-7):13-5.
PIP/096177.
|
