L'usage des méthodes quantitatives en évaluation se heurte à deux grands écueils. Le premier est, en l'absence de compétences techniques suffisantes, le risque de production de données erronées. Les chiffres obtenus fournissent alors une mauvaise appréciation des phénomènes qu'ils sont censés mesurer. Le deuxième est la confusion entre données quantitatives et contrôle de performance. Or les résultats issus de la mobilisation des méthodes quantitatives en évaluation ne se limitent pas à la mesure des effets de court terme des dispositifs. ils peuvent également porter sur les impacts et l'atteinte des objectifs à moyen terme, la pertinence des actions, la qualité et la cohérence des programmes mis en œuvre.
Du risque de mauvais emploi des méthodes quantitatives.
L'utilisation des méthodes quantitatives pour l'évaluation suppose une technicité importante. La banalisation des logiciels de traitement statistique tend à augmenter la production de chiffres pour l'évaluation. Le risque, pour des non spécialistes, de commettre des erreurs dans l'interprétation des résultats ou dans la mobilisation des méthodes de traitement est élevé. Il est en effet toujours possible d'obtenir des chiffres, mais les conditions d'utilisation de ces chiffres, leur signification et leurs possibilités d'interprétation demandent un bon niveau d'expertise. Or de mauvais usages peuvent conduire à des contre sens ou des erreurs de mesure remettant en question les résultats finaux de l'évaluation.
Par exemple :
Les connaissances techniques pour l'utilisation des méthodes quantitatives sont ainsi indispensables pour produire des résultats robustes et de qualité. Ces résultats ne sont cependant qu'une représentation de la réalité. Quelles que soient les précautions prises, il existe une marge d'erreur, pas toujours mesurable, liées à la mise en œuvre des enquêtes (échantillonnage, formes des questions, …). Le travail de l'évaluation consiste en l'analyse des résultats en tenant compte des biais liés à l'enquête ainsi que des objectifs de l'évaluation et donc des questions auxquelles les chiffres doivent contribuer à répondre. Il repose donc à la fois sur la capacité technique de l'évaluateur à mettre en œuvre les méthodes quantitatives, à conduire des produire d'évaluation, et à sa connaissance des sujets.
Les méthodes quantitatives et qualitatives : une approche complémentaire au service de l'évaluation.
Une des grandes difficultés de l'évaluation est la mesure des effets propres des dispositifs. Les évolutions sont en général assez facilement mesurables. Identifier si elles sont imputables, au moins en partie, au dispositif évalué, est plus complexe. En effet, des facteurs externes à la politique mises en œuvre peuvent intervenir.
Face à cette difficulté, les évaluateurs utilisent par exemple des échantillons témoins : ils sont constitués de personnes dont les caractéristiques sont les mêmes que celles des bénéficiaires, mais qui ne sont pas concernées par le dispositif. Cette construction est complexe, les résultats pouvant être faussés si l'échantillon témoin diffère de l'échantillon bénéficiaire. Le mode idéal d'obtention de ces échantillons, par sélection aléatoire, n'est pas toujours possible. (voir par exemple: Brezault, Olm « Politiques locales de la jeunesse et expérimentations sociales : l'épreuve du terrain. », cahier de recherche du CREDOC n°C226, 2009 ).
En pratique, l'évaluation repose alors sur la multiplication des approches : elle observe les évolutions et analyse si il s'agit bien de celles attendues au départ. Elle recherche les autres facteurs pouvant les expliquer. Elle compare les évolutions selon les caractéristiques des bénéficiaires, et les actions précises qui les a concernés. Elle recueille le point de vue des acteurs, étudie la cohérence globale du dispositif , la pertinence des actions proposées, les conditions de leur mise en œuvre, les facteurs d'inefficacité, leurs impacts sur les territoires.
L'approche qualitative analyse et croise le point de vue des acteurs, ainsi que les discours de certains bénéficiaires. Elle est adaptée à l'observation des modalités de mise en œuvre de la politique, de sa cohérence globale avec les autres actions existants sur le territoire et fournit des éléments pour comprendre quels sont les facteurs d'efficacité ou d'inefficacité et pour repérer certains effets de la politique. Une approche uniquement qualitative ne suffit souvent pas à mesurer l'importance réelle des effets ni à conclure sur l'efficacité de la politique. En effet :
Inversement, les méthodes quantitatives (utilisation des sources de données existantes, enquêtes ad hoc) ne renseignent que peu sur les mécanismes expliquant les résultats observés, ou sur les modalités précises de mise en œuvre des politiques. Elles sont parfois assimilées à du contrôle de performance, lorsqu'elles ne regardent que les évolutions des trajectoires sur des indicateurs de court terme (taux de retour à l'emploi, taux d'accès au logement, taux de remplissage des structures d'accueil petite enfance...). Or elles peuvent aller bien au-delà de ces mesures, et s'intéresser à des indicateurs plus « qualitatifs ». Elles peuvent ainsi mesurer la capacité du dispositif à mobiliser les bénéficiaires sur une trajectoire d'insertion professionnelle, sur la capacité des bénéficiaires à gérer leur budget, et, à terme, se maintenir dans le logement, ou encore sur l'information des familles pour trouver un mode de garde permettant la conciliation vie familiale-vie professionnelle, ….
Pus globalement, elles chiffrent les évolutions, quantifient les décalages entre les besoins et l'offre. Les méthodes avancées de traitements statistiques (modélisations, classifications, …) sont par ailleurs très utiles pour mesurer quelles actions produisent les effets les plus importants et auprès de quels bénéficiaires, et contribuer à identifier les effets propres de la politique évaluée.
En ce sens, il n'existe pas de « bonnes méthodes » en évaluation. La qualité de l'évaluation dépendra notamment de la mise en œuvre d'une méthodologie globale :