Le BIP40 est-il sérieux ?

Une livraison récente de la prestigieuse revue de l’Insee, Economie et Statistique (Eco & Stat pour les intimes), propose un dossier sur l’approche statistique de la pauvreté pour des comparaisons internationales. Dans l’article introduisant ce dossier [1] , Daniel Verger, chef de l’Unité Méthodes Statistiques de l’Institut, met sérieusement en doute la crédibilité du BIP40 en tant qu’indicateur statistique fiable. Nous souhaitons ici poursuivre cette discussion, certes quelque peu technique, mais indispensable pour éviter des procès trop vite instruits.

Le BIP40 : une tentative méritoire...

Notons d’abord une curieuse méthode concernant les sources : aucune citation ni référence n’est faite, dans une bibliographie pourtant bien fournie, aux publications du RAI, pourtant toutes disponibles sur http://www.bip40.org/. Les nombreux lecteurs d’Eco et Stat qui ne connaissent pas le BIP40 devront se contenter de ce qu’en disent les auteurs de l’Insee. Dommage, car il aurait été honnête de renvoyer les lecteurs vers l’information de base, d’autant que nous avons fait sur le site en question un effort particulier de pédagogie et de transparence sur la méthodologie du BIP40.

Néanmoins, Daniel Verger commence élégamment par reconnaître la pertinence de l’intention des auteurs du BIP40. Se référant aux limites des travaux publiés dans ce numéro d’Eco & Stat, il écrit : « explorant une approche multidimensionnelle, le présent dossier s’arrête en quelque sorte en chemin et ne procède pas à l’agrégation générale de tous les indicateurs. Pourtant cette voie a été récemment explorée avec la création en France d’un indicateur prenant en compte un spectre assez large de dimensions (BIP40), dans la foulée des essais du type PNUD. Cet indicateur a rencontré un succès médiatique indéniable, car il est en phase avec une certaine demande sociale, désireuse de dépasser le cadre étriqué de l’approche de la pauvreté par les seules ressources monétaires instantanées, tout en gardant la lisibilité garantie par la mise en avant d’un chiffre unique » (Verger, 2005, p. 32).

Le coup de chapeau est cependant suivi d’une volée de bois vert : « mais l’indicateur produit est imparfait : la possibilité d’agréger, dans un score doté de bonnes propriétés statistiques et interprétable, les éléments divers, pour ne pas dire disparates, qui constituent l’approche proposée, n’a pas été démontrée. Or vouloir faire rentrer de force un phénomène multidimensionnel dans un moule unique ne saurait se faire sans déformer ou caricaturer la réalité au risque de mal orienter les éventuelles politiques correctrices. Sur ce point la demande sociale est ambivalente, désireuse à la fois de simplicité et de précision. S’il est clair que la voie à suivre éloigne de la prise en compte du seul niveau des revenus monétaires, l’exemple du BIP40 illustre bien, par ses imperfections, la difficulté du chemin qui reste à faire pour aboutir à une approche qui rencontre une large approbation » (id.).

Selon Daniel Verger, l’échec du BIP40 tient à son manque de « robustesse ». Ce terme bien connu des statisticiens désigne l’heureuse propriété de résultats statistiques qui sont « peu modifiés suite à des variations marginales dans la liste des éléments introduits ou dans leur définition, et peu sensibles aux problèmes de mesure » : or ce serait justement cette « qualité importante qui manque pour l’instant cruellement, à l’heure actuelle, à un indicateur comme le BIP40 » (p. 37).

... mais une faillite statistique ?

Dans un encadré de l’article de Daniel Verger, deux autres statisticiens, Jérôme Accardo et Pascal Chevalier, précisent la critique adressée au BIP40 et à ses concepteurs, le Réseau d’alerte sur les inégalités (RAI) [2] . Les reproches sont de plusieurs ordres, et nous tentons ici de répondre à chacun :

1) L’arbitraire du choix des indicateurs retenus : ainsi « chaque composante est recevable, mais il ne semble pas exister de raison dirimante pour ne pas considérer aussi bien le suicide ou la toxicomanie des adultes, ou les morts sur la route à cause de la vitesse » (p. 33 ; Accardo et Chevalier se réfèrent ici implicitement à l’Indice de Santé Sociale de l’Université de Fordham, mais le reproche s’adresse aussi au BIP40). C’est indéniable : il existe un degré d’arbitraire dans la sélection des indicateurs. Mais la plupart du temps, la principale raison de la sélection d’un indicateur est simplement le fait qu’il existe et qu’il a un rapport évident avec la question des inégalités et de la pauvreté. En tout cas pour le BIP40, le RAI a tenté de ratisser le plus largement possible, sans exclure aucun des indicateurs qui seraient à la fois pertinents et régulièrement publiés par le système statistique public. Dans la plupart des domaines couverts par le BIP40, et notamment pour l’éducation, la justice, la santé, etc., la grande difficulté n’a pas été de choisir parmi une multiplicité d’indicateurs, mais d’en trouver un nombre suffisant pour alimenter l’indice synthétique. Ce qui renvoie aux insuffisances du système statistique public pour la description des différentes dimensions des inégalités et de la pauvreté (insuffisances d’ailleurs reconnues par Verger, même s’il estime qu’elles sont en voie de résorption).

2) La non univocité : l’augmentation du nombre de soupes populaires distribuées « ne signifiera pas nécessairement que le nombre de pauvres a augmenté : elle peut simplement correspondre à une croissance de l’offre de repas dans un contexte de demande non satisfaite. Il se pourrait que le nombre de pauvres ait diminué alors même que l’indicateur a augmenté » (Accardo, Chevalier, p. 34). Cette critique est étrange car l’indicateur cité ne figure pas dans le BIP40. Mais il est vrai que d’autres indicateurs retenus par le RAI pourraient encourir le même reproche : ainsi des statistiques issues des Ministère de la Justice (taux d’incarcération...) ou de l’Intérieur (expulsions locatives, reconnaissance du statut de réfugiés...), qui peuvent être taxées de retracer au moins autant l’activité des services que la réalité sociale. Nous avons pourtant fait le choix (éminemment politique, et non pas technique) de considérer que même si la croissance du nombre de prisonniers ne reflétait pas uniquement l’augmentation de la pauvreté, elle traduisait néanmoins une combinaison (sans doute variable selon les périodes et les gouvernements) entre une pauvreté plus fréquente et une répression plus dure. En tout état de cause, le jugement normatif en arrière-plan de ce choix est clair : une société qui incarcère une proportion sans cesse croissante de ses citoyens n’est pas une société en bonne santé. Les choix qui président à la sélection de chaque indicateur sont d’ailleurs explicités dans les fiches techniques disponibles sur le site BIP40.org.

3) L’arbitraire des pondérations : « il est ici évident » (p. 34) : « le comportement de l’indicateur obtenu dépend pour partie de la pondération retenue pour effectuer la moyenne des indicateurs élémentaires ». Ce point ne souffre aucune discussion, mais nous l’assumons très clairement. Là encore, la transparence sur le choix des pondérations retenues, et la possibilité offerte aux utilisateurs sur le site BIP40.org de recalculer à leur guise l’indice synthétique en utilisant les pondérations de leur choix, nous semblent la meilleure garantie contre tout soupçon de manipulation. De fait, nous l’avons vérifié, la plupart des jeux « raisonnables » de pondérations (c’est-à-dire n’accordant à aucun des indicateurs par domaines un poids trop dérisoire ou à l’inverse manifestement excessif par rapport aux autres), aboutissent à des profils d’évolution du BIP40 similaires à celui publié à partir des pondérations retenues par le RAI.

4) L’erreur d’interprétation : « par construction l’indicateur ainsi élaboré est borné (par 1, ou 100 selon les conventions habituelles). Dans ces conditions il est trompeur de comparer ses évolutions à des grandeurs non bornées comme le PIB : par définition on va observer un décrochage de l’indicateur avec le PIB, sans que ce soit le signe assuré d’une dégradation du bien-être social » (p. 34). Cette critique ne saurait concerner le BIP40, que nous n’avons jamais comparé avec le PIB. Elle s’adresse plutôt aux indicateurs alternatifs de bien-être social, qui en effet « décrochent » souvent du PIB à partir du milieu des années 1970 ou dans les années 1980 (selon les pays et les indicateurs). Mais la critique est manifestement infondée. Sans vouloir entrer dans le détail technique, le fait que l’indice soit borné ne l’empêche nullement d’augmenter année après année (même si c’est à un rythme inférieur à celui du PIB) tant que les indicateurs qui le composent s’améliorent (pour faire bref, cette propriété résulte du fait que chacun de ces indicateurs est entièrement recalculé chaque année). Si les indices alternatifs « décrochent », c’est bien parce que malgré la poursuite de la progression du PIB par tête, les autres indicateurs (notamment non monétaires) tendent à se dégrader. Le BIP40 lui-même connaît fréquemment une dégradation (c’est-à-dire une hausse) malgré l’augmentation du revenu disponible par habitant la même année.

5) L’incompétence technique : « il faut veiller à n’utiliser, pour les indices élémentaires, que des séries de longueur comparable sur toute la période étudiée, faute de quoi on introduit un biais dans les évolutions. Par exemple celles du BIP40 ont été publiées pour une période débutant en 1982, ce qui semble correspondre à la période de référence. Lorsqu’on regarde les séries de données en détail, on constate toutefois que bon nombre d’indicateurs ne sont pas disponibles en 1982 (pour plus du tiers, ils démarrent après 1982, et pour le quart, c’est après 1990). Cela pose un problème car la valeur des indicateurs élémentaires dépend de la période de référence sur laquelle ils sont établis. En fait, si on se livre à une simulation à partir des séries utilisées pour calculer le BIP40 mais basée cette fois sur une période de référence unique (1990-2002) pour l’ensemble des indicateurs, on constate que l’évolution de l’indicateur synthétique devient très proche de celle obtenue avec les indicateurs monétaires de pauvreté publiés par ailleurs : dégradation de la situation des inégalités et de la pauvreté de 1993 jusqu’en 1997 (augmentation de l’indicateur), puis amélioration jusqu’en 2001 (diminution de l’indicateur) pour trouver en 2001 une situation où pauvreté et inégalités atteignent leur niveau le plus bas depuis 1990 » (p.34).

C’est manifestement la critique la plus grave aux yeux des auteurs. Le BIP40 publié par le RAI diagnostique une aggravation des inégalités depuis le début des années 1980, avec deux périodes de rémission (1990-91 et surtout 1998-2001). Sur les seules années 1990, la courbe publiée (qui, comme le rappellent les auteurs de l’Insee, est calculée sur la période 1982-2002) montre une forte croissance des inégalités et de la pauvreté de 1991 à 1997, une nette baisse de 1998 à 2001 et une forte reprise après 2001. L’année 2001 se situe alors à un niveau (5,0) légèrement supérieur à l’année 1990 (4,8). Et en effet, ce n’est plus le cas lorsqu’on restreint la période de référence à 1990-2002 : l’année 2001 se situe dans ce cas légèrement en dessous de l’année 1990. Selon la période de référence retenue, 2001 peut apparaître légèrement meilleur ou légèrement moins bon que 1990 du point de vue des inégalités et de la pauvreté.

Il s’agit effectivement d’une curiosité statistique. Invalide-t-elle pour autant le BIP40 ? Pas à notre avis. Ce résultat provient de ce que selon que la période de référence est 1982-2001 ou 1990-2001, les années 1990 et 2001 ne sont pas comparées de la même façon. Ainsi 2001 apparaîtra comme la meilleure année sur la période 1990-2001 pour certains indicateurs (par exemple pour le chômage), alors que ce n’est pas le cas sur la période 1982-2001.

Pour le comprendre, un petit détour technique est nécessaire pour rappeler ce que signifie le choix de la période de référence. Quand l’indice 2001 est calculé sur la période 1982-2001, on compare chacun des indicateurs qui le composent à sa meilleure (sa plus faible) valeur entre 1982 et 2001 ; quand la période de référence est 1990-2001, chaque indicateur est comparé à sa plus faible valeur sur cette période. Dans le premier cas la situation de référence est de fait, pour la plupart des indicateurs, celle du début des années 1980, c’est-à-dire bien meilleure (du point de vue des inégalités et de la pauvreté) que celle du début des années 1990, laquelle est de fait la situation de référence pour la plupart des indicateurs quand on se restreint aux années 1990. Il n’est donc pas anormal que selon la période de référence choisie, on puisse aboutir à des résultats un peu différents. C’est d’ailleurs également le cas lorsqu’on compare l’indice calculé sur les seuls indicateurs disponibles sur l’ensemble de la période, et celui calculé sur l’ensemble des indicateurs disponibles en fin de période.

L’important est ailleurs : le diagnostic global demeure inchangé quelle que soit la période de référence choisie, qu’on considère les indicateurs disponibles sur l’ensemble de la période ou qu’on introduise progressivement (comme le fait le BIP40) les indicateurs à mesure de leur disponibilité. Dans tous les cas 2001 apparaît en effet comme un bon cru , qui conclut une période de 4 ans de croissance économique et de baisse du chômage. Dans tous les cas, les inégalités et la pauvreté apparaissent en moyenne nettement plus importantes dans les années 1990 que dans les années 1980. Dans tous les cas, on observe après 2001 une dégradation sans précédent de la situation. Les simulations réalisées et publiées sur le site (voir « le BIP40 : impact de différentes conventions de calcul ») confirment que le choix des conventions de calcul, s’il n’est pas neutre, ne biaise pas les conclusions globales que l’outil suggère.

Il est d’ailleurs curieux de remarquer que c’est le seul passage des articles ici évoqués où les auteurs de l’Insee font référence à la controverse qui a opposé le RAI et la direction de l’Insee autour de la mesure de la pauvreté durant l’été 2004 (voir les références sur le site). Il s’agit en outre d’une référence discrète, voire codée (« l’évolution de l’indicateur synthétique devient très proche de celle obtenue avec les indicateurs monétaires de pauvreté publiés par ailleurs »...). Rappelons pourtant que nous avons lancé le BIP40 en réaction à la description selon nous très biaisée que donne l’Institut de l’évolution des inégalités et de la pauvreté en France : le seul indicateur publié régulièrement par l’Insee, le « taux de pauvreté monétaire », diminue imperturbablement depuis vingt ans au mépris des évolutions clairement ressenties par le corps social tout entier...

Nous ne prétendons pas pour autant que le BIP40 soit un indicateur statistique irréprochable. Il a certes été mis au point par une équipe comportant des professionnels de la statistique, mais avec des moyens très limités et de façon purement artisanale, sur notre temps de loisir. En peignant les séries à chaque actualisation annuelle, nous découvrons ici ou là un bug, une faute de frappe, etc., que nous nous efforçons de corriger. Nous avons essayé d’expliciter et de justifier tous les choix retenus, mais peut-être pas de façon toujours claire ou convaincante. Le débat ne peut que nous faire progresser à cet égard. Quoi qu’il en soit, notre initiative n’a d’autre ambition que de proposer sur les inégalités et la pauvreté un regard statistique différent du regard officiel, et de pousser le système statistique public à faire évoluer ses propres méthodes vers une plus grande pertinence vis à vis du débat social. De ce point de vue, rien n’est encore acquis. L’Insee a certes accepté de se remettre en question et d’ouvrir le dialogue, c’est un point de départ important. La création d’un groupe de travail du CNIS (Conseil national de l’information statistique), lors de son assemblée plénière de février 2005 sur « les niveaux de vie et les inégalités sociales » est une autre avancée. Car les auteurs de l’INSEE, comme le montre à nouveau le contenu du dossier d’Eco & Stat, semblent beaucoup plus intéressés par l’étude des caractéristiques des pauvres que par la mesure et l’analyse des inégalités. Il reste encore à prouver que le processus actuel de concertation débouchera sur l’élaboration pragmatique et raisonnée d’une batterie d’indicateurs pertinents, aussi bien monétaires que non monétaires, concernant les inégalités et la pauvreté dans les différents domaines de la vie sociale, ainsi que sur des propositions d’indices synthétiques, pour alimenter enfin le débat social et les politiques publiques en informations fiables et largement acceptées sur l’état réel de la cohésion sociale dans notre pays.

Pour ce qui concerne le RAI, il a décidé de participer activement à ce groupe de travail et il fera tout son possible pour que les débats approfondis aient lieu dans la plus grande transparence. Il en attend des propositions utiles pour mieux appréhender les inégalités sociales en France et apporter des informations utiles pour tous ceux qui entendent lutter contre leurs causes et leurs graves effets sociaux. Le pari est-il gagné ? Rien ne permet d’en décider à ce jour.

RAI

[1] Daniel Verger, « Bas revenus, consommation restreinte ou faible bien-être : les approches statistiques de la pauvreté à l’épreuve de la comparaison internationale », Economie et Statistiques n°383-384, 2005.

[2] Jérôme Accardo et Pascal Chevalier, « Les indicateurs synthétiques », encadré 8, pp. 33-35.

Haut