Projet:Communes de France/actualisation de la population (Insee 2014)

La section « Démographie » d'un grand nombre d'articles de communes françaises comporte des tableaux et des graphiques qui sont générés grâce à des modèles utilisant des modèles de données, comme par exemple {{Données/Artenay/évolution population}} pour Artenay.

Ces modèles de base de données permettent de stocker toutes les informations concernant l'évolution de la population de la commune. Ces modèles doivent être actualisés chaque année avec les nouvelles données. L'actualisation nécessite de changer plusieurs de ces paramètres, car il convient de prendre en compte les nouvelles données démographiques, mais aussi la convention d'affichage des données.

Les populations légales millésimées 2011 entrent en vigueur le 1^er janvier 2014 et ont été mises en ligne par l'Insee le 31 décembre 2013. L'actualisation 2014 des modèles de données consiste à intégrer ces nouvelles données dans les modèles et à procéder à l'ajout de nouveaux paramètres, dont le sourçage direct dans le modèle de toutes les données.

Parallèlement sont créés les modèles de données pour les DOM et COM. Il conviendra ensuite d'adapter les modèles de tableaux pour permettre un affichage correct des sources.

Convention d'affichage

Des différentes discussions qui ont eu lieu au sein du Projet:Communes de France, la convention d'affichage retenue, pour tenir compte de la réforme du recensement entrée en vigueur en 2006 (mais commencée en 2004), est la suivante :

• jusqu'à 2006, affichage de tous les populations issues de recensements et sourcées ;
• année 2006 : affichage systématique ;
• après 2006 : pour les communes de population inférieure à 10 000 habitants, affichage uniquement des recensements « exhaustifs » et de la dernière année de recensement (2011 pour l'actualisation 2014).

Situation des modèles de données avant actualisation

Ces modèles utilisent les paramètres suivants :

• max : indique le nombre maximal d'habitants qu'a connu la commune. Ce paramètre permet entre autre de calculer automatiquement les hauteurs des colonnes des graphiques.
• source1, 2 et 3 : permet d'ajouter l'url de différentes sources telles que Cassini, l'Insee, etc.
• sources : les sources sont normalement ajoutées automatiquement. Cependant il est possible d'ajouter d'autres sources en utilisant ce paramètre, comme par exemple : |sources=Archives départementales
• nombre : indique le nombre d'années de recensement que compte le modèle de données.
• an 1 à ~ : ajoute une date de recensement. Lorsque l'on renseigne une année de recensement, celle-ci s'accompagne obligatoirement du paramètre « pop » correspondant.
• pop 1 à ~ : indique le nombre d'habitants pour une année définie
• an : indique la dernière année de recensement. Cette dernière année doit également, pour des raisons techniques, être ajoutée dans les paramètres « an » numérotés (voir exemple ci-dessous avec l'année 2009).
• pop : indique le nombre d'habitants pour le dernier recensement.

Les modèles de données ne sont pas protégés et peuvent donc être modifiés. Ainsi de nombreux contributeurs — croyant bien faire — ont ajouté des données nouvelles, parfois de manière exhaustive (années 2007, 2008, 2009, 2010), parfois de manière incomplète.

L'actualisation devra, tant que faire se peut, rétablir la convention d'affichage.

Une macro en VBA pour traiter le sujet

En 2014, est expérimentée une nouvelle macro (dans Excel) permettant de rétablir une situation conforme à la convention d'affichage et prenant en compte les données 2014 (recensement 2011).

La situation étant déjà complexe, viennent se superposer les cas suivants :

• les communes dont les noms dans WP ont été renommés depuis la création des modèles de données ;
• les communes qui n'ont pas de modèle de données.

Principe de fonctionnement

La macro fonctionne de la façon suivante :

1. récupération sur le web du corps de l'article « modèle de donnée de la commune xx » ;
2. identification des différents paramètres définis ci-dessus, par traitement des chaînes de caractères ;
3. récupération de l'année de recensement de la commune en question et du dernier recensement ;
4. modification du corps de l'article ;
5. chargement du corps de texte modifié sur le web et sauvegarde.

Actions réalisées

• Ajout du code insee. Ce nouveau paramètre permet d'identifier la commune sans avoir recours au modèle et permettra différents traitements sur les données.

• Ajout des populations 2011 :

ex1 : Communes de moins de 10 000 habitants ayant une ou plusieurs données entre 2006 et 2010 (2007, 2008, 2009 ou 2010)

Pour une commune dont le recensement 2008 a été saisi, la question se pose de savoir si 2008 est bien un recensement exhaustif, selon le cas, les corrections sont les suivantes (en gras) :

Situation actuelle	Actualisation 2014
	2006 = recensement exhaustif	2007 = recensement exhaustif	2008 = recensement exhaustif	2009 = recensement exhaustif	2010 = recensement exhaustif
nombre = 35 an34=2006|pop34=1257 |an35=2008|pop35=1301 |an=2010|pop=1317	nombre = 35 an34=2006|pop34=1257 |an35=2011|pop35=1368 |an=2011|pop=1368	nombre = 36 an34=2006|pop34=1257 |an35=2007|pop35=xxx |an36=2011|pop36=1368 |an=2011|pop=1368	nombre = 36 an34=2006|pop34=1257 |an35=2008|pop35=1301 |an36=2011|pop36=1368 |an=2011|pop=1368	nombre = 36 an34=2006|pop34=1257 |an35=2009|pop35=xxx an36=2011|pop36=1368 |an=2011|pop=1368	nombre = 36 an34=2006|pop34=1257 |an35=2010|pop35=xxx |an36=2011|pop36=1368 |an=2011|pop=1368

Pour effectuer ces corrections, il convient de disposer des bases de données démographiques de 2006 à 2011, préalablement récupérées sur le site de l'Insee.

ex2 : Communes de plus de 10 000 habitants : par convention, ne seront affichés que les recensements 2006, 2011, 2016 et la dernière population légale.

• Ajout des premiers recensements 2004 et 2005 : lorsque le premier recensement de la commune a été fait en 2004 ou 2011, les données sont ajoutées dans les paramètres ann et popn.

• Correction du max : si la population 2011 est supérieure au paramètre max, ce dernier est mis à jour.

• Ajout des paramètres recens n et source-recens n : ces paramètres permettent de sourcer en direct toutes les données post-2006.

• Corrections de l'année 2008 : une erreur de manipulation lors de la création des modèles de données en 2012, avait conduit à des valeurs erronées de certaines populations 2008. Bien que peu nombreuses, il en subsiste encore quelques-unes. Le programme rétablira les bonnes valeurs, lorsque 2008 est un recensement exhaustif.

• Actualisation de la documentation : la documentation du modèle est modifiée pour tenir compte des nouveaux paramètres.

Création modèles de données DOM et COM

Fait en semi-automatique pour Guadeloupe, Martinique, Guyane, La Réunion (période 1961-2011 pour les 4 départements, soit 112 communes), pour la Polynésie française (1971-2012, 48 communes). Modèle de données à jour et modèles d'affichage dans les articles aussi. Reste néanmoins à modifier le modèle {{Section démographie d'article de commune de France}} afin qu'apparaissent correctement les sources (supprimer Cassini et supprimer bug sur la note « à partir de 200098747 »). Reste à faire St Pierre-et-Miquelon, St-Barth, St-Martin, la Nouvelle-Calédonie et Mayotte. — S t a r u s – ¡Dímelo! – 16 janvier 2014 à 15:37 (CET)

Avancement de l'actualisation

Chronologie

3-4 janvier : départements 45 à 59

Cas particulier à résoudre en fin de processus

• Communes dont la donnée n'est pas renseignée sur la case "2006" du site de Ldh/EHESS/Cassini et que le script a sauté (ou va sauter) lors de l'actualisation : 03133 (2005) (Jenzat) - 08236 (2004) - 12011 (2004) - 17192 (2005) - 18116 (2004) - 22201 (2004) - 23099 (2004) - 25317 (2005) - 28042 (2004) - 31300 (2005) - 32014 (2005) - 34023 (2005) - 34120 (2004) - 38197 (2005) - 38198 (2004) - 38199 (2004) - 40145 (2005) - 42010 (2004) - 59249 (Fourmies) - 59251 (2004) - 62097(2004) - 62847 (2004) - 76095 (2004) - 77062 (2004) - 89326 (2005). Corrigé. Roland45-Bot (discuter) 16 janvier 2014 à 08:25 (CET)
• Communes ne disposant pas de données pour 1999 (car dissoutes avant 1999 et recréées ensuite, ou bien pour une autre raison) et donc sautées par le script lors de l'actualisation : 10038 - 10383 - 14482 - 22201 - 31300 - 35317 - 47163 - 47227 - 50102 - 51201 - 52495 - 55068 - 55082 - 62847 - 64439 - 64518 - 67057 - 71353 - 74106 - 89288 - 89326
• Communes complétées par des données issues de sources locales (cas de certaines communes de la Loire-Atlantique pour l'année 1836). Le script récupère les données existantes dans le code, mais pas les sources. Il conviendra de les ajouter manuellement ou de faire un script spécifique.
• Communes de 60352 (Lattainville) à 62376 (Gonnehem) recensées soit en 2004 soit en 2005 : erreur sur source-recens1 suite à un changement du script pour gagner du temps. A reprendre avec script spécifique ou manuellement (pour un département donné, la source est en effet tout le temps la même).
• Communes suivantes n'ayant semble-t-il pas de population 2011 : 05002 - 05020 - 05042 - 05067 - 05138- 21551 - 28042 - 49199 - 49213 - 49245 - 49303 - 49372 - 49380 - 69025 - 69041 - 69128 - 69129 - 69144 - 75056 - 76095 - 79353 - 79356 - 88282 (je n'ai pas identifié la raison). Le chiffre 0 a été mis en ligne, mais peut-être convient-il de ne rien mettre. À vérifier au cas par cas et voir quelle en est la raison.

  Toutes ces communes (hormis Paris, dont on a déjà parlé et qui est réglé) sont d'anciennes communes qui étaient bien présentes au RP2008 mais plus au RP2011. Agnières-en-Dévoluy - Bénévent-et-Charbillac - La Cluse - Les Infournas - Saint-Disdier - Bleury  Non - Melay - Montpollin - Pontigné - Saint-Martin-d'Arcé - Le Vieil-Baugé - Vaulandry - Bourg-de-Thizy - La Chapelle-de-Mardore - Mardore - Marnand - Nuelles - Bihorel  Non - Vitré - Voultegon - Le Magny . Sauf opposition, je vais supprimer la ligne 2011 et laisser comme dernière population celle de 2007, sachant, en outre, que mon bot n'est pas passé dans l'infobox pour insérer {{Dernière population commune de France}} donc qu'il y a un décalage. Enfin, je ne comprends pas la présence dans ta liste de Saint-Germain-Source-Seine d'autant que Modèle:Données/Saint-Germain-Source-Seine/évolution population n'a pas bougé. — S t a r u s – ¡Dímelo! – 16 janvier 2014 à 15:30 (CET)

  Pas de fichier de données pour Bleury, ni pour Bihorel, mais cette dernière a été recréée ce qui devrait être transparent pour l'évolution de la population. — S t a r u s – ¡Dímelo! – 16 janvier 2014 à 16:26 (CET)

  Le 1er janvier 2009, Saint-Germain-Source-Seine est rattachée à Blessey (fusion simple) qui devient Source-Seine (voir ici). Ainsi il ne doit plus y avoir de population dans le modèle à partir de 2010.Roland45 (discuter) 16 janvier 2014 à 16:42 (CET)

  Certes, mais du coup même 2010 est un peu étrange pour une commune qui a disparu en 2009, non ?

  Il faudrait actualiser Modèle:Données/Bihorel/évolution population. — S t a r u s – ¡Dímelo! – 16 janvier 2014 à 16:59 (CET)

  (conflit d'édit) Bonjour. Ce petit mot pour rappeler (cf. la discussion en PDD du projet) que si la commune de Bihorel (et idem pour Bois-Guillaume, à la suite de la « défusion » de Bihorel et Bois-Guillaume issues de la commune actuellement nommée Bois-Guillaume-Bihorel) devrait renaître de ses cendres en 2014, nous n'avons encore à ce jour vu aucune annonce au JO (voir en cliquant ici) → Wait&See ! Cordialement. AntonyB (discuter) 16 janvier 2014 à 17:04 (CET)

• Communes 76391 à 76403 à reprendre. Erreur lié à changement de script (circuits plus courts pour accélérer le traitement).
• Communes 54153 à 54276 à reprendre. Erreur lié à changement de script. Corrigé. Roland45-Bot (discuter) 16 janvier 2014 à 08:25 (CET)