Moissonnage DCAT par data.gouv.fr

Suite à l'arrêt de geo.data.gouv.fr, un serveur DCAT compatible avec le modèle du moissonneur DCAT de data.gouv.fr a été développé grâce à un financement tripartite du département du Loiret, du Calvados et de la ville de Bayonne.

Prérequis

Afin que vos données puissent être remontées sur data.gouv.fr, il faut qu'elles remplissent plusieurs critères :

  • avoir une licence ouverte et indiquer qu'il n'y a aucune limitation au sens INSPIRE (voir gérer les CGUs) ;
  • être dans un catalogue partagé au serveur DCAT et à l'OpenCatalog
  • contenir au moins un lien de téléchargement opérationnel. Les liens de téléchargement reconnus sont :
    • lien vers un service WFS capable de délivrer la donnée au format GeoJSON en WGS84 (4326) : voir affecter un service WFS ;
    • lien vers des fichiers de données vecteur (GeoJSON, Shapefile Zippé et Geopackage), raster (ECW, JPEG2000 et GeoTIFF) ou tabulaire (csv, xls et xlsx) : voir affecter un lien de téléchargement.

En mode on-premises, l'URL du DCAT doit être rendue accessible publiquement.

Liste des champs complétés

Champs data.gouv.frChamps Isogeo
TitreTitre
AcronymeNon rempli
DescriptionMélange de plusieurs champs
Mots-clésMots-clés et Thématiques
LicenceConditions
Couverture spatialeNon récupéré par le moissonneur
Couverture temporellePériode de validité
Fréquence de mise à jourFréquence de mise à jour
Identifiant distantIdentifiant unique Isogeo
URINon rempli (saisi par data.gouv)

Description

La description est formatée de la manière suivante :

Description : Résumé

Contexte de collecte : Contexte de collecte de la donnée (s'il existe)

Méthode de collecte : Méthode de collecte de la donnée (si elle existe)

Attributs : tableau contenant le nom du champ, l'alias (ou le commentaire en base) et le type.

Pour plus d’informations, consultez la métadonnée sur le catalogue Isogeo (lien OpenCatalog).

Fréquence de mise à jour

La fréquence de mise à jour est saisie selon cette correspondance :

Isogeodata.gouv
Toutes les heuresToutes les heures
Toutes les 6 heuresQuatre fois par jour
Toutes les 12 heuresDeux fois par jour
Tous les joursQuotidienne
Tous les 3 joursDeux fois par semaine
Toutes les semainesHebdomadaire
Toutes les 2 semainesToutes les deux semaines
Tous les moisMensuelle
Tous les 2 moisBimestrielle
Tous les 3 moisTrimestrielle
Tous les 4 moisTrois fois par an
Tous les 6 moisSemestrielle
Tous les ansAnnuelle
Tous les 2 ansBiennale
Tous les 3 ansTriennale
Tous les 5 ansQuinquennale
Autre fréquenceInconnu

Pour alimenter la fiche data.gouv en ressource téléchargeable, plusieurs types de liens peuvent être remontés.

  • lien vers un fichier téléversé dans Isogeo (hosted)
  • lien vers des fichiers de données vecteur (GeoJSON, Shapefile Zippé et Geopackage), raster (ECW, JPEG2000 et GeoTIFF) ou tabulaire (csv, xls et xlsx) en tant que lien de donnée avec l’action téléchargement
  • lien vers un service WFS
    • le nombre d’entités doit être inférieur au seuil du serveur carto (paramètre MaxRecordCount=1000 par défaut pour ArcGIS Server, paramètre nombre maximal d'objets pour Geoserver etc..)
    • le système de coordonnées 4326 doit être disponible dans les capacités
    • le format d’export Geojson également

Génération et suivi des jeux de données valides

  1. Pour générer un nouveau lien de moissonnage, aller dans Administration, Partages puis Nouveau;
  2. Choisir ensuite l'application DCAT, un catalogue et un Nom pour le partage;
  3. Cliquer sur Créer;
  4. Un lien est automatiquement généré, c'est celui-ci qu'il faudra référencer dans data.gouv.fr.
Génération de l'URL DCAT
Fig. 97 : Génération de l'URL DCAT

En ajoutant /debug-page à l'url, vous pouvez consulter les jeux de données valides (en vert) qui seront effectivement remontés par le moissonneur et les jeux de données invalides (en rouge) qui ne seront pas remontés.

Suivi des jeux de données valides
Fig. 98 : Suivi des jeux de données valides

Pour information, les fiches de services et les fiches de données qui ne disposent pas de lien de téléchargement respectant les prérequis ci-dessus sont considérées comme invalides.

Compte et organisation sur data.gouv.fr

  1. Créer un compte sur data.gouv.fr

    Pour créer un compte ou se connecter : https://www.data.gouv.fr/login. Il est recommandé de créer un compte directement sans l'interface d'un réseau social.

    data.gouv.fr - Inscription/connexion

  2. Créer / rejoindre une organisation sur data.gouv.fr

    Pour cela, il faut passer par l'administration de son profil : https://www.data.gouv.fr/fr/admin/organization/new/. Si elle existe déjà, faites une demande pour la rejoindre.

    data.gouv.fr - Organisation


Référencement et moissonnage du flux DCAT

  1. Ajouter un nouveau moissonneur

    Une fois votre flux DCAT créé dans Isogeo, ajouter un nouveau moissonneur depuis l'interface d'administration de data.gouv.fr

    Créer un nouveau moissonneur

  2. Sélectionner votre organisation

  3. Compléter les champs requis et cliquer sur Suivant

    Configurer le nouveau moissonneur

  4. Un message vous indiquant que votre moissonneur doit être validé par l'équipe d'administration est affiché. Cliquer sur "Voir dans l'administration"

    Validation du DCAT

  5. Cliquer sur "Editer", puis "Editer"

    Edition du DCAT

  6. Tester le moissonnage en cliquant sur "Prévisualiser" et vérifier le nombre de jeux de données validés.

    Prévisualisation des résultats du moissonnage Si une donnée semble ne pas être disponible, revérifier les prérequis puis contacter l'équipe data.gouv.fr.

  7. Vérifier le moissonnage

Une fois le moissoneur validé, vous pouvez consulter les différentes opérations de moissonnage réalisées, celui-ci étant lancé quotidiennement. Résultats des moissonnages

results matching ""

    No results matching ""