Import

Owned by Anna Mamontova
Last updated: Nov 13, 2024
7 min read

Description métier

L’import permet d’enregistrer dans la base un jeu de données, selon un format au choix, pour éviter la saisie manuelle de toutes les données. Des tests de validation des données sont exécutés avant l’import en base de données (plus détaillées dans le cas du format Neptune).

Consulter les Imports

Vous pouvez consulter les imports faits par votre organisation dans le bloc “Espace de travail”.

Pour chaque import, Statut, Nom de l’import, Démarrage, Durée, Utilisateur, sont affichés.

Les imports peuvent être filtrés selon :

  • leur nom

  • nom de l’utilisateur

  • statut

  • après une date

  • avant une date

Pour chaque import, une roue dentée permet de lancer les actions disponibles (consulter, télécharger fichier source).

Vous pouvez lancer l’import d’un fichier Neptune, GTFS, NeTEx générique ou tracés.

Les données du fichier sont stockées :

  • dans le référentiel d’arrêts et de lignes

  • dans un jeu de donnée créé par l’import

Le jeu de donnée est créé avec :

  • le nom de l’import

  • la liste des lignes référencées dans le fichier

  • une période couvrant du premier jour du dernier jour des calendriers présents dans le fichier

Lancer un import manuel

Pour importer des données dans l’application, il faut cliquer sur “Nouvel import”, remplir le formulaire et choisir un fichier à importer.

L’encodage des fichiers importés doit être en UTF-8.

Chouette met à votre disposition des options suivantes :

  • Choix des destinataires de notifications

  • Finalisation automatique. Vous pouvez demander à l’import que les jeux de données créés soient finalisés automatiquement en cas de succès.

Ce lancement automatique n’est pas effectué si l’import est en échec (suite à des problèmes dans la lecture de données ou à des erreurs dans la validation automatique).

  • Archivage automatique. Vous pouvez demander à l’import d’archiver le jeu de données créé si l’import se termine en échec. Ainsi le jeu de données ne va pas bloquer un nouvel import d’un fichier corrigé qui couvre les mêmes périodes et les lignes.

  • Offre urgente. Vous pouvez demander à l’import de flaguer votre offre comme urgente, pour qu’elle soit traitée en priorité dans la suite de la chaine.

  • Vous pouvez demander à l’import de conserver les définitions XML originelles.

  • Vous pouvez demander à l’import de désactiver tous les arrêts et les lignes qui ont été importés auparavant et ne sont plus présents dans le fichier d’import actuel.

Attention, selon les données de l'import, cette option peut effectuer une désactivation massive sur les référentiels de lignes et d’arrêts. Pour réactiver les arrêts et les lignes, il va falloir les réimporter dans Chouette, soit les réactiver manuellement un par un.

  • Vous pouvez demander à l’import NeTEx de synchroniser les modèles avec les ressources.

  • Vous pouvez activer le mode strict à l’import. Tout attribut non défini dans le fichier importé sera réinitialisé (et ce même si l’attribut est présent dans Chouette)

  • Vous pouvez choisir à quel fournisseur vous voulez attribuer les lignes de votre fichier d’import

  • Vous pouvez choisir à quel fournisseur vous voulez attribuer les arrêts de votre fichier d’import

  • Vous pouvez choisir un transporteur qui doit être utilisé par défaut

 

Le type d’import est automatique par défaut pour gérer les fichiers aux formats GTFS ou Neptune.

Lorsque vous lancez une opération d’import ou d’export, une barre de progression permet de suivre l’avancement de l’opération. Cette barre est persistante. Vous pouvez cliquer sur la barre pour retourner sur les informations de l’opération en cours. Vous pouvez aussi fermer la barre (sans perturber l’opération).

Vous pouvez voir les informations sur l’import dans sa fiche.

L’import peut avoir les Statuts suivants:

  • succès

  • échec

  • en attente

  • warning

Pour que l’import d’un fichier s’effectue avec succès dans Chouette, le contenu du fichier doit passer la validation des données.

Lors de l’import, des tests sont effectués :

  • sur le respect du format (syntaxique et sémantique)

  • sur la complétude et la cohérence des relations exprimées dans le format d’échange

  • optionnellement sur la qualité des données en vue de son exploitation dans une centrale de mobilité

Une fois l’import terminé, vous recevez une notification par e-mail.

Si l’import échoue, dans la fiche d’import, vous pouvez voir les fichiers contenants des erreurs qui ont causé l’échec.

Dans le cas d’échec de l’import causé par les erreurs dans le fichier, le Jeu de données créé va contenir que les données correctes.

GTFS

Un “fichier GTFS” est un fichier ZIP contenant des fichiers CSV (un fichier par type de données : arrêts, calendriers, horaires, etc.) Reference - General Transit Feed Specification

A l’import de fichier GTFS, Chouette va traiter, dans l’ordre, les fichiers csv suivants :

  • agency.txt

  • stops.txt

  • routes.txt

  • calendars.txt

  • calendar_dates.txt

  • trips.txt

  • stop_times.txt

Chaque fichier csv doit contenir un certain nombre d’attributs, qui doivent être remplis selon le format officiel.

Voici un exemple d’un fichier GTFS typique :

NEPTUNE

Chaque fichier NEPTUNE correspond à la description d’une ligne du réseau de transport.

En général, un réseau de transport étant caractérisé par plusieurs lignes de transport, on dispose alors d’un ensemble de fichiers XML regroupés dans un fichier ZIP.

Chouette traite l’ensemble des fichiers XML présents dans la racine du fichier ZIP soumis par l’utilisateur, en les validant un par un.

Tracés

Pour importer un fichier .ZIP qui regroupe les géométries des tracés il faut définir le type d’import comme “Fichier tracé”.

NeTEx générique

Pour importer un fichier .xml au format NeTEx générique avec les arrêts, lignes, transporteurs, réseaux etc, il faut définir le type d’import comme “NetEx générique”.

Si un fichier xml de fichier NeTEx ne correspond pas aux format officiel, l’import va échouer.

Vous pouvez cocher l’option “Conserver les définitions XML originelles” pour votre import NeTEx. Ainsi Chouette stockera les ressources XML NeTEx pour les arrêts, les points d’arrêt, les lignes, les transporteurs, les réseaux et les notes de ligne, créés ou mis à jour par cet import.

Lancer un import par API

Chouette met à disposition de ses utilisateurs la possibilité d’importer ses données par une API.

La description et l’utilisation de cette API (parmi d’autres) est disponible dans de nombreux langages via notre documentation Postman.

Pour paramétrer les requêtes Postman, il faut récupérer les identifiants nécessaires sur l’interface de Chouette.

organisation_code se trouve dans la section “Mon organisation”:

La clé API doit être générée et récupérée dans la partie “Sécurité”:

Pour générer la clé pour votre espace de travail Il faut cliquer sur le bouton “Ajouter une clé d’accès API”.

L’identifiant de l’espace de travail précisé sur cette page correspond au workbench_id.

L’identifiant de l’espace de travail va vous servir de login, et le token de mot de passe pour l’autorisation Postman.

Postman permet l’utilisation de toutes les requêtes fournies si vous voulez créez votre propre espace (Voir le bouton “Run in Postman“ en haut à droite).

L’import va se lancer sur Chouette automatiquement, avec un rapport d'import correspondant. A la fin de l’import un référentiel va être créé de la même façon que pour un import manuel.

Lancer un import par ligne de commande

enRoute met également à disposition un client Chouette opensource. Une description de son utilisation est disponible sur le repository bitbucket : https://bitbucket.org/enroute-mobi/chouette-client/src/master/

Vous trouverez dans les sources la mise à disposition de deux exécutables pour Windows et Mac (Dans le menu voir “Downloads“)

Nettoyage automatique des imports obsolètes

Chouette conserve l’historique des imports ainsi que les fichiers associés.

Cette conservation est limitée dans le temps (passé un délai de 90 jours les imports sont automatiquement supprimés).