Sources de données

Sources de données

Description métier

Une source de données est un moyen d’importer des données dans Chouette avec :

  • des formats standards (GTFS, NeTex, Neptune)

  • le choix de la fréquence de récupération souhaitée

  • de nombreux types de source possible

Consulter les sources de données

Vous pouvez consulter la liste des sources de données créées par votre organisation dans “Espace de Travail” - Source de données” :

image-20240618-170621.png

Pour chaque source de données, sont affichés :

  • Le nom

  • L’URL utilisé

  • La date de la dernière édition

Création d’une source de données

En cliquant sur le bouton “Créer une Source de données” vous accédez à la fiche d'édition d’une nouvelle source de données :

Vous devez attribuer un nom à votre Source de données, son URL et le type de téléchargement.

Vous pouvez choisir entre plusieurs types de téléchargements :

  • Direct : lorsque l’URL peut être directement utilisé pour télécharger le fichier

  • French NAP : lorsque l’URL renvoie à un jeu de données sur la page https://transport.data.gouv.fr/

  • SFTP : lorsque le fichier se trouve sur un URL SFTP. Si besoin, l’utilisateur peut indiquer le nom d’utilisateur et le mot de passe dans l’URL : sftp://user:password@host/path/file

  • FTP : lorsque le fichier se trouve sur un URL FTP. Si besoin, l’utilisateur peut indiquer le nom d’utilisateur et le mot de passe dans l’URL : ftp://user:password@host/path/file

  • Entête d’authentification : lorsque l’URL utilise une autorisation HTTP

Pour ce dernier, l’utilisateur peut fournir la valeur de l’entête d’authentification :

Récupération Automatique

L’utilisateur peut paramétrer des options de récupération sur sa source de données.

Il peut paramétrer une récupération une fois par heure, quotidienne avec une heure définie, à des jours donnés, ou désactiver la récupération automatique.

 

Options d’importation

Quand les données sont récupérées par la source, un import se lance automatiquement.

L’utilisateur peut, sur cette page, paramétrer des options d’import :

Il est possible de définir un filtre pour sélectionner les lignes à importer en spécifiant les route_id dans le champ dédié :

 

Pour en savoir plus sur les options d’import, consultez la page : Import | Lancer un import.

Récupération manuelle

Une fois la source de données créée, il est possible de lancer une récupération manuelle des données.

Sur la page de la source de données, il suffit de cliquer sur “Récupérer maintenant”. Une récupération se lancera indépendamment des options de récupérations automatiques définies.

Lorsque la récupération est terminée, Chouette ajoute une ligne de rapport avec la date, l'état de la récupération, le message et le nom de l’import cliquable (ouvre la fiche de l’import effectué par la source).

image-20250522-100045.png

La récupération peut avoir les Statuts suivants:

  • succès

  • échec

  • en cours

Si la récupération est en succès, mais l’import est en warning ou en échec, vous pouvez cliquer sur le nom de l’import pour ouvrir sa page avec le rapport détaillé.

image-20250522-093715.png
image-20250522-093746.png

Si l’import est en échec, la finalisation automatique ne sera pas lancée.

Si le jeu de données créé ne sera pas finalisé, archivé ou supprimé, il va faire échouer les futurs imports.

Si une récupération est en échec, un message explicite va permettre de diagnostiquer le problème rencontré :

Message d'erreur

Code HTTP retourné par le service appelé

Définition

Message d'erreur

Code HTTP retourné par le service appelé

Définition

URL non trouvée

404

la ressource demandée n'a pas été trouvée

Authentification refusée

401 / 403

les informations d'authentification sont invalides ou l'accès à la ressource demandée est interdit.

URL indisponible

5xx

Erreur du serveur / du serveur d'application