Setup Processor

Le SetupProcessor est la première étape du pipeline de traitement. Son rôle est d’initialiser une nouvelle exécution en chargeant la liste des lieux à traiter et en préparant la base de données.

Fonctionnalités

• Chargement des Données Initiales : Utilise l’utilitaire CSVToPolars pour charger le fichier CSV principal contenant la liste des lieux et leurs URLs, tel que défini dans la configuration.

• Initialisation de l’ExécutionAppelle la méthode setup_execution du DatabaseProcessor pour effectuer plusieurs actions critiques :

  • Mettre à jour la table des lieux.

  • Enrichir les lieux avec des données de référence.

  • Créer un nouvel enregistrement dans la table des exécutions.

  • Préparer les enregistrements de résultats pour chaque lieu.

Usage

Ce processeur est appelé une seule fois au début de chaque exécution du pipeline pour s’assurer que l’environnement est correctement configuré avant de commencer le traitement des URLs.

Modules

class src.smart_watch.processing.setup_processor.SetupProcessor(config, logger)

Bases : object

Gestionnaire de l’initialisation (chargement CSV et DB).

__init__(config, logger)

Initialise le processeur avec la configuration et le logger spécifiés.

Paramètres:

• config (Config) – Objet de configuration contenant les paramètres nécessaires, y compris la base de données.

• logger (Logger) – Instance du logger pour la journalisation des événements.

setup_execution(db_manager)

Initialise la pipeline de configuration en chargeant le CSV depuis la configuration (variable CSV_URL_HORAIRES) et en initialisant la base de données avec les données chargées.

Étapes :

• Charge le fichier CSV : CSV_URL_HORAIRES.

• Vérifie le succès du chargement du CSV.

• Initialise la base de données avec le DataFrame obtenu.

Lève:

ValueError – Si le chargement du CSV échoue.