EXTRACTION - Gérer les connexions (Native, ODBC, Connecteur spécial...) - Détecter les changements (Change Data Capture, CRC, log miner) - Analyser les données (propriété des colonnes, clés primaires,règles de gestion) - Appliquer les tests à la volée à tous les flux de données pour déceler des problèmes de qualité de données; - Faire appel au système de nettoyage de données si le cas se présente; - Alimenter le système de gestions des erreurs; - Surveiller et détecter les erreurs en temps réel; - Automatiser la reprise après erreur ; - Traiter les messages reçus du système de gestion de la qualité de données. - Produire des tableaux de bord et des rapports d’audit pour tous les processus ETL en exécution incluant les horodates, les nombres d’enregistrements traités, les erreurs, les actions réalisées par le moteur ETL -Gérer les erreurs; -Aviser les personnes concernées; -Journaliser les erreurs
| TRANSFORMATION - Analyser les données (propriété des colonnes, clés primaires,règles de gestion) - Analyser les noms et adresse des personnes et organisation; - Dé dupliquer les données (Le même client peut provenir de plusieurs systèmes); - Utiliser les techniques de fusion (Merge); - Gérer les clés d’affaires au niveau des systèmes source; - Identifier et renforcer les attributs des dimensions conformes; - Identifier et renforcer les attributs des faits conformes; - Assembler le metadata concernant le chargement de chaque table de fait dans une dimension d’audit; - Attacher la dimension d’audit à la table de fait comme une dimension normale. - Surveiller et détecter les erreurs en temps réel; - Automatiser la reprise après erreur ; - Traiter les messages reçus du système de gestion de la qualité de données. - Produire et gérer d’une façon centralisée les clés de substitution (dimension et fait) ; - Être indépendant de la base de données. - Gérer les trois types de Slowly changing dimension (SCD) (Type1 : Écraser, Type 2 : Nouvel enregistrement, Type 3 : Nouvelle colonne) - Insérer et mettre à jour des données associées (fait ou dimension) à une dimension que l’on reçoit en retard - Créer et gérer les dimensions à hiérarchie fixe - Créer est gérer les dimensions à hiérarchie variables - Créer et gérer les tables associatives utilisées pour décrire les relations many-to-many entre les dimensions ou entre les faits et les dimensions - Créer et gérer les junk dimension - Remplacer les clés d’affaires par les clés de substitution - Insérer et mettre à jour des enregistrements de fait qui arrivent en retard - Créer et maintenir des structures d’agrégation qui sont utilisées conjointement avec le mécanisme du Query-Rewrite; - Inclure les vues matérialisées - Maintenir en mémoire seulement les partitions des données des faits qui arrivent depuis la dernière mise à jour - Répliquer les dimensions conformes à partir d’un emplacement centralisé vers le fournisseur des tables de fait. - Utiliser les dimensions conformes transmises par le système de gestion des dimensions . - Substituer les clés étrangères; - Vérifier les versions des dimensions -Gérer les erreurs; -Aviser les personnes concernées; -Journaliser les erreurs |
CHARGEMENT - Surveiller et détecter les erreurs en temps réel; - Automatiser la reprise après erreur ; - Traiter les messages reçus du système de gestion de la qualité de données. - Insérer et mettre à jour les tables de faits au niveau du grain; - Manipuler les indexes et les partitions; - Utiliser le gestionnaire des lookup - Insérer et mettre à jour d’une façon périodique les tables de fait dans le détail du niveau de grain. - Mettre à jour des tables de faits cumulatives - Créer et gérer la fondation du schéma en étoile pour alimenter les cubes dimensionnels (Cubes OLAP); - Préparer les hiérarchies pour alimenter les cubes selon la suite BI utilisée. - Produire des tableaux de bord et des rapports d’audit pour tous les processus ETL en exécution incluant les horodates, les nombres d’enregistrements traités, les erreurs, les actions réalisées par le moteur ETL -Gérer les erreurs; -Aviser les personnes concernées; -Journaliser les erreurs |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||