3.3 Conception et Développement ETL

0
1315

Définition & Tâches :

La conception de la zone de préparation des données (staging area) constitue généralement la tache la plus sous-estimée du projet entrepôt de données, et pourtant c’est l’étape du projet qui consomment le plus de temps et d’efforts. Le processus de préparation se déroule en trois phases majeures : Extraction, Transformation et le Chargement (Loading).

Liste des tâches :

  1. Conception du processus ETL de haut niveau
  2. Tester, Essayer, choisir et implémenter un outil ETL
  3. Développer la stratégie d’extraction de données
  4. Développer la stratégie d’archivage des données extraites
  5. Développer la stratégie de qualité de données
  6. Développer la stratégie pour la gestion des changements dans les dimensions
  7. Développer la stratégie afin d’atteindre les obligations de disponibilité des données
  8. Concevoir le sous-système d’audit de données
  9. Concevoir la structure de la zone de préparation (staging area)
  10. Développer le plan de maintenance des hiérarchies des dimensions
  11. Concevoir un plan ETL détaillé pour chaque table
  12. Mettre en place la stratégie d’ordonnancement des travaux ETL
  13. Documenter les spécifications ETL
  14. Adhésion des utilisateurs/révision du projet
  15. Développer/Configurer le système de gestion des clés de substitution (surrogate key)
  16. Développer/Configurer le système d’audit
  17. Charger la dimension temps et les autres dimensions statiques
  18. Développer le flux de chargement de l’historique des dimensions de type 1; Tester
  19. Développer le flux de chargement de l’historique des dimensions de type 2; Tester
  20. Développer la stratégie de lookup des clés de substitutions et des faits arrivants en retard
  21. Développer le flux de chargement de l’historique des tables de faits
  22. Développer /Configurer le système de gestion du SCD
  23. Développer le flux de chargement incrémental des dimensions
  24. Développer le flux de chargement incrémental de la table de faits
  25. Créer le flux de chargement des tables agrégées vers le BD OLAP
  26. Concevoir et développer un système d’automatisation des travaux ETL
  27. Adhésion des utilisateurs/révision du projet

Rôles responsables & Impliqués dans l'étape :

Kimball design tips liés à l'étape :

kimball design tips

White Paper: An Architecture for Data Quality

In this white paper, Ralph proposes a comprehensive architecture for capturing data quality events, as well as measuring and ultimately controlling data quality in...

Subsystems of ETL Revisited

The Kimball Group has been exposed to hundreds of successful data warehouses. Careful study of these successes has revealed a set of extract, transformation,...

Slowly Changing Dimensions

The notion of time pervades every corner of the data warehouse. Most of the fundamental measurements we store in our fact tables are time...

Six Key Decisions for ETL Architectures

This article describes six key decisions that must be made while crafting the ETL architecture for a dimensional data warehouse. These decisions have significant...

Design Tip #127 Creating and Managing Mini-Dimensions

This Design Tip describes how to create and manage mini-dimensions. Recall that a mini-dimension is a subset of attributes from a large dimension that...

Design Tip #137 Creating and Managing Shrunken Dimensions

This Design Tip continues my series on implementing common ETL design patterns. These techniques should prove valuable to all ETL system developers, and, we...

Articles & astuces liés à l'étape :

Concepts & Astuces

ETL vs ELT

ETL vs ELT Que ce soit ETL ou ELT il s’agit d’extraire, transformer et Charger les données. L’extraction consiste à extraire les données à partir...

Pouquoi une clé de substitution (Surrogate Key) ?

Le modèle dimensionnel est la cible ultime de tout système ETL. Justement il permet d'alimenter les tables de faits et de dimensions. Tout système ETL...

Quadrant Magic ETL 2012

Selon le dernier Quadrant Magic ETL, version Octobre 2012, réalisé par Gartner et améliorée par toolbox.com, en mettant en évidence la comparaison entre 2011(point orange)...

Questions / Réponses :

News Forums Conception & développement ETL

1 sujet (sur un total de 1)
1 sujet (sur un total de 1)
  • Vous devez être connecté pour créer de nouveaux sujets.

Etapes de la phase : Implémentation

3.1 Conception du modèle dimensionnel

C’est la définition des besoins qui détermine quelles sont les données requises pour répondre aux besoins d’analyse des utilisateurs. La conception du modèle logique...

3.2 Conception et Implémentation du Datawarehouse

La conception physique d’une base de données définit les structures nécessaires pour l’implémentation du modèle dimensionnel. Les éléments fondamentaux sont la détermination des règles...

3.3 Conception et Développement ETL

La conception de la zone de préparation des données (staging area) constitue généralement la tache la plus sous-estimée du projet entrepôt de données, et...

3.4 Conception & Développement des Apps BI

Une fois la base de données du Data warehouse et quelques jeux de tests de données crées, on passe à l'étape de conception et...

4.1 Tests & Optimisation DW/ETL/BI

Il existe trois niveaux de tests dans tout projet informatique à savoir : Test Unitaire Test d’intégration Test complet du système Dans le cas de projets...

4.2 Déploiement & Formation

Le déploiement est le point de convergence de la technologie, des données et des applications utilisateurs. Une planification est indispensable pour gérer le déploiement...

4.3 Maintenance DW/ETL/BI

Après le déploiement initial de l’entrepôt, c’est sa vie qui commence. Il faut s’assurer de fournir un service de support et de formation continue....