Consolidarea datelor Definiție

Consolidarea datelor este un proces de capturare a datelor din mai multe surse și integrarea informațiilor într-o singură sursă de date, persistente pentru utilizarea de către abonați într-o întreprindere. Consolidarea datelor este o parte a trei tehnici de la integrarea datelor celelalte două fiind de propagare a datelor și a datelor Federației. propagarea datelor este procesul de replicare a datelor din diferite surse, în locații diferite, iar federația de date permite vizualizarea virtuală unificată a fișierelor de date sursă. Tehnologiile de consolidare de date includ și ELT ETL.

Extract, Load, Transform (ELT) definește un proces în care arhitectura sistemului transformă o cantitate mai mare parte a datelor, după ce datele au fost încărcate într-o bază de date țintă. După datele brute este încărcat, acesta este transformat și trimis la tabele în cazul în care acestea pot fi accesate de către utilizatorii finali individuali. Sistemele ELT sunt clasificate ca "trage sisteme" deoarece transformarea datelor este inițiată la cerere, prin instrucțiuni de utilizator final sau prin programe de publicare predefinite. ELT permite utilizatorilor să lucreze pe datele transformate și publicate, în cazul în care informația este "tras" după ciclul de încărcare.

Extract, Transform, Load (ETL) este o alta tehnica de consolidare a datelor care extrage date din una sau mai multe surse, transformă datele în conformitate cu normele prescrise și apoi încarcă datele rezultate în sistemele țintă sau formate de fișiere specificate. ETL, spre deosebire de ELT, transformă datele înainte de a ciclului de încărcare, ceea ce înseamnă că datele sunt raționalizate, reformulat, standardizate, agregate sau supus oricărei alte reguli de manipulare a datelor stabilite de către conducere, înainte de a fi alimentat la o interfață de utilizator final.

Extracția este prima etapă în ambele tehnologii de consolidare a datelor. Datele de extracție pot fi de volume foarte mari, din surse multiple eterogene. Extracția poate fi de la baze de date relaționale, ierarhice și obiect, sistemele RFID, documente XML, servicii web și aplicații ambalate, inclusiv SAP și PeopleSoft. În plus, extracția poate fi efectuată pe fișiere cu informații structurate și nestructurate, și pot fi, de asemenea, incluse date externe achiziționate din surse externe, în funcție de relevanța industriei și a datelor.

In sistemele si ELT ETL, etapa de transformare pot fi foarte variate, de la proceduri simple, cum ar fi fișiere sau tip conversii, la operații complexe, cum ar fi manipularea și integrarea bazată pe logică. Transformarea datelor este o caracteristică foarte robust de ELT și a sistemelor de ETL, care să permită întreprinderilor să transmită informații în timp util, relevante pentru manageri și supervizori lor pentru o mai bună luare a deciziilor. Transformarea permite întreprinderilor de personalizare a datelor și de a produce informații adaptate pentru uz intern. În funcție de industrie, și domeniul de aplicare și volumul de afaceri, companiile pot eficientiza procesul de transformare sau de a efectua operațiuni complete cu privire la datele colectate.

Se încarcă se referă la transferul de date la o aplicație țintă. În cazul ELT, datele încărcate sunt neprelucrate, dar în ETL, datele sunt încărcate după ce au fost prelucrate. Etapa de încărcare, în ambele sisteme pot fi modificate pe baza valorilor de recepție a datelor, permițând ambelor moduri în vrac și prelinge pentru fiecare element de date în fiecare ciclu de încărcare. Alegerea unui mod de vrac sau trickle în încărcarea datelor depinde accentul pe latență de date pentru procesul de integrare, în cazul în care modul prelinge sugerează o importanță mai mare pe minimizarea latență.