Informatika | Adatbázisok » Dr. Horváth Gábor - Klasszikus adattárházak

INFORMATIKAI PROJEKTELLENŐR 30 MB Dr. Horváth Gábor KLASSZIKUS ADATTÁRHÁZAK 2017.0323 MMK- Informatikai projektellenőr képzés Tartalom • Elemző Adatbázisok • Az adattárházak komponensei • • • • • • • • • Adatmodell Adatbázis-kezelő ETL Front-end : BI eszköz Operatív döntéstámogatás: kimenő interfészek Adatbányász eszköz Meta-adat kezelés és „data governance” Jogosultság-kezelés, adat biztonság Egy kis kitekintés: Klasszikus adattárházak és Big Data Architektúrák • Az adattárház projekt főbb elemei • Agilis módszerek alkalmazása az adattárház projektekben • Az adattárház projektek sikerességének alapjai 2017.0323 MMK-Informatikai projekt ellenőr képzés 2 Informatika Elemző adatbázisok OLTP vs Elemző adatbázisok 2017.0323 • A tranzakciós rendszerek működésének „melléktermékei” az adatok. Ez a vállalat „az adatvagyona”. Az tranzakciós adatok felhasználása : VIR,

MI és egyéb elemzések • Más funkció • Más típusú adatbáziskezelés • Más adatmodell • Más hardver környezet MMK-Informatikai projekt ellenőr képzés 3 A vállalati adatvagyon részei Exabytes Petabytes Terabytes User Generated Content Social Network User Click Stream Mobile Web Sentiment Web Logs Dynamic Pricing Offer History A/B Testing Offer Details Segmentation Gigabytes Purchase Detail Purchase Record ERP Payment Record WEB BIG DATA External Demographics Business Data Feeds Affiliate Networks HD Video Search Marketing Speech to Text Customer Touches Behavioral Targeting Product/ Service Logs Support Contacts Dynamic Funnels SMS/MMS CRM INCREASING Data Variety and Complexity DECREASING Value Density in the Data 2017.0323 MMK-Informatikai projekt ellenőr képzés 4 Az adattárházak komponensei 2017.0323 MMK-Informatikai projekt ellenőr képzés 5 Az adattárházak adatarchitektúrája, adatfolyam Stage System

of Records/ DW Aggregációk Adatpiacok Források 2017.0323 MMK-Informatikai projekt ellenőr képzés 6 Az adattárházak adatarchitektúrája, adatfolyam STAGE • • • • • DW • • • • • • • • • DM • • • • • 2017.0323 forrásrendszerrel megegyező tárolási struktúra forrásadatok többnyire napi táblapartíciókban adatfogadás vagy beszerzés forrásadatok változtatásmentes archiválása Teljes újratöltés lehetősége egységes üzleti adatmodell helyettesítő kulcs képzése forrás természetes kulcsainak tárolása történeti adattárolás elsődleges, egyedi és idegen kulcsok beállítása forrásrendszeri fix értékkészletek egységes tárolása forrásoldali fizikai törlés kezelése szótár-, törzs-, kapcsoló- és esemény típusú táblák technikai mezők: OBJ TIPUS, FORRAS AZON 15 helyettesítő kulcs megtartása különböző aggregáltsági szint több rétegen keresztül újrafuttathatóság a folyamatos

bővítések miatt aggregátumok üzleti paraméterezés alapján helygazdálkodás kérdése, visszamenőleges adattárolás MMK-Informatikai projekt ellenőr képzés 7 Informatika Adatpiac és adattárház: Adatarchitektúrák 2017.0323 MMK-Informatikai projekt ellenőr képzés 8 Informatika Adatpiac és adattárház: Adatarchitektúrák 2017.0323 MMK-Informatikai projekt ellenőr képzés 9 Informatika Adatpiac és adattárház : adatarchitektúrák – tervezési szempontok • • • • • • 2017.0323 Elemzési célok sokrétűsége Az elemzési adatbázis szerepe a vállalati architektúrában A felhasználók széleskörűsége, típusai, száma Az elemzendő adatok (forrásrendszerek ) száma Adatbázis méret, history .stb MMK-Informatikai projekt ellenőr képzés 10 Az adattárházak komponensei: adatmodell • • • • • 2017.0323 Relációs vs. dimenzionális „Kész adatmodellek” vs. „custom developed” Az adatmodell

karbantartása„házon belülre” vs. szállítónál Adatmodellező team : rend vs. szűk keresztmetszet CASE eszköz használata – metaadat kezelés MMK-Informatikai projekt ellenőr képzés 11 Az adattárházak komponensei: adatbázis kezelés Egyszeri bulk insert No update Select Időkezelés Particionálás Párhuzamos felhasználás Real-time igény Index kezelés Index vs full table scan Jogosultság kezelés Tuningolás, adminisztráció Shared everything vs shared nothing vs in memory Appliance megközelítés 2017.0323 MMK-Informatikai projekt ellenőr képzés 12 Az adattárházak komponensei: ETL ETL eszközök vs „kézzel írt kódok” - ODI - Informatica - IBM DataStage - SAS - Talendstb - „Custom developed” Tervezési szempontok – meta-adat kezelés CASE eszközök használata: Enterprise Architect, Powerdesigner Ütemező modul ETL eszköz kiválasztás szempontjai: - funkcionalitás - ár - szakemberek elérhetősége 2017.0323

MMK-Informatikai projekt ellenőr képzés 13 Az adattárházak komponensei: ETL - ETL folyamat minősége függ Épített adatmodell minőségétől Mappelés minőségétől Betöltési folyamatvezérlés és naplózás teljességétől 2017.0323 MMK-Informatikai projekt ellenőr képzés 14 Az adattárházak komponensei: ETL • • • • • • • • • • • • • Fejlesztő eszköz független formalizált tervezés Egységes meta adatok képzése Egységes adatmodellre és kulcsolási mechanizmusra épülő mappelés Futtatható kód generálás az adatbázisban ill. interface-en keresztül A generálási folyamat hátterét egy adatbázis objektumokból álló alkalmazás adja, ami a paraméterezésnek megfelelő mappingeket állít elő. History képzése : •egyedi kulcs alapú history képzés standard mezők felhasználásával •history kezelt mezők meghatározása automatikusan - dictionary alapján •céltáblával azonos szerkezetű

munkatáblák használata Fizikai mapping a logikai mapping alapján könnyen elkészíthető DW töltése egyszerűbb DM töltése aggregáltsági szinttől függően több lépésben valósítható meg Mapping logikák egymásba ágyazhatók Bonyolultabb forráslekérdezések nézetbe rendezhetők Generált kód kézi továbbfejlesztése kizárja a központi meta adattár további használatát Újraindítható kódok 2017.0323 MMK-Informatikai projekt ellenőr képzés 15 Az adattárházak komponensei: ETL A tervezés előtt a fizikai modell ismeretén kívül szükséges a betöltés szabványainak és névkonvencióinak definiálása. Adatbázis objektumokból álló generálási folyamat háttér, háromszintű paraméterezés: -Alapadatok definiálása 1.Map neve, csoportja 2.Céltábla és tulajdonosa, alias 3.Töltés típusa: DELTA/FULL History képzés típusa 4.SQL paraméterezés/hintek -Forrástáblák és kapcsolatok definiálása 1.Forrás táblák,

tulajdonosok, aliasok 2.Forrásként használt táblák kapcsolási feltételei: JOIN Halmazműveletek DISTINCT Analitikus függvények használata 3.Filterek megadása 4.SQL paraméterezés (hintek) 5.Automatikus forrás struktúra forgatások – tipikusan DM töltéskor aktuális és history adatok együttes használata (ACT HIST FL = ’I’) -Mezőszintű mappelés 1.Forrás-cél mezőpárok 2.History képzés egyedi kulcs alapján 3.Helyettesítő kulcs képzése szekvenciából egységes rövidnevek alapján 4.Lookup kapcsolatok egyszerű paraméterezése forrás objektumok és idegen kulcsok alapján 2017.0323 MMK-Informatikai projekt ellenőr képzés 16 Az adattárházak komponensei: Operatív döntéstámogatás – kimenő interfészek i) Bejövő interfészek : file, „db-link”, „connectors”, SOA megközelítés szerepe. Szabványok kialakítása ii) Kimenő interfészek : illeszkedés a SOA architektúrába Adattárház funkciók vs. Core

rendszer funkciók: • „A DWH túlnő az „eredeti” terjedelmén • Rugalmasabban lehet fejleszteni mint a Core rendszereket • Integrált adatok szükségesek • Historikus adatok szükségeke • Integrált és historikus adatok szükségesek • Vállalati szintű „adat architektúra” • Rövid távú határidők vs. „rend” 2017.0323 MMK-Informatikai projekt ellenőr képzés 17 Az adattárházak komponensei: BI eszköz 2017.0323 MMK-Informatikai projekt ellenőr képzés 18 Az adattárházak komponensei: adatbányászat 2017.0323 MMK-Informatikai projekt ellenőr képzés 19 Az adattárházak komponensei: metaadat kezelés, adatminőség, data governance i) Átláthatóság – üzleti meta-adatok ii) Értékkészletek és hierarchiák karbantartása iii) Auditálhatóság – technikai meta-adatok iv) Adatminőség – automatikus ellenőrzések / hibák javítása v) Meta-adat kezelési architektúra -- rajz vi) Data governance – az

adattárházakat menedzselő szervezet és folyamatok szerepe 2017.0323 MMK-Informatikai projekt ellenőr képzés 20 Mapping szabályok Üzleti definíciók Target Adatmodell Ütemezési meta-adatok Forrás adatmodell Meta-adat repository Adatminőségi szabályok Ütemező eszköz Info portál ETL eszköz ETL program Adatminőség ellenőrzés 2017.0323 MMK-Informatikai projekt ellenőr képzés 21 Sal esLT .Di m Customer Geography Key = Geography Key Customer Key CustomerID Geography Key NameStyl e T i tl e Fi rstName Mi ddl eName LastName Suffi x CompanyName Sal esPerson Emai l Address Phone PasswordHash PasswordSal t AddressLi ne1 AddressLi ne2 meta Val i dFrom Date meta Val i dT o Date meta Status Fl ag . numeri c(10) i nt numeri c(10) bi t nvarchar(8) nvarchar(50) nvarchar(50) nvarchar(50) nvarchar(10) nvarchar(128) nvarchar(256) nvarchar(50) nvarchar(25) varchar(128) varchar(10) nvarchar(60) nvarchar(60) dateti me dateti me ti nyi nt <pk>

<fk> Sal esLT .Fact ProductModel Descri pti on ProductDescri pti on Key Product Key Cul ture Descri pti on . Sal esLT .Di m Geography numeri c(10) nvarchar(30) nvarchar(50) nvarchar(50) nvarchar(15) dateti me dateti me ti nyi nt Sal esLT .Di m Product Sal esLT .Fact Sal esOrder <pk> Geography Key = Shi pT o Address Key Geography Key = Bi l l T o Address Key Sal esLT .Di m Date DateKey Ful l DateAl ternateKey DayNumberOfWeek Engl i shDayNameOfWeek Hungari anDayNameOfWeek DayNumberOfMonth DayNumberOfYear WeekNumberOfYear Engl i shMonthName Hungari anMonthName MonthNumberOfYear Cal endarQuarter Cal endarYear Cal endarSemester Fi scal Quarter Fi scal Year Fi scal Semester meta Val i dFrom Date meta Val i dT o Date meta Status Fl ag . numeri c(8) date ti nyi nt nvarchar(10) nvarchar(10) ti nyi nt smal l i nt ti nyi nt nvarchar(10) nvarchar(10) ti nyi nt ti nyi nt smal l i nt ti nyi nt ti nyi nt smal l i nt ti nyi nt dateti me dateti me ti nyi nt <pk> <ak>

2017.0323 DateKey = OrderDate Key DateKey = DueDate Key DateKey = Shi pDate Key Sal esOrder Key Sal esOrderID Sal esOrderDetai l ID Product Key Customer Key Shi pT o Address Key Bi l l T o Address Key OrderDate Key DueDate Key Shi pDate Key OrderQty Uni tPri ce Uni tPri ceDi scount Li neT otal Revi si onNumber Status Onl i neOrderFl ag Sal esOrderNumber PurchaseOrderNumber AccountNumber Shi pMethod Credi tCardApproval Code SubT otal T axAmt Frei ght T otal Due Comment meta LastModi fi cati on Date meta Status Fl ag . <pk> <fk> Product Key = Product Key Customer Key = Customer Key Geography Key Ci ty StateProvi nce CountryRegi on Postal Code meta Val i dFrom Date meta Val i dT o Date meta Status Fl ag . numeri c(10) numeri c(10) nchar(6) nvarchar(400) numeri c(10) i nt i nt numeri c(10) numeri c(10) numeri c(10) numeri c(10) numeri c(8) numeri c(8) numeri c(8) smal l i nt money money money ti nyi nt ti nyi nt bi t nvarchar(25) nvarchar(25) nvarchar(15) nvarchar(50)

varchar(15) money money money money nvarchar(max) dateti me ti nyi nt <pk> <fk4> <fk1> <fk2> <fk3> <fk5> <fk6> <fk7> Product Key = Product Key Product Key ProductID Name ProductNumber Col or StandardCost Li stPri ce Si ze Wei ght ProductSubCategory Key Sel l StartDate Sel l EndDate Di sconti nuedDate T humbNai l Photo T humbnai l PhotoFi l eName Product Model Name Catal ogDescri pti on meta Val i dFrom Date meta Val i dT o Date meta Status Fl ag . numeri c(10) i nt nvarchar(50) nvarchar(25) nvarchar(15) money money nvarchar(5) deci mal (8, 2) numeri c(10) dateti me dateti me dateti me varbi nary(max) nvarchar(50) nvarchar(50) XML dateti me dateti me ti nyi nt <pk> <fk> ProductSubCategory Key = ProductSubCategory Key Sal esLT .Di m ProductCategory ProductSubCategory Key ProductSubCategoryID ProductSubCategory Name ProductCategory Name meta Val i dFrom Date meta Val i dT o Date meta Status Fl ag . numeri c(10) i nt

nvarchar(50) nvarchar(50) dateti me dateti me ti nyi nt <pk> <ak> MMK-Informatikai projekt ellenőr képzés 22 Adatminőség biztosítás egy lehetséges módja Adatminőségi riportok Stage - Hibás adatok kezelése - Hogyan töltsük? - Mit ne töltsünk? - Speciális esetek pl: - Banki környezetben kötelező jelentések DWH Javítások a DWH-ban (adattárház hibák) Adattisztító alkalmazás Adatminőségi riportok Javítások a forrásrendszerekben 2017.0323 MMK-Informatikai projekt ellenőr képzés 23 Az adattárházak komponensei: jogosultság kezelés és adatbiztonság i) Jogosultsági szintek ii) Érzékeny adatok iii) Üzemeltetés – fejlesztés – környezetek 2017.0323 MMK-Informatikai projekt ellenőr képzés 24 Az adattárházak komponensei: Klasszikus adattárház és Big Data 2017.0323 MMK-Informatikai projekt ellenőr képzés 25 Az adattárházak komponensei: Klasszikus adattárház és Big Data 2017.0323

MMK-Informatikai projekt ellenőr képzés 26 Az adattárház projektek főbb elemei • • • • • • • • • • • • • • • • Üzleti követelmény felmérés IT követelmény felmérés Jogosultság kezelés Tesztelés tervezés Meta-adat tervezés Adatmodellezés ETL tervezés Logikai mapping - BA Fizikai mapping - fejlesztés Adatbázis fizikai terv Üzemeltetés tervezés Tesztelés Adatpiac tervezés (adatmodellezés, riport tervezés, logikai, fizikai map, riport fejlesztés tesztelés) Szervezet kiépítés Oktatás 2017.0323 MMK-Informatikai projekt ellenőr képzés 27 Tipikus adattárház projekt szervezet Projekt Irányító Bizottság Projekt Szponzor Kulcs Stakeholderek PM DW Architect / Technikai vezető Üzleti elemző Team Üzleti elemzők/ Tesztelők Adatmodellező(k) ETL Team BI Team ETL Fejlesztők/ Tesztelők BI Fejlesztők/ Tesztelők Üzemeltetés Team DBA Release Manager ETL Üzemeltetés 2017.0325 MMK-Informatikai

projekt ellenőr képzés Rendszer Admin28 Agilitás az adattárház építésben Back-end: töltési megközelítés: „vigyünk mindent”, modellezzük ami kell Front-end : klasszikus agilis módszerek: SCRUM, „prototípus” - Megfelelő BI eszközök – Klasszikus Bi eszközök vs „önkiszolgáló BI” - „Sand-box” az éles környezetben 2017.0323 MMK-Informatikai projekt ellenőr képzés 29 Mitől sikeres egy adattárház projekt - Terjedelem : ne lőjünk nagyra de legyen hosszú távú víziónk – rugalmasság, időtállóság a legfőbb tervezési szempont - Megfelelő szervezet / data governance - Az üzlet és az IT szoros együttműködése : „nem kínai fal”, üzleti célok vs IT költségek - Agilitás - Szponzor - Több beszállító vs. Egységes adattárház építési módszertan (monopólium vs verseny) - Ügyfél – beszállítók partnersége (Saját szervezet vs beszállítók) - Kulcs ügyfél oldali pozíciók: - PM -

Adatmodellező - „Data steward” - BI helpdesk - Üzemeltetés - Adatminőség biztosítása - Tesztelés tervezése időben 2017.0323 MMK-Informatikai projekt ellenőr képzés 30 Köszönöm a figyelmet! 2017.0323 MMK-Informatikai projekt ellenőr képzés 31