Datawarehouse: waar hebben we het dan over? Business Analytics niet mogelijk met een datawarehouse

Historie

In de jaren 90 was een datawarehouse de oplossing voor de benodigde en soms verplichte rapportages. Denk hierbij aan compliancy-reporting, financial reporting, etc. Bedrijven hadden meerdere administratieve systemen. Dit was veelal maatwerk en voor een specifiek doel (zoals verkoop, financiën, etc). Het was niet ongewoon dat er meerdere administratieve systemen waren met een soortgelijk doel. Om tot een eenduidige rapportage te komen moesten deze administraties met elkaar gecombineerd (en gesynchroniseerd) worden.

Een uitdagend en intensief proces, omdat er uitgezocht moest worden wat de betekenis is van de gegevens in de administratie. Bijvoorbeeld ‘salaris’: is dat netto of bruto, inclusief of exclusief vakantiegeld en ga zo maar door.

Operational Data Store (ODS)

Belangrijk was daarin hoe de gegevens tot stand kwamen en wat de definitie van een gegeven was. Dit datamanagement is cruciaal om te zorgen voor eenduidigheid in de betekenis van data en informatie. Om die discussie eenmalig te beslechten worden alle data(-items) vanuit de bron (administratie) in een Operational Data Store (ODS) geladen. Dit is een omgeving (database) die eigenlijk de gemeenschappelijke deler is van alle administraties (bronsystemen) die er in de organisatie aanwezig zijn. De organisatie heeft vervolgens besloten dat alles wat in deze (ODS) omgeving staat, de waarheid is en de organisatie vertegenwoordigt.

In het ODS wordt alle benodigde informatie voor rapportages aan elkaar gekoppeld. Hierdoor is het mogelijk om aan de rapportageverplichtingen te voldoen. Om de rapportages te versnellen, of om gemakkelijk tijdsperiodes met elkaar te vergelijken, werden er één of meerdere dimensionele modellen gerealiseerd. En zo ontstond een Enterprise Data Warehouse: EDW. Je kunt stellen dat wanneer we het over een datawarehouse hebben, we het eigenlijk over het EDW hebben. Het datawarehouse is slechts een onderdeel!

Schematisch ziet dit er als volgt uit:

EDW is een rem voor Business Analytics

We dachten het antwoord gevonden te hebben. Immers, als wij in staat zijn een EDW te realiseren, dan kunnen we tot in de lengte van dagen onze rapportage- en analysebehoefte invullen. Maar de werkelijkheid is een stuk weerbarstiger. Denk maar eens mee met een aantal uitdagingen waar we tegen aanlopen:

• De administratieve systemen wijzigen
  Wijzigingen worden toegepast in de administratieve (bron) systemen, veelal zonder te bedenken wat de impact is op het EDW en de gebruikers daarvan. Meestal moeten er correcties worden uitgevoerd in het EDW, wat complex en tijdrovend is. Gedurende deze periode kloppen de rapporten bovendien niet meer!
• Het beantwoorden van vragen leidt tot vervolgvragen
  Het EDW wordt initieel opgezet vanuit de informatiebehoefte die er is op het moment van realisatie. Nadat het EDW is opgeleverd en voorziet in die informatiebehoefte, ontstaat er vanzelf een aanvullende informatiebehoefte: “Nu ik dit weet, dan is het interessant om te weten of…”
• EDW is de vertegenwoordiging van de organisatie
  Uitgangspunt is dat de gehele informatiebehoefte moet worden afgedekt door het EDW. Wanneer er een additioneel verzoek is, dan moet de data die daarvoor nodig is te vinden zijn in het EDW. Is dat niet het geval, dan moeten we er eerst voor zorgen dat deze data wél in het EDW beschikbaar wordt gemaakt. Veelal een traject van weken, zo niet maanden.

EDW en/of datawarehouse

We moeten ons realiseren waar we vandaan komen, waarom we bepaalde standaarden hanteren en wat de reden daarvoor was. Tegelijkertijd moeten we kijken naar de huidige situatie en inzien dat sommige uitgangspunten niet meer valide zijn en onze behoefte veranderd kan zijn. Het huidige EDW is onmisbaar voor Business Monitoring (zie het eerdere artikel hierover), o.a. voor de rapportages die aansluiten op de operatie en soms een verplicht karakter hebben. De eisen voor Business Monitoring zijn nou eenmaal een stuk stringenter dan voor analytische vraagstukken.

Analytische vraagstukken vragen om flexibiliteit en snelle beschikbaarheid, waarbij het initieel niet duidelijk is of het vraagstuk een structureel karakter heeft of krijgt. Daarom kan het handig zijn om deze vraagstukken te beantwoorden zonder de eis dat alle informatie uit het EDW moet komen. Maar hoe doen we dat dan? Want de impact kan gigantisch zijn! In ons volgende artikel leggen we het jou uit.