7. Distributed Data warehouse

7.1 Razones de un DW centralizado

Muchas organizaciones construyen y mantienen un solo datawarehouse centralizado, lo cual tiene mucho sentido cuando:

• Los datos en el warehouse están integrados a lo largo de toda la corporación y una vista integral/central es utilizada solamente en la matriz/headquarters.
• La organización opera en un modelo de negocio centralizado.
• El volumen de datos en el datawarehouse es tal, que un repositorio central tiene sentido.
• Si los datos están dispersos y se tratara de generar un reporte accesando todos los repositorios, puede ser demasiado lento el acceso.

En otros casos, lo más adecuado seria un DW distribuido, como se menciona a continuación.

7.2 Tipos de DW Distribuidos

• El negocio está distribuido geográficamente o con muchas líneas de producción. En este caso existirá un local data warehouse y un global data warehouse. El local data warehouse representa datos y procesos en un sitio remote, y el global data warehouse representa la parte del negocio que integra lo importante del negocio.
• El ambiente del data warehouse mantendrá una gran cantidad de datos y el volumen se distribuirá en múltiples procesadores. Lógicamente existe un solo data warehouse, pero físicamente existen muchos relacionados en distintos procesadores. Esta configuración suele conocerse como Datawarehouse tecnológicamente distribuido.
• El ambiente del data warehouse crece de una manera desordenada, primero un dw, después otro, después otro. La ausencia de coordinación genera un conjunto de dw independientes, lo que se conoce como Datawarehouse distribuido independientemente evolutivo.

7.3 Local and Global Data Warehouses

Cuando una corporación está esparcida alrededor del mundo, la información se necesita tanto local como globalmente. Global se encuentra centralizada en un data warehouse donde la información es recolectada. Pero también es necesario un data warehouse local para cada organización, esto es, en cada país. En este caso la información se encontrará tanto centralizada como distribuida.

Un segundo caso ocurre cuando la compañía es muy grande y tiene muchas líneas de negocio, entonces también es conveniente tener dw locales y un global.

Veamos algunos casos ejemplo:

Distribución de una compañía que tiene varios sitios distribuidos geográficamente y una matriz o headquarter.

Muchas veces los sitios locales, solo realizan capturas y la matriz hace todo el proceso. En estos casos no es necesario tener dw locales, solamente un global.

En otros casos, los sitios distribuidos si tienen operaciones locales. En estos casos suele existir un dw local (si es necesario) y un dw global.

Resumiendo, tenemos una arquitectura general de un dw distribuido.

Flujo de la información de los sitios globales hacia el datawarehouse

• Primero se crean los dw locales

El contenido de los datawarehouses suele ser diferente porque manejan productos diferentes, además de tener aspectos particulares ej. la moneda (dólares, euros, libras, pesos)

• Posteriormente se vacía la información de los oltps locales hacia el dw global (Nota: no se usan los dw locales)

A manera de apoyo, se puede tener un "staging area" para preparar los datos con anticipación antes de enviarlos al dw global

• Algo a destacar es que los datos de los dw locales y el global, son mutuamente excluyentes. Esto debido a que el dw global generalmente solo tiene un resumen de ciertos aspectos importantes "globalmente" como pueden ser lo totales de ventas $.

7.4 Datawarehouse tecnológicamente distribuido.

Muchas veces se necesita crear un datawarehouse distribuido en muchos servidores, esto debido al volumen de datos que se manejan.

Al principio suele empezarse con 1 o 2 servidores, pero el mismo crecimiento provoca la necesidad de mayor capacidad de procesamiento y por ende que se empieza a "distribuir" la información en distintos servidores o clusters.

Las técnicas para dividir la información suelen basarse simplemente en criterios de ciertos atributos, tal como suele hacer en el "table partitioning", como pueden ser: años, ciudades, departamentos, etc.

Un problema que se tiene con el dw tecnológicamente distribuido es que muchos datos viajan por la red, lo cual congestiona la red y provoca que algunas consultas o reportes sean demasiado lentos.

7.5 Datawarehouse distribuido independientemente evolutivo.

Muchas veces el dw distribuido se da por accidente, cuando muchas partes de la compañía empiezan a crear sus propios datawarehouses de manera independiente y sin coordinación.

Aún estos dw independientes, seguramente comparten cosas en común interesantes para la compañía y habra que reunirlas en un modelo corporativo.