Estruturas de DW

Para construir um DW, alguns pontos como escopo, abrangência, resultados e tempo de desenvolvimento devem ser considerados.

Dois pensadores, Inmon e Ralph Kimball, que são os grandes escritores sobre este tema, têm propostas diferentes sobre como arquitetar de um DW.

A proposta de Inmon, chamada de “Top Down”, é uma proposta que se inicia com a extração, a transformação e com a integração das informações dos sistemas operativos e dados externos para um ODS ou até diretamente das fontes operacionais. Feito isso, os dados e metadados são transferidos para o DW.

A partir do DW são extraídos os dados e metadados para os Data Marts (DM). Nos DMs, as informações estão em um maior nível de sumarização e, normalmente, não apresentam o nível histórico encontrado no DW.

Esta implementação tem como lado positivo o fato de forçar a empresa a definir regras de negócio de forma corporativa antes de iniciar o projeto do DW em si.

Vantagens:

• Herança de arquitetura: todos os DMs utilizam mesma arquitetura e dados do DW, facilitando a manutenção;
• Visão de empreendimento: o DW concentra todos negócios da empresa;
• Repositório de metadados geral;
• Controle e contralização de regras.

Desvantagens:

• Implementação muito longa;
• Alta taxa de risco;
• Equipe experiente;
• Desgastes dos gestores que esperam muito tempo por resultados.

A proposta de Kimball, chamada de “Bottom Up”, começa com a extração, transformação e a integração dos dados para um ou mais DMs, sendo estes DMs modelados, normalmente, através de um modelo dimensional.

Os projetos serão menores, independentes, focando áreas ou assuntos específicos.

Este tipo de implementação permite que o planejamento do desenho dos DMs possam ser realizados sem esperar que seja definida uma infra-estrutura corporativa para DW na empresa. Esta infra-estrutura não deixará de existir, só que ela poderá ser implementada de forma incremental conforme forem sendo realizados os DMs.

Vantagens:

• Implementação rápida;
• Retorno rápido;
• Manutenção do foco da equipe;
• Herança incremental.

Desvantagens:

• Ausência de padrões únicos de metadados;
• Perigo de Legamarts;
• Redundâncias e inconsistências;
• Com uma estrutura de múltiplos DMs, o processo de extração pode tornar-se crítico na interferência junto aos sistemas transacionais, devendo então sofrer um processo de gestão mais amplo e metodológico.

Em todos os projetos que participei de Data Warehouse, foi adotada a abordagem proposta por Kimball. Creio que as empresas hoje em dia não, devido ao dinamismo e a necessidade de informação, acabam não adotando projetos tão longos como a idéia que Inmon defende. Presenciei um projeto onde, a empresa terceirizada pelo projeto, adotou a abordagem Top Down e depois de 3 anos de desenvolvimento, não foi entregue um só report. No final das contas, a direção da empresa cancelou a parceria com esta empresa. Foi feito um Insourcing do DW e BI e adotaram-se projetos (Visões / Data Marts) menores e com retornos mais rápidos, ou seja, a abordagem Bottom Up acaba trazendo resultados mais rapidamente, o que na minha opinião, é o que os gestores querem hoje em dia.