Business Intelligence - Data Warehouse

  • Published on
    25-Dec-2014

  • View
    93

  • Download
    7

DESCRIPTION

Conhecimentos sobre projeto e modelagem de um Data Warehouse.

Transcript

  • 1. GRADUAO Tecnologia em Gesto da Tecnologia da Informao Administrao de Banco de Dados Criao e Manuteno de Data Warehouse Prof. Rudson Kiyoshi Souza Carvalho rudson.carvalho@gmail.com Parte 1 Verso 1.0 Setembro/2014 1
  • 2. Ementa Projeto para a manipulao de tabelas e extrao de informaes, criao, manuteno, depurao e gerao de informaes de apoio tomada de deciso. Criao e manuteno de Data Warehouse. Tecnologia em Gesto da Tecnologia da Informao 2
  • 3. Obje?vo Tecnologia em Gesto da Tecnologia da Informao 3 Colocar disposio do aluno conhecimentos sobre projeto e modelagem de um Data Warehouse.
  • 4. Contedo Program?co Tecnologia em Gesto da Tecnologia da Informao 4 Modelagem EnUdade-Relacionamento Manuteno de Tabelas Modelagem para Data Warehouse Projeto de Data Warehouse e CRM Ambiente de Data Warehouse Processos e Ferramentas para Modelar um Data Warehouse Arquiteturas de Data Warehouse Granularidade de Dados Modelagem de Dados para Data Warehouse Dimenses Modelos Floco de Neve x Modelo Estrela Banco de Dados MulUdimensionais Manuteno de Dimenses UUlizando Ferramenta de Data Warehouse Roteiro de Modelagem para Data Warehouse Metadados
  • 5. Sistema de Avaliao Tecnologia em Gesto da Tecnologia da Informao 5 Primeira Avaliao Peso 4 Segunda Avaliao Peso 6 Critrio do Professor Prova Escrita Oficial PrUcas: 3.00 PrUcas: 3.00 Tericas: 7.00 Tericas: 7.00 Total: 10.00 Total: 10.00
  • 6. Avaliao Tecnologia em Gesto da Tecnologia da Informao 6 T1 Apresentao em Grupo + P1 - Prova Terica T2 ArUgo + P2 - Prova Terica T1 e T2 Trabalhos em Grupo at 4 parUcipantes (T1 + P1) * 0.4 + (T2 + P2) * 0.6 = Nota Final
  • 7. Avaliao Tecnologia em Gesto da Tecnologia da Informao 7 Trabalho 1 Tema 1: Sistemas de Gesto Empresarial (ERP) Tema 2: Sistemas de Gesto do Relacionamento com o Cliente (CRM). Apresentado em sala de aula (at 20 minutos de apresentao). Todos devero realizar a apresentao.
  • 8. Avaliao Tecnologia em Gesto da Tecnologia da Informao 8 Contedo do Trabalho (apresentao): Informaes e histrico do fornecedor; CaractersUcas de negcio do produto; Mdulos oferecidos; CaractersUcas funcionais do produto; Informaes sobre a implementao; Casos de implementao; Market share do fornecedor; Consideraes do grupo sobre o produto e o fornecedor.
  • 9. Tecnologia em Gesto da Tecnologia da Informao 9 Conceitos Fundamentais
  • 10. TI vs Negcio Existe carncia, nos dias atuais, de gestores de TI que realmente apoiem as diversas reas da organizao, levando inovaes que gerem valor em um modelo de PARCERIA entre a TI e as demais reas de negcio. Tecnologia em Gesto da Tecnologia da Informao 10 Tecnologia da Informao rea de Negcios
  • 11. Valor dos Dados Tecnologia em Gesto da Tecnologia da Informao 11
  • 12. Dado X Informao x Conhecimento x Sabedoria Tecnologia em Gesto da Tecnologia da Informao 12 Pensem no DADO com um mero pingo de gua Estamos andando na rua e senUmos um pingo cair em nossa cabea. Ser que este pingo, representa chuva?
  • 13. Dado X Informao x Conhecimento x Sabedoria Tecnologia em Gesto da Tecnologia da Informao 13 E se ao olharmos para o cu, percebemos que existem nvens? E se notarmos os primeiros pingos caindo? E se notarmos alguns raios? Chegamos a informao que vai chover.
  • 14. Dado X Informao x Conhecimento x Sabedoria Tecnologia em Gesto da Tecnologia da Informao 14 O conhecimento quando percebemos que com a chuva ns vamos nos molhar e talvez no consigamos chegar a tempo num compromisso.
  • 15. Dado X Informao x Conhecimento x Sabedoria Tecnologia em Gesto da Tecnologia da Informao 15 A sabedoria, quando decidimos o que vamos fazer com a informao.
  • 16. Sistemas de Informao Tecnologia em Gesto da Tecnologia da Informao 16
  • 17. Apoio a Desciso Tecnologia em Gesto da Tecnologia da Informao 17
  • 18. Onde os dados esto nas Organizaes? Tecnologia em Gesto da Tecnologia da Informao 18
  • 19. ERP Enterprise Resource Planning Tecnologia em Gesto da Tecnologia da Informao 19
  • 20. ERP Enterprise Resource Planning Tecnologia em Gesto da Tecnologia da Informao 20 Sistemas Integrados de Gesto Empresarial Enterprise Resource Planning um pacote de sosware de negcios que permite a uma companhia automaUzar e integrar a maior parte de seus processos de negcio (Souza & Zwicker, 2000). A idia integrar os processos de negcio e, portanto, os prprios departamentos e suas funes em um nico sistema. Os departamentos passam a ser atendidos em suas necessidades pelo sistema nico. (EBS, PeopleSoU, JD Edwards, ...) (Protheus, RM Sistemas , Logix, Data Sul) (Dynamics)
  • 21. Sistemas Integrados de Gesto Empresarial Tecnologia em Gesto da Tecnologia da Informao 21
  • 22. ERP Market Share Brasil Tecnologia em Gesto da Tecnologia da Informao 22 Fonte: FGV EAESP - 2000
  • 23. CRM Customer Rela?onship Management Tecnologia em Gesto da Tecnologia da Informao 23
  • 24. CRM Customer Rela?onship Management Customer RelaUonship Management (CRM) um termo em ingls que pode ser traduzido para a lngua portuguesa como Gesto de Relacionamento com o Cliente (Gesto de Relao com o Cliente, em Portugal). Criada para definir toda uma classe de ferramentas que automaUzam as funes de contato com o cliente, essas ferramentas compreendem sistemas informaUzados e fundamentalmente uma Tecnologia em Gesto da Tecnologia da Informao 24 mudana de a]tude corpora]va, que obje]va ajudar as companhias a criar e manter um bom relacionamento com seus clientes armazenando e inter-relacionando de forma inteligente, informaes sobre suas aUvidades e interaces com a empresa. hxp://pt.wikipedia.org/wiki/Customer_relaUonship_management
  • 25. CRM Customer Rela?onship Management Tecnologia em Gesto da Tecnologia da Informao 25
  • 26. Business Intelligence - BI Tecnologia em Gesto da Tecnologia da Informao 26
  • 27. Business Intelligence - BI Inteligncia empresarial (ou Business Intelligence, em ingls), refere-se ao processo de coleta, organizao, anlise, comparUlhamento e monitoramento de informaes que oferecem suporte a gesto de negcios. O conceito surgiu na dcada de 90 e descreve as habilidades das corporaes para aceder a dados e explorar informaes e recursos financeiros em proveito dos diretores (normalmente conUdas em um Data Warehouse/Data Mart), analisando-as e desenvolvendo percepes e entendimentos a seu respeito, o que lhes permite incrementar e tornar mais pautada em informaes a tomada de deciso. hxp://pt.wikipedia.org/wiki/Inteligncia_empresarial Tecnologia em Gesto da Tecnologia da Informao 27
  • 28. Prioridades CIOs (Chief Informa?on Officer) Tecnologia em Gesto da Tecnologia da Informao 28
  • 29. Business Intelligence Elementos Tecnologia em Gesto da Tecnologia da Informao 29 Um sistema-padro de business intelligence , portanto, composto pelos seguintes elementos: Mdulo de ETL (extrac0on, transforma0on and loading) Componente dedicado extraco, transformao e carregamento de dados. a parte responsvel pela coleta das informaes nas mais diversas fontes (sistemas ERP, arquivos TXT ou ficheiros Excel); Data warehouse/Data marts Locais onde ficam concentrados todos os dados extrados dos sistemas operacionais. A grande vantagem de ter um repositrio de dados separado consiste na possibilidade de armazenar informaes histricas e agregadas, construindo assim um melhor suporte para as anlises; Front-end Parte de um projeto de BI visvel ao usurio. Pode conter dashboards, relatrios padronizados, consultas ad hoc, portal de intranet/Internet/Extranet, anlise OLAP e funes diversas como data mining.
  • 30. Plataformas de Business Intelligence Tecnologia em Gesto da Tecnologia da Informao 30
  • 31. Tecnologia em Gesto da Tecnologia da Informao 31 Banco de Dados Conceitos Bsicos
  • 32. OLTP Online Transac?on Processing Os sistemas OLTP so uUlizados para o processamento de transaes em tempo real, so sistemas que se encarregam de registrar todas as transaes conUdas em uma determinada operao organizacional. Exemplo de sistemas OLTP: ERP CRM Sistema Tecnologia em Gesto da Tecnologia da Informao 32 bancrio Sistema de vendas Sistema de Gesto hospitalar Sistema de Gesto acadmica
  • 33. Banco de Dados Conceitos Bsicos Tecnologia em Gesto da Tecnologia da Informao 33
  • 34. Evoluo dos Bancos de Dados Tecnologia em Gesto da Tecnologia da Informao 34
  • 35. Tecnologia em Gesto da Tecnologia da Informao 35 Data Warehouse
  • 36. Tecnologia em Gesto da Tecnologia da Informao 36 Se conheces bem a si mesmo tanto quanto ao inimigo no temas a batalha; J se conheces a si mesmo mas no conheces o inimigo para cada vitria ter uma derrota; Agora se no conheces a si mesmo nem ao inimigo foges do campo de batalha pois no ter a mnima chance. Sun Tsu 2500 AC
  • 37. Data Warehouse Um armazm de dados, ou ainda depsito de dados, uUlizado para armazenar informaes relaUvas s aUvidades de uma organizao em bancos de dados, de forma consolidada. O desenho da base de dados favorece os relatrios, a anlise de grandes volumes de dados e a obteno de informaes estratgicas que podem facilitar a tomada de deciso. hxp://pt.wikipedia.org/wiki/Armaz%C3%A9m_de_dados Tecnologia em Gesto da Tecnologia da Informao 37 Conjunto de dados de apoio s decises gerenciais, integrado, no-volUl, varivel em relao ao tempo e baseado em assuntos. Imon Ao processo de preparar os dados de um sistema de informao operacional de forma a se ter uma fonte de informaes que possam dar suporte tomada de decises deu-se o nome de data warehousing. Kimball
  • 38. Data Warehouse Caracters?cas Tecnologia em Gesto da Tecnologia da Informao 38 Caracters]cas gerais: Armazm de dados (Base de dados comumente relacional); Dados/informaes consolidadas; Armazena grande quanUdade de dados; Os dados no mudam (exceto na carga); A modelagem favorece o desempenho de consultas.
  • 39. Data Warehouse Viso Geral Tecnologia em Gesto da Tecnologia da Informao 39
  • 40. Data Warehouse - Transformao / Integrao Diferentes Fontes de Dados Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 40
  • 41. Data Warehouse - Integrao de Dados Tecnologia em Gesto da Tecnologia da Informao 41 Diferentes Fontes de Dados Data Warehouse
  • 42. Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 42 Baseado em assuntos Um DW sempre armazena dados importantes sobre temas especficos da empresa e conforme o interesse dos processos de negcio envolvidos. Exemplo: Uma empresa pode trabalhar com vendas de produtos alimencios no varejo e o seu maior interesse ver o perfil de seus compradores, ento, o DW ser voltado para as pessoas que compram seus produtos e no para os produtos que a empresa vende.
  • 43. Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 43 Vriavel em relao ao tempo Num Banco de Dados Transacional o dado se refere ao momento Atual Num Data Warehouse o dado varia em relao ao tempo. Banco de Dados Transacional Data Warehouse
  • 44. Data Warehouse No Vol]l Nenhum dado pode ser alterado depois de includo no DW Em um BD transacional pode-se inserir, alterar e excluir dados; Em um DW somente inseres so possveis; Garante-se que qualquer consulta a um dado relaUvo a um perodo de tempo sempre produza o mesmo resultado. Tecnologia em Gesto da Tecnologia da Informao 44
  • 45. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 45
  • 46. Arquitetura de um Data Warehouse Stanging Area (SA ou somente Stage) Representa uma rea de trabalho que recebe as informaes do ambiente OLTP e prov informaes para o DW. Modelo de dados no precisa ser modelado segundo uma tcnica especfica. No tem como objeUvo ser uUlizada para consulta, mas sim como rea de Tecnologia em Gesto da Tecnologia da Informao 46 limpeza e transformaes para o DW.
  • 47. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 47 Opera]onal Data Store (ODS) Armazenamento de dados atuais ou quase atuais para suporte decises operacionais do dia-a-dia Como o DW, ele orientado a assunto, integrado, porm volUl, ou seja, permite atualizaes Mostra a viso corporaUva dos dados em nvel detalhado. uUlizado quando h a necessidade de se integrar os dados no nvel operacional Dados mais anUgos podem ser movidos e sumarizados para o DW
  • 48. Arquitetura de um Data Warehouse Extrao, Transformao e Carga (ETL) ETL, do ingls Extract Transform Load (Extrao Transformao Carga), so ferramentas de sosware cuja funo a extrao de dados de diversos sistemas, transformao desses dados conforme regras de negcios e por fim a carga dos dados geralmente em um Data Mart e um Data Warehouse, porm nada impede que tambm seja para enviar os dados para um determinado sistema da organizao. Tecnologia em Gesto da Tecnologia da Informao 48
  • 49. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 49 Modelagem Dimensional Na modelagem mulUdimensional os dados so organizados e estruturados em diversas dimenses. Um dos Upos de modelagem mulUdimensional mais uUlizado, o Star Schema ou Esquema Estrela, desenvolvido por Ralph Kimball, um dos precursores do conceito de data warehouse.
  • 50. Arquitetura de um Data Warehouse Data Marts Data Marts so subconjuntos departamentais focados em assuntos selecionados (e.g., um data mart de markeUng pode incluir informaes de vendas, produtos e clientes). Tecnologia em Gesto da Tecnologia da Informao 50 Chaudhuri & Dayal
  • 51. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 51 Esquema Estrela O conceito de Esquema Estrela (em ingls: Star Schema) foi criado pelo estadunidense Dr. Ralph Kimball, ao propor uma viso para a modelagem de base de dados para sistemas de apoio a deciso. Sua principal caractersUca a presena de dados altamente redundantes, melhorando o desempenho. Star schema ou esquema em estrela uma metodologia de modelagem de dados uUlizada do desenho de um Data warehouse.
  • 52. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 52 Esquema Estrela
  • 53. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 53 Esquema Floco de Neve Esquema floco de neve uma variao do esquema estrela, no qual todas as tabelas de dimenso so normalizadas na terceira forma normal (3FN), ou seja, so reUrados das tabelas os campos que so funcionalmente dependentes de outros campos que no so chaves. Recomenda-se uUlizar o esquema floco de neve apenas quando a linha de dimenso ficar muito longa e comear a ser relevante do ponto de vista de armazenamento.
  • 54. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 54 Esquema Floco de Neve
  • 55. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 55 Online Analy]cal Processing (OLAP) OLAP,ou On-line AnalyUcal Processing a capacidade para manipular e analisar um grande volume de dados sob mlUplas perspecUvas. As aplicaes OLAP so usadas pelos gestores em qualquer nvel da organizao para lhes permiUr anlises comparaUvas que facilitem a sua tomada de decises dirias. A arquitetura OLAP possui ferramentas que so classificadas em cinco Upos que so: ROLAP - OLAP Relacional MOLAP OLAP MulUdimensional HOLAP OLAP Hbrido DOLAP - Desktop OLAP WOLAP - Web OLAP Ferramenta OLAP a parUr de um navegador
  • 56. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 56
  • 57. Arquitetura de um Data Warehouse Tecnologia em Gesto da Tecnologia da Informao 57
  • 58. Tecnologia em Gesto da Tecnologia da Informao 58 Fim Parte 1
  • 59. Tecnologia em Gesto da Tecnologia da Informao 59

Recommended

View more >