Descoberta de Conhecimento em Bases de Dados e Minerao de Dados

  • Published on
    22-Jan-2016

  • View
    35

  • Download
    2

DESCRIPTION

Descoberta de Conhecimento em Bases de Dados e Minerao de Dados. KDD Knowledge Discovering in Databases. Roteiro. Motivao Exemplo preliminar Conceitos bsicos Processo de kdd Mtodos de minerao de dados Tcnicas Exemplos Referncias. Motivao. - PowerPoint PPT Presentation

Transcript

  • Descoberta de Conhecimento em Bases de Dadose Minerao de DadosKDD Knowledge Discovering in Databases

  • RoteiroMotivaoExemplo preliminarConceitos bsicosProcesso de kddMtodos de minerao de dadosTcnicasExemplosReferncias

  • MotivaoA informatizao dos meios produtivos permitiu a gerao de grandes volumes de dados:Transaes eletrnicas;Novos equipamentos cientficos e industriais para observao e controle;Dispositivos de armazenamento em massa;Aproveitamento da informao permite ganho de competitividade: conhecimento poder (e poder = $$!)Motivao

  • MotivaoOs recursos de anlise de dados tradicionais so inviveis para acompanhar esta evoluoMorrendo de sede por conhecimento em um oceano de dadosMotivao

  • MotivaoSoluo: ferramentas de automatizao das tarefas repetitivas e sistemtica de anlise de dadosferramentas de auxlio para as tarefas cognitivas da anliseintegrao das ferramentas em sistemas apoiando o processo completo de descoberta de conhecimento para tomada de decisoMotivao

  • Exemplo PreliminarUm problema do mundo dos negcios: entender o perfil dos clientesdesenvolvimento de novos produtos;controle de estoque em postos de distribuio;propaganda mal direcionada gera maiores gastos e desestimula o possvel interessado a procurar as ofertas adequadas;Quais so meus clientes tpicos?Exemplo

  • Descoberta de Conhecimento em Bancos de DadosO processo no trivial de extrao de informaes implcitas, anteriormente desconhecidas, e potencialmente teis de uma fonte de dados;Torture os dados at eles confessarem;O que um padro interessante ?(vlido, novo, til e interpretvel)Conceitos

  • KDD x Data MiningMinerao de dados o passo do processo de KDD que produz um conjunto de padres sob um custo computacional aceitvel;KDD utiliza algoritmos de data mining para extrair padres classificados como conhecimento. Incorpora tambm tarefas como escolha do algoritmo adequado, processamento e amostragem de dados e interpretao de resultados;Conceitos

  • Etapas do ProcessoSeleoPr-processamento TransformaoData mining (aprendizagem)Interpretao e AvaliaoProcesso

  • Processo mnimo de descoberta do conhecimentoCompreenso do domnio e dos objetivos da tarefa;Criao do conjunto de dados envolvendo as variveis necessrias;Processo

  • *Seleo de DadosSelecionar ou segmentar dados de acordo com critrios definidos:Ex.: Todas as pessoas que so proprietrias de carros um subconjunto de dados determinado.Processo

  • Processo mnimoOperaes como identificao de rudos, outliers, como tratar falta de dados em alguns campos, etc.Processo

  • *Pr-ProcessamentoEstgio de limpeza dos dados, onde informaes julgadas desnecessrias so removidas.Reconfigurao dos dados para assegurar formatos consistentes (identificao)Ex. : sexo = F ou M sexo = M ou H Processo

  • Processo mnimoReduo de dimensionalidade, combinao de atributos;Processo

  • *TransformaoTransformam-se os dados em formatos utilizveis. Esta depende da tcnica data mining usada.Disponibilizar os dados de maneira usvel e navegvel.

    Processo

  • Processo mnimoProcesso

  • *Data Mining a verdadeira extrao dos padres de comportamento dos dados (exemplos)Processo

  • Processo mnimoInterpretao dos resultados, com possvel retorno aos passos anteriores;ProcessoConsolidao: incorporao e documentao do conhecimento e comunicao aos interessados;

  • *Interpretao e AvaliaoIdentificado os padres pelo sistema, estes so interpretados em conhecimentos, os quais daro suporte a tomada de decises humanasProcesso

  • Mtodos de minerao de dadosMtodos de minerao de dados normalmente so extenses ou combinaes de uns poucos mtodos fundamentais;Porm, no vivel a criao de um nico mtodo universal: cada algoritmo possui sua prpria tendncia indutiva;Mtodos

  • Tarefas bsicasPrevisoClculo de variveis de interesse a partir dos valores de um conjunto de variveis de explicao; comumente visada em aprendizado de mquina/estatstica;Exemplos: classificao e regresso; Mtodos

  • Tarefas bsicasDescrioReportar relaes entre as variveis do modelo de forma simtrica; princpio, est mais relacionada ao processo de KDD;Exemplos: agrupamento, sumarizao (incluindo sumrio de textos), dependncias, anlise de desvio;Mtodos

  • Exemplo de previso (I)Um hiperplano paralelo de separao: pode ser interpretado diretamente como uma regra:se a renda menor que t, ento o crdito no deve ser liberadoExemplo: rvores de deciso;induo de regrasAnlise de crditoMtodos

  • Exemplo de previso (II)Hiperplano oblquo: melhor separao:Exemplos: regresso linear;perceptron;Anlise de crditoMtodos

  • Exemplo de previso (III)Superfcie no linear: melhor poder de classificao, pior interpretao;Exemplos: perceptrons multicamadas;regresso no-linear;Anlise de crditoMtodos

  • Exemplo de previso (IV)Mtodos baseado em exemplos;Exemplos:k-vizinhos mais prximos;raciocnio baseado em casos;Anlise de crditoMtodos

  • Exemplo de descrio (I)AgrupamentoExemplo:vector quantization;Anlise de crditoMtodos

  • Exemplo de descrio (II)Regras de associao98% dos consumidores que adquiriram pneus e acessrios de automveis tambm se interessaram por servios automotivos;descoberta simtrica de relaes, ao contrrio de mtodos de classificaoqualquer atributo pode ser uma classe ou um atributo de discriminao;Mtodos

  • Reviso geral de Aprendizagem:

    Tcnicas

  • Exemplosreas de aplicaes potenciais:Vendas e MarketingIdentificar padres de comportamento de consumidoresAssociar comportamentos caractersticas demogrficas de consumidoresCampanhas de marketing direto (mailing campaigns) Identificar consumidores leais

    Exemplos

  • Exemplosreas de aplicaes potenciais:Bancos Identificar padres de fraudes (cartes de crdito)Identificar caractersticas de correntistas Mercado Financeiro ($$$)Exemplos

  • Exemplosreas de aplicaes potenciaisMdicaComportamento de pacientesIdentificar terapias de sucessos para diferentes tratamentosFraudes em planos de sadesComportamento de usurios de planos de sade

    Exemplos

  • IntroduoExemplo (1) - Fraldas e cervejasO que as cervejas tem a ver com as fraldas ?homens casados, entre 25 e 30 anos;compravam fraldas e/ou cervejas s sextas-feiras tarde no caminho do trabalho para casa;Wal-Mart otimizou s gndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas;Resultado: o consumo cresceu 30% .Exemplos

  • ExemplosExemplo (2) - Lojas Brasileiras (Info 03/98)Aplicou 1 milho de dlares em tcnicas de data mining Reduziu de 51000 produtos para 14000 produtos oferecidos em suas lojas.Exemplo de anomalias detectadas:Roupas de inverno e guarda chuvas encalhadas no nordesteBatedeiras 110v a venda em SC onde a corrente eltrica 220v

    Exemplos

  • ExemplosExemplo (3) - Bank of America (Info 03/98)Selecionou entre seus 36 milhes de clientesAqueles com menor risco de dar calotes Tinham filhos com idades entre 18 e 21 anosResultado em trs anos o banco lucrou 30 milhes de dlares com a carteira de emprstimos.Exemplos

  • ExemplosEmpresas de software para Data mining:SAShttp://www.sas.comInformation Havestinghttp://www.convex.comRed Brickhttp://www.redbrick.comOraclehttp://www.oracle.comSybasehttp://www.sybase.comInformixhttp://www.informix.comIBMhttp://www.ibm.comExemplos

  • ConclusesData mining um processo que permite compreender o comportamento dos dados.Data mining analisa os dados usando tcnicas de aprendizagem para encontrar padres e regulariedades nestes conjuntos de dados. um problema pluridisciplinar, envolve Inteligncia Artificial, Estatstica, Computao Grfica, Banco de Dados.Pode ser bem aplicado em diversas reas de negcios

    Concluses

  • RefernciasFayyad et al. (1996). Advances in knowledge discovery and data mining, AAAI Press/MIT Press.Holsheimer, M. & Siebes, A.P.J.M. Data Mining: The Search for Knowledge in Databases, 1994.http://www-pcc.qub.ac.uk/tec/courses/datamininghttp://www.rio.com.br/~extendedhttp://www.datamining.comhttp://www.santafe.edu/~kurthttp://www.datamation.comhttp://www-dse.doc.ic.ac.uk/~kdhttp://www.cs.bham.ac.uk/~anphttp://www.dbms.comhttp://www.infolink.com.br/~mpolito/mining/mining.html http://www.lci.ufrj.br/~labbd/semins/grupo1Referncias

    *****************************

Recommended

View more >