Criação de Data Warehouse em Banco de Dados NoSQL com Cassandra, Spark e Python
•Transferir como PPTX, PDF•
1 gostou•1,326 visualizações
O documento discute a criação de data warehouses em bancos de dados NoSQL com Cassandra, Spark e Python. Primeiro apresenta um breve histórico dos data warehouses e seus desafios em bancos relacionais. Em seguida, descreve as funcionalidades do Cassandra e Spark para armazenamento e processamento de dados. Por fim, propõe um novo paradigma de data warehouses utilizando essas ferramentas de forma distribuída e em memória.
Denunciar
Compartilhar
Apresentações relacionadas
Criação de Data Warehouse em Banco de Dados NoSQL com Cassandra, Spark e Python
- 1. Criação de Data Warehouse em Banco de Dados NoSQL com Cassandra, Spark e Python Leandro Mendes Ferreira
- 2. Agenda • Apresentação • Um pouco de Business Intelligence – Data Warehouse • Overview do Apache Cassandra • Overview do Apache Spark • Construindo Data Warehouse em Banco de Dados NoSQL – Um novo paradigma • E o Python em toda essa história ?
- 3. • Processamento de Dados - FATEC SO • MBA em BI – FIAP • 5 anos trabalhando com BI • 1.5 anos estudando Python • Entusiasta de Big Data (Artigo)
- 4. Um pouco de Business Intelligence Data Warehouse • Meados dos anos 1980 • ETL • Data Warehouse x Data Mart • Modelagem Multidimensional Desnormalização de dados Esquema Estrela Fatos e Dimensões • Motores OLAP • Banco de Dados Relacionais
- 6. PROBLEMA Banco de dados relacionais não são para dados analíticos são para dados transacionais
- 7. OverView Apache Cassandra • SGDB NoSQL de família de colunas • Chave Valor • Baseado no Dynamo DB e Big Table • Clusterizado em Anel • Twitter, o Reddit e o Netflix
- 9. Apache Cassandra – Alguns probleminhas Ø Não efetua junções (Join) Ø Não busca campos foras da chave Ø Solução é indexação Ø Não garante concorrência Ø Eventualmente Persistente
- 10. OverView Apache Spark • Processamento em memória • Clusterizado
- 11. Apache Spark + Apache Cassandra http://pt.slideshare.net/doanduyhai/spark-cassandra-connector-api-best-practices-and-usecases
- 12. Data Warehouse em Banco de Dados NoSQL Um novo paradigma • ELT ao invés de ETL • Data Lake • Normalização zero • Processamento clusterizado ao invés de appliance • Data descovery in memory • Tabela Estrela ou Tabela Visão
- 13. Data Warehouse em Banco de Dados NoSQL Um novo paradigma Star Schema Star Table
- 15. E o Python em toda essa história?