O volume de dados que a sua empresa produz, consome, armazena e acede continua a crescer exponencialmente. De acordo com estimativas da IDC, espera-se que o volume de dados cresça 44 vezes ao longo do próximo ano, até uns extraordinários 35,2 zetabytes a nível mundial.

Mas os volumes de dados são apenas parte da equação dos sistemas Big Data. Os sistemas Big Data introduzem também mais velocidade e maior complexidade no tratamento dos dados. Os fluxos de informação movem-se a uma velocidade nunca antes vista, numa variedade de formatos estruturados e não-estruturados. As TI tradicionais esforçam-se para manter sistemas Big Data, mas não possuem o know-how suficiente.

O que são sistemas Big Data?

Os sistemas Big Data são todos os sistemas de armazenamento físico e lógico de dados cujas dimensões ou complexidade ultrapassam a capacidade das tecnologias normalmente utilizadas para os captar, gerir e processar a um custo razoável, e num período de tempo aceitável. São o resultado da confluência de três tendências tecnológicas:
  • Transacções de grandes volumes de dados: Massive growth of transaction data volumes
  • Interacção de grandes volumes de dados: Interacção de grandes volumes de dados: media sociais, tecnologias sensoriais, registos de telecomunicações, etc.
  • Processamento de grandes volumes de dados: New highly scalable processing with Hadoop


big_data_infographic_informatica1.jpg

A nova fronteira da inovação, competição e produtividade: Big Data


No dia a dia, a sociedade gera cerca de 15 petabytes de informações sobre as suas operações comerciais e financeiras, bem como sobre clientes e fornecedores. Um volume impressionante de dados também circula nas mídias sociais e nos dispositivos móveis. Outro volume, tão impressionante quanto, é gerado pelo número cada vez maior de sensores e outros equipamentos embutidos no mundo físico, como rodovias, automóveis, aeronaves, máquinas robóticas, entre outros. Um único segundo de vídeo em alta definição gera 2.000 vezes mais bytes que uma página de texto. Capturar, manusear e analisar esse imenso volume de dados é um grande desafio.

Aí é que entra um assunto que começa a despertar atenção: o chamado Big Data. O termo se refere aos bancos de dados de tamanho significativamente maior que os que usualmente conhecemos. Além disso, as tecnologias atuais não se mostram muito adequadas para manuseá-los. É claro que é uma definição bastante subjetiva e móvel, pois um certo tamanho considerado grande pode se tornar pequeno em poucos anos. Hoje, os nossos discos backup em casa trabalham com o volume em terabyte. Os grandes bancos de dados já estão na escala dos petabytes.

Tratar analiticamente esses dados pode gerar grandes benefícios para a sociedade e para as empresas. Recentemente, a McKinsey Global Institute publicou um relatório muito interessante sobre o potencial econômico do uso do Big data, chamado de “Big Data: The Next frontier for innovation, competition and productivity” que pode ser acessado aqui.

O Big Data já se espalha por todos os setores da economia. Um estudo mostrou que em 2009 cada empresa americana com mais de mil funcionários armazenava, em média, mais do que 200 terabytes de dados. E, em alguns setores, o volume médio chegava a um petabyte.

O uso de Big Data já começa a se mostrar como um fator diferenciador no cenário de negócios. Alguns casos citados no relatório da McKinsey mostram que algumas empresas conseguiram substanciais vantagens competitivas explorando de forma analítica e em tempo hábil um imenso volume de dados. O Big Data trabalha duas palavras-chave: uma é volume (são bancos de dados de grandes volumes) e a outra é velocidade (o manuseio e o tratamento analítico têm que ser feito muito rapidamente. Em alguns casos, até mesmo em tempo real). Isso se dá pela abrangência de dados que podem ser manuseados. Um Data Warehouse tradicional acumula dados obtidos dos sistemas transacionais como os ERP. Esses sistemas registram as operações efetuadas pelas empresas, como uma venda, por exemplo. Mas eles não registram informações sobre transações que não ocorreram, ainda que de algum modo estejam refletidas nas discussões sobre a empresa e seus produtos nas mídias sociais. A empresa também pode registrar diversas informações com a digitalização das conversas mantidas pelos clientes com os call centers e pelas imagens do movimento nas lojas registradas em vídeo. Essas informações, geralmente não estruturadas, já estão disponíveis, e o que o conceito de Big Data faz é integrá-las de forma a gerar um volume mais abrangente de informações, que permita à empresa tomar decisões cada vez mais baseadas em fatos e não apenas em amostragens e intuição.

Referencias:
http://www.informatica.com/pt/products_services/Pages/big_data.aspx
http://www.mckinsey.com/Insights/MGI/Research/Technology_and_Innovation/Big_data_The_next_frontier_for_innovation