Big Data - Uma abordagem diferente.
Atualmente quando perguntamos o que é BIG DATA, existe sempre uma resposta rápida, direta e fria. Um grande banco de dados ! Seria esta resposta sintoma de um mundo rápido e pratico? Desconhecimento? Ou a falta de um olhar holístico e multidisciplinar sobre o assunto. A muito tempo descobrimos que são as perguntas que movem o mundo.
A “propaganda é a alma do negocio” quem nunca ouviu esta frase? A muitas décadas, período pre-web 2.0 os profissionais de marketing e publicidade vem buscando novas formas de entender os movimentos de mercado e suas tendencias. Esta tarefa sempre foi muito difícil, pois estudos estatísticos sempre precisaram de pesquisa de campo, muitas entrevistas e um volume considerável de dados para uma analise confiável.Era muito comum as Informações chegarem com meses de atraso ou sem valor de mercado.
Muitas ferramentas se baseavam em um senso comum, e paradigmas antigos forjados em ciclos passados e tidos como verdade absoluta. Com o surgimento da segunda onda da internet conhecida como web 2.0 em meados de 2004, todo este passado difícil começa a mudar a uma velocidade extraordinária.
"Web 2.0 é a mudança para uma internet como plataforma, e um entendimento das regras para obter sucesso nesta nova plataforma. Entre outras, a regra mais importante é desenvolver aplicativos que aproveitem os efeitos de rede para se tornarem melhores quanto mais são usados pelas pessoas, aproveitando a inteligência coletiva" .Tim O'Reilly
As empresas que sobreviveram a primeira crise da internet, chegaram neste estagio mais maduras, e capazes de oferecer muito mais que apenas sites e-comerce sofridos e cheios de bugs. Ela ficou mais divertida, informativa proporcionando maior interação entre as pessoas através de sites de relacionamento.Seu conteúdo ficou mais rápido e com formato mais agradável a leitura. Tecnologias moveis tiraram a web na mesa e a levaram para o bolso, bolsa, ônibus, metro, rua. E em muito pouco tempo ela vai estar nas coisas conectando quase tudo que usamos.
Neste ambiente propicio nasceu a figura central dos desejos de todos os sistema web. O CONSUMIDOR ON-LINE. Quais serão seus desejos? Como ele se comporta? O que ele come? O que ele veste ? onde ele vai? no que ele esta pensando neste momento? Todas estas duvidas bem trabalhadas e desenvolvidas geraram as maiores fortunas conhecidas com produtos e serviços web ate hoje.
Uma centena de possibilidades dentre elas , transações com cartões, emails, sms, blogs, gps online, sites de relacionamentos, dados de caixa de grandes redes de supermercados, começaram a acumular bilhões de transações por minuto a fim de dar conta das questões mais simples como , saber se alguém que compra uma passagem aérea , vai comprar algum acessório de vestuario, reservar um carro, comprar um oculos ou equipamento fotográfico.
Entra em cena a MD(Mineração de dados), irmã mais velha do BIG DATA, ela ja estava presente a algum tempo (1995) em ambientes científicos e dados estatísticos mais relevantes, mas com uma ar de nobreza, somente era conhecida em ambientes extremamente especializados de grandes corporações. Segundo [Fayyad96] “a Mineração de Dados consiste na aplicação de algoritmos para análise e descoberta de conhecimento e na produção de padrões ou modelos a partir de grandes Base de Dados.”
Quando a MD surgiu para tratar grandes bases de dados, ninguém imaginava o tamanho nem a velocidade que estas bases iriam crescer. Cientistas de uma equipe multi disciplinar em uma empresa de soluções americana começaram a desenvolver o conceito dos 3V, que dava conta das 3 dimensões de complexidade de uma base de dados. Volume , Variedade, Velocidade. E um conceito mais novo a RELEVÂNCIA.
O Termo BIG DATA, não surgiu atoa , atualmente (04/2014)
50.000 transações de cartões de credito são feitas a cada segundo em todo o mundo.
3.000.000 de transações são registradas por hora so no walmart.
500.000.000 de Twets são enviados todos os dias
1.100.000.000 é o numero de usuários do facebook trocando informações e interações
5.000.000.000 de usuários de telefonia celular atualizando dados, gps, sms, fotos, etc
A maioria destas informações são perecíveis e perdem o valor rapidamente se não forem adequadamente tratadas. Então o principal desafio das aplicações em BIGDATA, voltada para a area comercial é formatar os diferentes modelos de dados em padrões interpretáveis e compreensiveis, desenvolver modelos de algorítimos capazes de identificar padrões , e fornecer com base nestes padrões informações que possam mitigar riscos , antecipar comportamentos, descobrir novos mercados e tendencias, mudanças de demanda.
Outras aplicações fora da areá comercial começam a surgir com a possibilidade de processamento de grandes volumes de dados. Um caso curioso foi demonstrado quando cruzaram os dados de status social de servidores públicos de primeiro escalão com o funcionalismo publico em geral. O Algorítimo demonstrou que dentre os funcionários públicos com maiores salários o índice de divórcios é 80% maior do que entre os professores e funcionários com menores salários. Neste caso a condição financeira favorável esta diretamente relacionada com relações extra-conjugais e rompimento de matrimonio.
Um outro case famoso e que novos algoritmos matemáticos estão identificando problemas conjugais antes mesmo que eles aconteçam cruzando likes e curtidas em paginas alheias. Este produto já esta sendo explorado para oferecer ajuda jurídica e serviços de motéis e detetives em diferentes fase do problema. A principio parece frio e calculado , mas seria esta a porta de uma nova era , onde o comportamento humano pudesse ser antecipado evitando maiores tragedias?
A vigilância e o BigData
Muito se fala hoje sobre espionagem internacional e o projeto de vigilância americano (NSA) Agencia nacional de Segurança. Sera que algorítimos seriam capazes de prever eventos como os ataques terroristas em 11 de setembro? O assassinato de crianças em escolas? Epidemias ? Ou simplesmente uma bolha como a imobiliária que quase quebrou literalmente todo o planeta?
São questões como estas que impulsionam o estudo e debate sobre esta tecnologia suas facilidades e realidades.
Estamos proximos a registrar e persistir mais dados que jamais imaginamos. E com a possibilidade de mineração e novos algorítimos quem sabe poderemos prever eventos futuros? Um bom exemplo e que depois dos grandes tsunamis que mataram milhares de pessoas na indonésia começaram a surgir relatos de comportamento animais horas antes. em diferentes ilhas no mesmo horarios. SMS foram trocados com o conteúdo “meu elefante ficou louco e correu para colina” , “os passaros estão voando baixo “, “ o mar esta recuando” dentre outros. Ao analisar estes inúmeros registros aparentemente desconectados, um padrão pre-tsunami começou a surgir. Sera que hoje ao “minerar “ este mesmos dados em tempo real seremos capazes de inferir que uma tragedia se aproxima?
Em um mundo cada vez mais conectado, a formação de profissionais capazes de entender estas demandas e produzir estudos e visões cadas vez mais assertiva agora é o novo desafio. Precisamos de cientistas de dados para ontem , mas qual seria as habilidades e formação deste novo profissional ? Deixamos a pergunta e a certeza que acabamos de descobrir a ponta de de um iceberg tecnológico e que muito mais esta por vir.
Referencias :
[wi99] Sholom M. Weiss , Nitin Indurkhya, Predictive data mining: a practical guide, Morgan ... Retrieval, v.1 n.1-2, p.69-90, 1999
[Fayyad96] Fayyad, Usama; Piatetski-Shapiro, Gregory; Smyth, Padhraic (1996) The KDD Process for Extracting Useful Knowledge from Volumes of Data. In: Communications of the ACM, pp.27-34, Nov.1996
