Big Data e Gestão de Dados 2
Big Data e Gestão de Dados 2
Big Data e Gestão de Dados 2
1
Sumário
GESTÃO DA INFORMAÇÃO......................................................................... 19
REFERENCIAS ............................................................................................. 29
1
NOSSA HISTÓRIA
2
EVOLUÇÃO DAS INFORMAÇÕES E DOS DADOS
Todos esses aparatos rastreiam cada passo do que é feito na Web e cada um
desses passos é um potencial gerador de dados. Como passa-se cada vez mais
tempo online, gera-se progressivamente mais dados, de forma mais rápida. Qualquer
tarefa realizada quando se está conectado, desde enviar um e-mail, escrever uma
mensagem em uma rede social ou até mesmo deixar o GPS do celular ligado
enquanto se movimenta, deixa rastros imperceptíveis que transformam-se em dados.
3
De acordo com Furlan e Laurindo (2017), o crescimento dos dados gerados
demandou o desenvolvimento de novas soluções e tecnologias que auxiliassem na
sua gestão. E diante desta necessidade surge o big data, propondo novas
abordagens para a geração, seleção e manipulação destes grandes volumes dados.
O termo big data está relacionado com grandes quantidades de dados, que possuem
características distintas, são heterogêneos, providos de diferentes fontes, com
controles distribuídos e descentralizados (MCAFEE; BRYNJOLFSSON2012).
4
BIG DATA
Dado é definido por Setzer (2001, não paginado) como “[...] uma sequência de
símbolos quantificados ou quantificáveis [...] Com essa definição, um dado é
necessariamente uma entidade matemática e, desta forma, é puramente sintático”.
Já Angeloni (2003, p.18) afirma que “Os dados são elementos brutos, sem significado,
desvinculados da realidade.” Davenport (1998, p.18) define dado como uma “Simples
observação sobre o estado do mundo”. Sendo ele facilmente estruturado e obtido por
máquinas, além de ser quantificado com frequência. O dado é facilmente transferível.
Conclui-se à partir das elucidações de Russo (2010, p.15), que “[...] dados são sinais
que não foram processados, correlacionados, integrados, avaliados ou interpretados
de qualquer forma, e, por sua vez, representam a matéria prima a ser utilizada na
produção de informações”.
Conhecimento é definido por Davenport (1998, p.19 apud RUSSO, 2010, p.17)
como “[...] a informação mais valiosa [...] é valiosa precisamente porque alguém deu
5
à informação um contexto, um significado, uma interpretação”. Setzer (2001, não
paginado) caracteriza conhecimento como “[...] uma abstração interior, pessoal, de
algo que foi experimentado, vivenciado, por alguém”. Angeloni (2003, p.18) define:
Analisando as definições acima, percebe-se que o dado, por si só, não possui
significado claro e precisa portanto, ser capturado e analisado, para que se transforme
em informação. Uma característica importante a ser analisada sobre os dados é que
antes do Big Data, os dados coletados pelas empresas provinham de fontes internas
e eram, majoritariamente, dados estruturados, ou seja, “[...] dados formatados em
linhas e colunas numéricas organizadas” (DAVENPORT, 2014, p.113). Esse tipo de
dado já vem sendo explorado há um tempo pelas organizações, estando presente em
bancos de dados, arquivos sequenciais e com relação de importância. (CIO, 2012
apud CANARY, 2013).
6
Big Data pode ser definida, de maneira mais simplista, como um conjunto de
técnicas capazes de se analisar grandes quantidades de dados para a geração de
resultados importantes que, em volumes menores, dificilmente seria possível. Em
tese, podemos definir o conceito de Big Data como um conjunto de dados
extremamente amplos que, por isto, necessitam de ferramentas especiais para
comportar o grande volume de dados que são encontrados, extraídos, organizados,
transformados em informações que possibilitam uma análise ampla e em tempo hábil.
Para Erl,Khattak e Buhler (2016), big data é um campo que se dedica à análise,
ao processamento e armazenamento de grandes datasets, e que as suas soluções e
práticas são geralmente necessárias quando as tecnologias e técnicas tradicionais
não são suficientes para a execução destas atividades.
Para os autores, big data não é apenas uma tecnologia, é também sobre como
as tecnologias podem impulsionar uma organização cada vez mais as organizações
estão gerando enormes quantidades de dados que são provenientes de fontes
distintas e armazenados de diferentes maneiras, o que demanda um processo de
gestão específico para garantir a sua qualidade. Vianna, Dutra e Frazzon (2016,
p.193), enfatizam a importância de se fazer uma gestão efetiva e a [...] “necessidade
de transformar esses dados em informações de qualidade, que possam ser utilizadas
para direcionar os negócios e as estratégias das organizações, minimizando riscos,
e apoiando o processo de tomada de decisões”.
7
Quando falamos de Big Data, temos basicamente dois tipos de estruturação
da informação: os dados estruturados e não estruturados. Vamos entender um pouco
melhor sobre cada um:
Dados estruturados
As soluções de Big Data são feitas para lidar com um grande volume de dados
não-estruturados. Isso significa que eles não têm relação entre si e nem uma estrutura
definida. São, por exemplo, posts no Facebook, vídeos, fotos, tweets, geolocalização,
comportamento.
8
As ferramentas de armazenamento de Big Data também são diferentes das
usadas para armazenar dados comuns. Ao contrário dos bancos de dados comuns,
os bancos usados no Big Data devem ter elasticidade, pois precisam suportar não só
grandes volumes, mas grandes volumes que crescem muito em pouco tempo. Eles
também precisam ser flexíveis para aceitar vários tipos de mídias.
As empresas usam o Big Data para realizar os desejos dos clientes antes que
eles peçam. Um exemplo disso são as sugestões de sites de compras, como a
Amazon, e as recomendações de serviços como Netflix e Spotify.
Big Data também pode ser usado para satisfazer os clientes de outras
maneiras como, por exemplo, dando mais conforto a ele em situações incômodas,
mas que não são desagradáveis o suficiente para chegar a um canal de reclamações
da empresa. A companhia aérea Delta identificou que uma das maiores preocupações
de seus clientes durante as viagens era com a bagagem. Com base nessa
informação, criaram um recurso no aplicativo da companhia que ajuda os viajantes a
rastrear suas malas, o Track My Bag.
9
A Microsoft anunciou uma parceria com a Universidade Federal de Minas
Gerais para realizar pesquisas que podem ajudar a prever engarrafamentos com até
uma hora de antecedência. O Projeto de Previsão de Trânsito deve usar dados como
números históricos do departamento de transportes, câmeras nas ruas, mapas de
trânsito do Bing e posts nas redes sociais.
A análise de Big Data também pode ser usada para dar suporte a ações do
governo. Durante a epidemia de gripe suína, uma equipe da Telefônica usou dados
da rede de celulares para entender como as pessoas estavam se locomovendo
durante o surto da doença. Suas descobertas ajudaram a validar ações do governo
para combater a crise.
10
Figura 2: Os 5V’s do Big Data
Velocity – Velocidade:
Hoje para alguns negócios, 1 minuto pode ser muito tempo, detecção de
fraudes, liberações de pagamentos, análises de dados médicos ou qualquer outra
informação sensível a tempo. A maior parte dos projetos de DW/BI (Data Warehouse
e Business Intelligence) ainda tem latência em D-1, ou seja, carregamos o dia
anterior. Ainda acreditamos que essa solução se aplique a muitos negócios, porém,
para algumas análises, quanto mais próximo do tempo real, maior pode ser o
incremento de negócio.
11
Possui também relação com o tempo de resposta para determinada requisição.
Com as comunicações em tempo real, cada vem mais vem sendo possível atingir
uma maior velocidade para troca de dados e informação (RIBEIRO, 2014). Mcafee e
Brynjolfsson (2012) afirmam que para muitas aplicações, a velocidade de criação de
dados é ainda mais importante do que o volume dos mesmos, uma vez que as
informações em tempo real ou quase em tempo real, tornam possível que uma
empresa seja mais ágil que seus concorrentes.
Variety – Variedade:
Big Data também poderia ser considerado como Any Data (qualquer dado),
hoje temos capacidade de capturar e analisar dados estruturados e não estruturados,
texto, sensores, navegação Web, áudio, vídeo, arquivos de logs, catracas, centrais
de ar condicionado, entre outros. Uma nova série de ferramentas está se tornando
parte dos projetos, são as ferramentas de machine data, dados de máquina, quase
qualquer aparelho eletrônico hoje em dia tem uma estrutura de dados ou
programação, o ponto é que nem todos podem ser acessados (ainda..).
Ela também diz respeito a diversidade dos dados e informações. Kaisleret al.
(2013), afirma que a partir de uma perspectiva analítica, fazer a gestão da variedade
de dados é provavelmente o maior obstáculo para utilização efetiva de grandes
volumes de dados. Formatos de dados incompatíveis, estruturas de dados não
alinhadas e semânticas inconsistentes representam desafios significativos que se não
vencidos podem levar ao insucesso de um projeto.
Valor:
12
Variabilidade
Refere-se aos dados que estão em constante variação, como por exemplo,
dados meteorológicos. Gandomi e Haider (2015), afirmam que a variabilidade possui
relação com a variação nos fluxos de dados.
13
A grande vantagem das tecnologias de Big Data é que a maioria delas é
gratuita ou barata, não sendo necessário grandes investimentos por parte das
empresas neste sentido. No entanto, para arquitetar e programar esses softwares faz-
se necessário uma equipe extremante especializada e bem treinada, o que demanda
tempo e um custo elevado. (DAVENPORT, 2014, p.115).
A Figura 3, a seguir, apresenta uma visão geral das tecnologias do Big Data,
segundo Davenport (2014, p.112).
14
O Hadoop é uma das principais tecnologias relacionadas ao Big Data. Criado
em 2005 pelo Yahoo, o Hadoop é um projeto da comunidade Apache, divido em duas
partes: a primeira, o HMR é baseado no MapReduce, software utilizado pelo Google
para acelerar as pesquisas realizadas em seu buscador, a segunda é o Hadoop
Distributed File System (HDFS), que é “[...] um sistema de arquivos distribuídos
otimizados para atuar em dados nãoestruturados” (TAURION, 2013a, não paginado).
Na prática, os dados precisam primeiramente estar armazenados no HDFS para
então serem processados pelo HMR.
15
A utilização da computação em nuvem é outro fator tecnológico interessante,
tendo em vista sua capacidade de suportar imensos volumes, sua elasticidade e
menor custo se comparado ao armazenamento em servidores físicos.
Para obter sucesso tirando proveito do Big Data, faz-se essencial para as
empresas começarem a investir em tecnologias que o comportem, tendo sempre em
vista que um dos atributos essenciais quando se fala deste novo conceito é a
resiliência. O volume de dados, sua natureza, a velocidade com que são criados
novos dados, está em constante mudança e somente as organizações que souberem
se adaptar prontamente e tirar proveito dessas variações, é que serão bem sucedidas.
(TAURION, 2013a).
Por isso, mais que ter acesso a uma grande quantidade de dados, é necessário
tratá-los de maneira correta. O ideal é fazer uma análise aprofundada para encontrar
respostas certas, que visem a quatro principais objetivos:
Redução de custos;
Economia de tempo;
Desenvolvimento de produtos e otimização de ofertas;
Otimização das tomadas de decisão.
16
Com essa explicação, fica claro que o propósito do Big Data é fazer a análise
de dados — e é aí que está a inteligência do processo. Sem uma avaliação meticulosa
e precisa, é impossível saber qual é o melhor caminho. Mas o que efetivamente
significa a análise de dados? A ideia é encontrar padrões comportamentais para
monitorá-los e, sempre que houver alguma alteração, tomar a decisão certa. É o caso
de sua empresa vender o produto X, mas identificar que o número de
comercializações está em queda porque o item Y é similar, porém mais resistente.
Nesse caso, antes de perder fatia de mercado, você pode substituir a mercadoria para
evitar outros prejuízos.
Vários são os exemplos que demonstram o uso dos dados no seu negócio.
Primeiramente, você precisa entender que há três tipos:
17
Já uma empresa fabricante de aviões tem a possibilidade usar sensores para
identificar quando é necessário que a aeronave faça alguma parada para
reabastecimento ou se é possível chegar ao destino sem interromper a viagem. Veja,
a seguir, outros exemplos de uso do Big Data em diferentes setores, com cases de
sucesso.
Marketing
Em uma confecção, você pode usar o Big Data para descobrir se há uma
preferência nacional ou regional por suéteres de lã ou blusas de algodão. Da mesma
forma, a visualização desses dados podem indicar oportunidades.
Controle de qualidade
As variáveis abrangidas nesse critério são muitas, como defeitos por unidade,
rendimentos de primeira passagem, taxas de preenchimento e outras. Elas podem
até incluir os fornecedores, a capacitação dos colaboradores e as condições
ambientais no momento da produção.
Todos esses itens podem ser analisados com o Big Data. Os dados de
produção, inclusive, são passíveis de integração a outros, o que facilita a identificação
e a eliminação de gargalos e fatores de lentidão.
18
Financeiro
GESTÃO DA INFORMAÇÃO
19
II. Reconhecimento de mudanças evolutivas;
III. Ênfase na observação e na descrição; e
IV. Ênfase no comportamento pessoal e informacional.
20
classificação da informação em uma categoria, a formatação e a estruturação da
informação.
GESTÃO DO CONHECIMENTO
21
(SANTOS, 2001; SVEIBY, 1998; apud FELIX, 2003). E vem sendo discutido cada vez
mais como uma tendência para o mercado econômico no presente e no futuro.
Principalmente nos tempos atuais em que as organizações “com um considerável
grau de flexibilidade e de capacidade inovadora, não se preocupam mais em somente
armazenar dados e informação”. (BERBE, 2005) Ainda de acordo com Berbe, 2005,
“a competitividade, a informação e a necessidade de diferencial competitivo fizeram
com que as empresas percebessem a importância do conhecimento e da sua gestão”.
22
ações serão determinadas pela gestão do conhecimento em concordância com as
necessidades da instituição que atua.
Pelo ponto de vista, Wilson (2003), está correto na sua afirmação, pois o
conhecimento é intangível. Mas quando aplicamos gestão do conhecimento
estaremos direcionando-a de acordo com um objetivo. E quando direcionamos as
informações para o ponto certo (equipe ou as pessoas certas), pode resultar em
conhecimento.
GESTÃO DE DADOS
23
Atualmente, no contexto da Transformação Digital, um gerenciamento
inteligente das informações se torna ainda mais importante. À medida que as
organizações são cada vez mais orientadas por processos digitais, a quantidade de
dados cresce exponencialmente. Nunca foi tão fácil captar informações de mercado,
mas, por outro lado, nunca foi tão crucial protegê-las. Hoje, a segurança dos dados é
uma prioridade.
24
-Redução dos riscos e falhas no desenvolvimento dos sistemas e aplicações.
Sem uma gestão efetiva dos dados, a evolução desta cadeia não é atingida,
portanto, para atingir os objetivos é fundamental a disciplina atuar nos estágios iniciais
da cadeia. Por esta razão o nome da disciplina é Gestão de Dados e não Gestão das
Informações ou Gestão do Conhecimento. Porém, valem ressaltar que, dependendo
do nível da maturidade da empresa, as ações de gestão para a evolução da cadeia
podem se estabelecer em outros níveis.
GERENCIAMENTO DE DADOS
A análise de dados tem sido cada vez mais importante para o sucesso, sendo
você um pequeno empresário ou uma grande indústria. Para que a sua empresa se
destaque e deixe a concorrência para trás, é necessário reunir e analisar informações
sobre clientes e o mercado como um todo. Sendo assim, em diversos aspectos, fazer
o gerenciamento de dados de forma inteligente é absolutamente essencial para o
sucesso dos negócios e para atingir um nível sustentável de crescimento.
25
Quando todas as informações das quais você precisa estão bem organizadas
e devidamente armazenadas, de forma integrada e ordenada, arquivos como
projetos, balanços financeiros, prospecções de vendas e outros documentos
importantes são encontrados com maior facilidade no sistema toda vez que você
precisar analisá-los.
26
150 países, entre pequenos negócios a grandes corporações. O
ransonware é um tipo de vírus que sequestra os dados de um
computador ou notebook e não libera o acesso a eles até que um
resgate seja pago.
O uso da cloud computing tem se tornado uma tendência cada vez mais
presente no mercado. A praticidade e o dinamismo que essa tecnologia oferece vem
beneficiando empresas de todos os portes e segmentos. De fato, é compreensível
que muitas empresas julguem necessário ter alguma forma de backup físico (como
alternativa e uma segunda opção de garantia), porém, além de dispensar o uso de
aparelhos físicos (como HDs), o backup na nuvem realmente garante a preservação
e integridade dos dados.
27
Implemente ferramentas de monitoramento e controle, as ferramentas para
monitoramento e controle serão, de fato, muito úteis para averiguar as suspeitas de
ataques ou vazamentos e, além disso, reforçar o sigilo interno, ou seja, garantir que
as pessoas só tenham disponibilidade às informações de acordo com seu nível de
autorização de acesso.
28
REFERENCIAS
29
GANDOMI, Amir; HAIDER, Murtaza. Beyond the hype: Big data concepts,
methods, and analytics. International Journal of Information Management, v. 35, n.
2, 2015, p. 137– 144.
HARYADI, AdiskaFardaniet al. Antecedents of Big Data Quality An Empirical
Examination in Financial Service Organizations. 4TH IEEE INTERNATIONAL
CONFERENCE ON BIG DATA (BIG DATA), 4., 2016, Washington. Anais
eletrônicos… Washington: 2016.
HAZEN, Benjamin T. et al. Data quality for data science, predictive analytics,
and big data in supply chain management: An introduction to the problem and
suggestions for research and applications. International Journal of Production
Economics, v. 154, 2014, p. 72–80.
JUDDOO, Suraj. Overview of data quality challenges in the context of Big Data.
In: INTERNATIONAL CONFERENCE ON COMPUTING, COMMUNICATION AND
SECURITY (ICCCS), 2015, Pamplemousses. Anais eletrônicos… Pamplemousses :
2015..
KAISLER, Stephen et al. Big Data: Issues and Challenges Moving Forward. In:
XLVI HAWAII INTERNATIONAL CONFERENCE ON SYSTEM SCIENCES, 46.,
Maui, 2013.
KELLING, Steve et al. Taking a `Big Data’ approach to data quality in a citizen
science project. AMBIO, v. 44, n. 4, 2015, p. S601–S611.
KWON, Ohbyung; LEE, Namyeon; SHIN, Bongsik. Data quality management, data
usage experience and acquisition intention of big data analytics. International
Journal of Information Management, v. 34, n. 3, 2014, p. 387–394.
LANEY, Doug. Application Delivery Strategies. META Group, 2001. Disponível
em: . Acessoem: 7 jul. 2017.
MCAFEE, Andrew; BRYNJOLFSSON, Erik. Big Data. The management revolution.
Harvard BuinessReview, v. 90, n. 10, 2012 p. 61–68.
MERINO, Jorge et al.A Data Quality in Use model for Big Data. Future Generation
Computer Systems, v. 63, 2016, p.123-130.
PAIM, Isis; NEHMY, Rosa Maria Quadros, GUIMARÃES, César Geraldo.
Problematização do conceito "Qualidade" da Informação. Perspectivas em
Ciência da Informação, v. 1, n. 1, 1996, p. 111–119.
PORTAL DE PERIÓDICOS DA CAPES/MEC. 07 jun. 2017.
RAO, Dhana; GUDIVADA, Venkat N.; RAGHAVAN, Vijay V. Data Quality Issues in
Big Data. In: IEEE INTERNATIONAL CONFERENCE ON BIG DATA, 2015, Santa
Clara. Anais eletrônicos... Santa Clara: 2015.
RIBEIRO, Claudio José Silva. Big Data: os novos desafios para o profissional da
informação. Informação & Tecnologia, v. 1, n. 1, 2014, p. 96–105.
RDBCI: Revista Digital Biblioteconomia e Ciência da Informação RDBCI : Digital
Journal of Library and Information Science DOI 10.20396/rdbci.v16i1.8650412 ©
RDBCI: Rev. Digit. Bibliotecon. Cienc. Inf. Campinas, SP v.16 n.1 p. 194-210
jan./abr. 2018 [209]
30
SADIQ, Shazia; PAPOTTI, Paolo. Big Data Quality - Whose problem is it? 32ND
IEEE INTERNATIONAL CONFERENCE ON DATA ENGINEERING (ICDE), 32.,
2016, Helsinki. Anais eletrônicos… Helsinki: 2016.
SAHA, Barna; SRIVASTAVA, Divesh. Data Quality: The other Face of Big Data. In:
IEEE 30TH INTERNATIONAL CONFERENCE ON DATA ENGINEERING (ICDE),
30., 2014, Chicago. Anais eletrônicos…Chicago: 2014.
SOMASUNDARAM, G.; SHRIVASTAVA, Alok. Armazenamento e Gerenciamento
de Informações: Como armazenar, gerenciar e proteger informações digitais. Porto
Alegre: Bookman. 2011. 472p.
TALEB, Ikbalet al. Big Data Quality: A Quality Dimensions Evaluation. 13TH
IEEE INT CONF ON UBIQUITOUS INTELLIGENCE AND COMP, 13., 2016,
Toulouse. Anais eletrônicos… Toulouse: 2016. Disponível em: . Acesso em: 7 jul.
2017.
VALENTE, Nelma T. Zubek; FUJINO, Asa. Atributos e dimensões de qualidade
da informação nas Ciências Contábeis e na Ciência da Informação: um estudo
comparativo. Perspectivas em Ciência da Informação, v. 21, n. 2, 2016, p. 141–167.
Disponível em: . Acesso em: 16 mar. 2017.
VIANNA, William Barbosa; DUTRA, Moisés Lima; FRAZZON, Enzo Morosini. Big
data e gestão da informação: modelagem do contexto decisional apoiado pela
sistemografia. Informação & Informação, v. 21, n. 1, 2016, p. 185.
31