ANÁLISE DE DADOS

CONCEITOS E FUNDAMENTOS

DADOS
Registro de alguma entidade. Medidas objetivas e quantitativas de atributos de pessoas, lugares,
coisas e eventos (conjunto de fatos).
Qualquer coisa registrada com o propósito de posterior análise.
Representados por símbolos ou sinais. Ex: sons, imagens, textos, números e estrutura.
Não há semântica. Por si só não fazem sentido. Brutos. Desvinculados da realidade.
Não foram processados, correlacionados, integrados, avaliados ou interpretados.
Possuem significado implícito.
Facilmente estruturado e transferível.
Tipo de variável - quantitativa/numérica contínua - 1.3, 1.5x10^2 - peso, tempo, pressão.
- quantitativa/numérica discreta - 1, 2, 3 - número de filhos, litros de água.
- quantitativa/categóricas nominais - cachorro - factors - sexo, cor dos olhos, são.
- quantitativa/categóricas ordinais - janeiro, 1º - ordered factor - escolaridade.
- data ou tempo - 5/2/24, 8:30 - dia ou hora específicos ou genéricos.
- texto - qualquer frase.

INFORMAÇÃO
Processamento = contextualização e significado.
Dado depois de processados ou contextualização de um dado.
Conjunto de dados significativos e úteis, organizados e ordenados de forma coerente e
significativa para fins de compreensão e análise.
Exige consenso em relação ao significado.
Exige mediação humana.

CONHECIMENTO
Análise = informações úteis a um propósito (entendimento).
Capital intelectual. Habilidade de transformar informação em ações reais.
Mistura de elementos estruturados de forma intuitiva, abstração interior, pessoal.
Implica familiaridade, consciência e compreensão das informações aplicadas a um ambiente.
Conjunto de crenças verdadeiras e justificadas do que é verdade para um indivíduo.
Informações que foram analisadas e avaliadas sobre confiabilidade, relevância e importância.
Inclui reflexão, síntese e contexto.
Frequentemente tácito (não explícito). Sua transparência é complexa.

INTELIGÊNCIA/SABEDORIA
Síntese = experiência, melhoria de desempenho.
Tomada de decisão. Natureza qualitativa. Capacidade de aumentar a eficácia.
Conhecimento sintetizado e aplicado a determinada situação, pela capacidade de julgamento.
Habilidade puramente humana, baseada na experiência, ética e intuição.
Os valores éticos e estéticos que isso implica são inerentes ao ator e são únicos e pessoais.
Faculdade humana de conhecer, compreender, raciocinar, pensar e interpretar.

PIRÂMIDE INFORMACIONAL/DO CONHECIMENTO

TIPOS DE CONHECIMENTO
Tácito - proveniente da experiência, empírico, pode ser não estruturado, com base na prática.
Explícito - proveniente da racionalidade, sequencial, estruturado (codificado), com base na teoria.

MODOS DE CONVERSÃO DE CONHECIMENTO

Socialização - tácito em tácito. Observação, imitação ou prática. Troca de ideias. Compartilhado.
Internalização - explícito em tácito. Leitura. Operacional.
Externalização - tácito em explícito. Metáfora, analogia, símbolo, slogan ou modelos. Conceitual.
Combinação - explícito em explícito. Reuniões, documentos, conversas informais. Sistêmico.
ANÁLISE DE DADOS
Inferencial = ato de extrair informações de uma amostra em relação ao conjunto todo.
Ciência de transformar um grande conjunto de números em algo com significado, para uso na
solução de problemas ou gerando algum tipo de valor para quem analisa.
Observação, limpeza, transformação e modelagem de dados.
Extração de informação de dados não tratados.

TIPOS DE ANÁLISE
Descritiva - manipula informações brutas do passado. Não demonstra causas. Ex: relatórios
financeiros, KPIs (indicadores chave de desempenho), relatórios de contagem de funcionários.
De diagnóstico - comparação de diversos períodos para identificar causas. Envolve análise de
padrões e tendências. Permite correção. Ex: análise de volume e preço para entender como o
preço afeta as vendas.
Preditiva - cria possíveis cenários, identifica tendências e prevê resultados. Baseada em dados
históricos e modelos estatísticos. Ex: previsão de demanda com base em histórico de vendas.
Prescritiva - sugere ações a serem tomadas para aproveitar oportunidades ou evitar riscos. Ex:
identificação dos canais de marketing mais eficazes e recomendação de investimento neles.

CICLO DE ANÁLISE DE DADOS

Estratégia - Escolha de dados adequados - Coleta de dados (manual ou automatizada) - análise
de resultados - interpretação dos resultados

PROCESSO DE ANÁLISE DE DADOS

Import (leitura dos dados) - Tidy (estruturar os dados e corrigir erros) - Understand (gerar
questionamentos e tentar respondê los - visualise, model, transform) - Comunicate (transmitir as
informações obtidas)
Dados estruturados e não estruturados

NÃO ESTRUTURADOS
Em seu estado original (bruto), da forma como foram coletados.
Não seguem nenhum tipo de modelo ou organização predefinida. Flexíveis, dinâmicos.
Abundantes na internet e nas organizações, sendo a maior parte no ambiente corporativo.
Não possibilitam o processamento que produz informações.
Não possuem uma estrutura definida e ela não é descrita implicitamente.
Armazenados nos Data Lakes e em bancos de dados NoSQL.
Ex: documentos texto, imagens, vídeos.

ESTRUTURADOS
Obtenção e formatação de dados não estruturados.
Facilmente buscáveis e acessíveis. Fácil análise.
A estrutura é aplicada com base no tipo de processamento que se deseja executar.
Estruturas rígidas, antes da presença dos dados, o ambiente já foi pensado para eles.
Mesma estrutura de representação (rígida/tipado), previamente projetada (esquema).
Armazenados em Data Warehouses, sistemas de gerenciamento de banco de dados relacional.
Ex: relações/tabelas em banco de dados, planilhas, CSV, XML, JSON.
Metadados = dados estruturados que descrevem e permitem encontrar, gerenciar, compreender e
preservar documentos arquivísticos ao longo do tempo.

SEMI ESTRUTURADOS
Já foram parcialmente processados e contém uma parte rígida e uma não rígida (representação
estrutural heterogênea).
O esquema de representação está presente (implícito ou explícito).
Alta heterogeneidade, que dificulta as consultas.
Não são estritamente tipados nem completamente não estruturados.
Ex: JSON, XML, RDF, OWL.

Dados abertos

Quando qualquer pessoa pode acessar, utilizar, modificar e compartilhar.

Usuário sujeito a exigências que visem preservar sua proveniência e abertura - satisfeito pela
publicação dos dados em formato aberto e sob uma licença aberta.

Decreto 8.777/2016 - Institui a Política de Dados Abertos do Poder Executivo Federal

Dados sensíveis ao público, representados em meio digital, estruturados em formato aberto,
processáveis por máquina, referenciados na internet e disponibilizados sob licença aberta que
permita sua livre utilização, consumo ou cruzamento, limitando-se a creditar a autoria ou a fonte.

Lei 12.527/2011 - Lei de Acesso à Informação

As informações de interesse coletivo ou geral devem ser obrigatoriamente divulgadas pelos
órgãos e entidades em seus sites oficiais. os quais devem atender aos seguintes requisitos:
possibilitar o acesso automatizado por sistemas externos em formatos abertos; serem
estruturados e legíveis por máquina; estarem acompanhados de detalhes sobre os formatos
utilizados para estruturação da informação; serem autênticos, íntegros e atualizados.

Leis dos dados abertos - David Eaves

1 - se o dado não pode ser encontrado e indexado na web, ele não existe.
2 - se não estiver aberto e disponível em formato compreensível por máquina, ele não pode ser
reaproveitado.
3 - se algum dispositivo legal não permitir sua reaplicação, ele não é útil.

Princípios dos dados abertos governamentais.

1 - completos - todo o conjunto de dados é disponibilizado, não somente uma parte deles.
2 - primários - publicados na forma coletada na fonte e não agregado ou transformado.
3 - atualizados - disponibilizados rapidamente para preservar seu valor.
4 - acessíveis - disponibilizados em local da internet que seja facilmente acessível.
5 - processáveis por máquina - razoavelmente estruturados para possibilitar processamento.
6 - anonimato, não discriminatório - não é necessária a identificação para acessá-los.
7 - formato não proprietário - ninguém detém controle exclusivo.
8 - livres de licenças - sem direitos autorais, marcas, patentes ou segredo industrial.

Motivos para abertura de dados na Administração Pública (TCU, 2015)

1 - a sociedade exige mais transparência.
2 - contribuição da sociedade com serviços inovadores ao cidadão.
3 - aprimoramento na qualidade dos dados governamentais.
4 - viabilização de novos negócios.
5 - obrigatoriedade por lei.

https://repositorio.enap.gov.br/bitstream/1/3152/1/M%c3%b3dulo%201%20-%20Conceitos%20de
%20Dados%20Abertos.pdf
https://www.gov.br/governodigital/pt-br/dados-abertos
https://ceweb.br/guias/dados-abertos/capitulo-2/
https://ceweb.br/guias/dados-abertos/capitulo-3/
https://ceweb.br/guias/dados-abertos/capitulo-4/
https://ceweb.br/guias/dados-abertos/capitulo-12/
https://ceweb.br/guias/dados-abertos/capitulo-15/
https://ceweb.br/guias/dados-abertos/capitulo-16/
Noções de processos de ETL

ETL - extract, transform and load - usado na criação do DW - data warehouse

Extração - os dados relevantes são capturados de uma base de dados estruturada ou de
diferentes fontes para posterior transformação. Ex: redes sociais.
Transformação - dados processados ou moldados para compor a informação, modifica os dados
deixando-os adequados para o armazenamento no destino. Pode ser feito por validação,
complementação, remoção, mudança de formato, consolidação. Inclui atividades como
normalização e geração de chave que identifica o registro na base.
Carga - inserção dos dados na base do DW ou Data Mart.

Ferramentas de ETL - OBM InfoSphere, Informática Power Center, Business Objects Data
Integrator, Data Transformation Services, Pentaho Data Integration, Oracle Data Integrator.

Staging Area ou Dynamic Data Storeg (DDS) - armazenamento intermediário que facilita a
integração dos dados do ambiente operacional antes de sua atualização no DW. Nele, se pode
inserir dados oriundos da extração e realizar as transformações necessárias, antes de fazer a
carga. É útil para não sobrecarregar o ambiente de produção (sistema operacional) e nem o
próprio DW com as operações de transformação.

https://www.fiveacts.com.br/etl
https://kondado.com.br/blog/blog/2022/07/26/o-que-e-etl-conheca-as-etapas-do-processo-de-
integracao-de-dados/
https://www.astera.com/pt/type/blog/etl/
https://aws.amazon.com/pt/what-is/etl/
https://blog.brq.com/etl-o-que-e/

Coleta, tratamento, armazenamento, integração e recuperação de dados

ETL - coleta, tratamento, armazenamento

INTEGRAÇÃO
Combinação de dados de diversas fontes em uma base de dados unificada.
Inicia na coleta, com o planejamento das diferentes fontes.

RECUPERAÇÃO
Tornar os dados acessíveis para serem úteis à tomada de decisão.
Acesso aos dados, por meio da consulta e visualização, para subsidiar o processo de decisão.
Data recovery - uso de um conjunto de técnicas e procedimentos para extração de informações
em dispositivos de armazenamento digital (HD, storeages), que não podem ser acessados de
modo convencional pelo usuário ou pelo sistema.

DESCARTE
Dados que não são mais necessários ou que estejam acima da capacidade de tratá-los com
eficiência.

Representação de dados numéricos, textuais e estruturados

Fontes de dados orçamentários

BANCOS DE DADOS RELACIONAIS

https://blog.xpeducacao.com.br/banco-de-dados/

https://blog.xpeducacao.com.br/tipos-de-banco-de-dados/

https://dhg1h5j42swfq.cloudfront.net/2019/10/19230035/Revis%C3%A3o-TCE-RO.pdf

Teoria e implementação

Noções de uso de SQL como DDL e DML

https://www.impacta.com.br/blog/o-que-e-banco-de-dados-sql/
https://www.devmedia.com.br/guia/guia-completo-de-sql/38314
https://support.microsoft.com/pt-br/topic/acessar-sql-conceitos-b%C3%A1sicos-vocabul
%C3%A1rio-e-sintaxe-444d0303-cde1-424e-9a74-e8dc3e460671
https://pt.wikiversity.org/wiki/Introdu%C3%A7%C3%A3o_ao_SQL/Estrutura_da_Linguagem_SQL
http://www.linhadecodigo.com.br/artigo/165/nocoes-da-linguagem-sql-para-consultas.aspx
https://pt.khanacademy.org/computing/computer-programming/sql
https://www.linkedin.com/pulse/explorando-os-comandos-sql-ddl-dql-dml-dcl-e-tcl-enzo-
delcompare/?originalSubdomain=pt
https://www.jdevtreinamento.com.br/ddl-dml-linguagens-de-banco-de-dados/
https://www.devmedia.com.br/forum/qual-a-diferenca-entre-ddl-e-dml/563525#:~:text=DDL%20e
%20DML%20s%C3%A3o%20tipos,Linguagem%20de%20Manipula%C3%A7%C3%A3o%20de
%20Dados.

NOÇÕES DE EXPLORAÇÃO DE DADOS: CONCEITUAÇÃO E CARACTERÍSTICAS

https://www.astera.com/pt/type/blog/data-exploration/
https://help.salesforce.com/s/articleView?id=sf.bi_explorer_exploration_concepts.htm&type=5
https://icd-ufmg.github.io/03-viz/

INTELIGÊNCIA ARTIFICIAL: CONCEITOS E APLICAÇÕES NO SETOR PÚBLICO

https://esr.rnp.br/ciencia-de-dados/o-que-e-inteligencia-articial-esr/
https://www.clp.org.br/inteligencia-artificial-na-gestao-publica-o-que-por-que-e-como/
https://www.clp.org.br/inteligencia-artificial-na-gestao-publica-o-que-por-que-e-como/
https://repositorio.enap.gov.br/bitstream/1/7717/1/6829-Texto%20do%20Artigo-31680-1-10-
20230807.pdf
https://www.enap.gov.br/pt/acontece/noticias/enap-e-microsoft-apresentam-o-potencial-da-ia-e-as-
promessas-para-o-setor-publico
https://www.ipm.com.br/blog/inteligencia-artificial/inteligencia-artificial-e-o-futuro-da-gestao-publica/

NOÇÕES DE LINGUAGEM R
https://dataat.github.io/introducao-analise-de-dados/introdu%C3%A7%C3%A3o-ao-r.html
https://www.remessaonline.com.br/blog/linguagem-r-entenda-como-funciona-e-principais-
aplicacoes/#:~:text=A%20linguagem%20R%20pode%20ser,de%20programa%C3%A7%C3%A3o
%20estat%C3%ADstica%20e%20gr%C3%A1fica.
https://ibpad.com.br/sobre/o-que-e-linguagem-r/
https://pedropark99.github.io/Introducao_R/no%C3%A7%C3%B5es-b%C3%A1sicas-do-r.html
https://didatica.tech/a-linguagem-r/
https://www.estrategiaconcursos.com.br/blog/ciencia-dados-linguagem-r-esquematizada/
https://vanderleidebastiani.github.io/tutoriais/Introducao_ao_R.html

PAREAMENTO DE DADOS (RECORD LINKAGE)

https://medium.com/psicodata/record-linkage-fundamentos-sus-31beb1aafd6b
https://repositorio.ipea.gov.br/bitstream/11058/8705/1/td_2420.pdf
http://www.din.uem.br/sbpo/sbpo2014/pdf/arq0209.pdf

MICROSOFT POWER BI: CONCEITOS E ELABORAÇÃO DE PAINÉIS

https://learn.microsoft.com/pt-br/power-bi/fundamentals/power-bi-overview
https://learn.microsoft.com/pt-br/power-bi/consumer/end-user-basic-concepts
https://learn.microsoft.com/pt-br/power-bi/fundamentals/power-bi-service-overview
https://www.voitto.com.br/blog/artigo/o-que-e-power-bi
https://blog.xpeducacao.com.br/o-que-e-power-bi/
https://www.eng.com.br/artigo.cfm?id=7720&post=introducao-ao-power-bi:-conceitos-iniciais.
https://niteolearning.com/blog/cultura-de-dados-com-power-bi/
https://www.leansolutions.com.br/blog/power-bi/
https://www.hashtagtreinamentos.com/power-bi
https://www.alura.com.br/artigos/power-bi

LGPD - disposições gerais, tratamento de dados pessoais, direitos do titular, tratamento de dados
pessoais pelo poder público, segurança e boas práticas

https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13709compilado.htm
https://www.gov.br/dnit/pt-br/acesso-a-informacao/protecao-de-dados-pessoais-lgpd/
cartilha_lgpd_2021.pdf

QUESTÕES

https://drm-ava-gonline.infra.grancursosonline.com.br/gco/pdf/exemplo-aula-pdf/2022-10-17-10-18-
35-66252060-gestao-da-informacao-etl-e1666012715.pdf?response-content-
disposition=attachment%3Bfilename%3D2022-10-17-10-18-35-66252060-gestao-da-informacao-
etl-e1666012715.pdf&Expires=1706787851&Signature=B-
hkQO69eOOSN40FmcUNwzo1FEaOskRXIWNn4I~-JM8BQVRB1jPttaSPWciA6AJncIBXTiSMVq-
XMaV9abAu7tpsN0JLqazQAJ9JwKw3t~lI1Wh9sH~D2niZv9d7FF-
EpFLZVjEOoT16g4irZ071i59mbQw7o~DpHqzF0dEDZhKjwMCI2bvKPApPBRmfvJwItgheKEGJ-
erFDt8ldG4OuKHxWsD~05cIcKp5Nr0Uo4932IxcocmPTwZKEAxp6OmgSO4tzrkcYJlehvKCnUkEq
q4BczAutzwpEZbqv27fZsLM4HHdQ9woRDq8hLYLP-Eha1QgEZ0jKicu6ZdQjI8mPQ__&Key-Pair-
Id=APKAJWDRH5QWMLF2KNSA