e-Book
E-book Ciência de Dados - Fundamentos e Aplicações
-
ISBN:
9788521638766
- Edição: 1|2024
- Editora: LTC
Inédito no mercado, Ciência de Dados – Fundamentos e Aplicações foi desenvolvido para apresentar e desvendar os conceitos essenciais à compreensão e à utilização de algoritmos e técnicas específicos da área. Por seu caráter introdutório, é indicado para graduandos, pós-graduandos e profissionais de qualquer área que busquem especialização, podendo também ser utilizado por aqueles que atuam em projetos colaborativos de Ciência de Dados.
A obra apresenta os seguintes destaques:
- histórico e evolução da Ciência de Dados, incluindo exemplos de aplicações;
- introdução à linguagem de programação Python – a mais utilizada para estudo e desenvolvimento de soluções baseadas em Ciência de Dados;
- conceitos introdutórios de Estatística;
- principais abordagens para exploração de dados;
- tratamento e manipulação de dados para torná-los úteis e relevantes;
- extração de modelos a partir de dados por diferentes abordagens;
- tópicos avançados, tendências e orientações para trabalhar com Ciência de Dados de modo ético e responsável.
Para ilustrar o uso dos conceitos apresentados e oferecer uma experiência prática, o livro traz inúmeros exemplos de códigos escritos na linguagem Python, que estão disponíveis também on-line – em uma página exclusiva, disponibilizada pelos autores – para consolidar o conhecimento adquirido.
Ciência de Dados – Fundamentos e Aplicações concentra o conteúdo indispensável para o início dessa jornada em prol da formação de estudantes e da especialização de profissionais que desejam se desenvolver nessa fascinante e crescente área que, sistematicamente, demanda cada vez mais mão de obra qualificada.
Parte I Conceitos Gerais sobre Ciência de Dados
Capítulo 1 Introdução à Ciência de Dados
1.1 Big Data
1.2 Formatos e Papéis dos Dados
1.3 Bancos de Dados
1.4 História da Ciência de Dados
1.5 O que é Ciência de Dados?
1.6 Considerações Finais
Capítulo 2 Ciência de Dados na Prática
2.1 Etapas de um Projeto de Ciência de Dados
2.2 Ciclo de Vida dos Dados
2.3 Lago de Dados
2.4 Governança de Dados
2.5 Curadoria de Dados
2.6 Práticas para Trabalho em Equipe
2.7 Aplicações de Ciência de Dados
2.8 Considerações Finais
Capítulo 3 Conceitos Gerais da Linguagem Python
3.1 A Linguagem Python
3.2 Tipos Básicos e Variáveis
3.3 Expressões
3.4 Comandos
3.4.1 Comandos Condicionais
3.4.2 Comandos de Repetição
3.5 Estruturas de Dados
3.5.1 Listas
3.5.2 Tuplas
3.5.3 Conjuntos
3.5.4 Dicionários
3.6 Funções
3.6.1 Formato de Funções em Python
3.6.2 Funções de Entrada e Saída
3.7 Considerações Finais
Capítulo 4 Python para Ciência de Dados
4.1 Manipulação de Dados Tabulares com Pandas
4.2 Funções Básicas
4.2.1 Tipos de Dados com Pandas
4.2.2 Renomeando Colunas
4.2.3 Selecionando Linhas e Colunas
4.2.4 Adicionando e Removendo Colunas
4.3 Operações Básicas
4.3.1 Consultas
4.3.2 Ordenação
4.3.3 Combinando DataFrames
4.3.4 Salvando DataFrames
4.4 Considerações Finais
Parte II Exploração de Dados
Capítulo 5 Estatística para Exploração de Dados
5.1 Escalas de Medidas
5.2 Conceitos Importantes
5.3 Estatística Descritiva e Teoria das Probabilidades
5.4 Estatística Descritiva
5.4.1 Análise Univariada
5.4.2 Análise Multivariada
5.5 Considerações Finais
Capítulo 6 Visualização para Exploração de Dados
6.1 Métodos de Visualização Disponíveis em Python
6.2 Gráficos de Barras ou Colunas
6.2.1 Análise Univariada
6.2.2 Análise Multivariada
6.3 Gráfico de Setor
6.4 Gráficos de Dispersão
6.4.1 Análise Bivariada
6.4.2 Análise Multivariada
6.5 Gráficos de Linhas
6.6 Gráficos de Radar
6.7 Gráficos de Coordenadas Paralelas
6.8 Histogramas
6.9 Gráfico de Caixa – Boxplot
6.10 Gráficos de Violino
6.11 Nuvens de Palavras
6.12 Mapas de Calor
6.13 Desafios para a Visualização de Dados
6.14 Considerações Finais
Parte III Engenharia de Dados
Capítulo 7 Qualidade de Dados
7.1 Valores Ausentes
7.1.1 Mecanismos de Ausência de Dados
7.1.2 Técnicas para Lidar com Ausência de Dados
7.2 Valores Redundantes
7.3 Valores Inconsistentes
7.4 Valores com Ruídos
7.5 Valores Outliers
7.6 Dados Enviesados
7.7 Considerações Finais
Capítulo 8 Transformação de Dados
8.1 Anonimização de Dados
8.1.1 Anonimização de Identificadores
8.1.2 Anonimização de Atributos
8.2 Conversão de Valores entre Diferentes Tipos
8.2.1 Qualitativos para Quantitativos
8.2.2 Quantitativos para Qualitativos
8.3 Transformação de Valores Numéricos
8.3.1 Funções Matemáticas Simples
8.3.2 Normalização
8.3.3 Quando Normalizar
8.3.4 Tradução de Valores de Atributos
8.4 Considerações Finais
Capítulo 9 Engenharia de Características
9.1 Definição e Criação de Características
9.2 Extração de Características
9.3 Redução de Dimensionalidade
9.4 Agregação de Atributos
9.5 Seleção de Atributos
9.5.1 Seleção por Ordenação
9.5.2 Seleção por Complementaridade
9.6 Considerações Finais
Parte IV Modelagem de Dados
Capítulo 10 Amostras de Dados para Experimentos
10.1 Amostragem
10.1.1 Representatividade de uma Amostra
10.1.2 Variabilidade de Valores
10.1.3 Procedimentos de Amostragem
10.2 Procedimentos para Reamostragem de Dados
10.3 Vieses em Dados e Modelos
10.4 Conjuntos de Dados Desbalanceados
10.5 Considerações Finais
Capítulo 11 Modelagem de Dados
11.1 Aprendizado de Máquina
11.2 Tarefas de Modelagem
11.3 Algoritmos de Modelagem
11.3.1 Algoritmos Baseados em Proximidade: K-vizinhos mais Próximos e K-médias
11.3.2 Algoritmos Baseados em Otimização: Perceptron e Backpropagation
11.3.3 Algoritmos Baseados em Estatística: Regressão Linear e Regressão Logística
11.3.4 Algoritmos Baseados em Procura: Indução de Árvores de Classificação e de Regressão
11.4 Comitês de Modelos
11.4.1 Abordagens
11.4.2 Aplicação dos Algoritmos de Modelagem: Python
11.5 Viés e Variância
11.6 Modelos Discriminativos e Generativos
11.7 Aprendizado de Máquina Automatizado (AutoML)
11.7.1 Otimização
11.7.2 Meta-aprendizado
11.8 Considerações Finais
Capítulo 12 Avaliação, Ajuste e Seleção de Modelos
12.1 Avaliação de Modelos Preditivos
12.1.1 Avaliação para Regressão
12.1.2 Avaliação para Classificação
12.2 Avaliação de Modelos Descritivos
12.2.1 Ajuste de Hiperparâmetros de Algoritmos
12.3 Seleção e Testes de Hipóteses
12.4 Interpretação e Explicação de Modelos
12.5 Considerações Finais
Parte V Tópicos Avançados em Ciência de Dados
Capítulo 13 Dados Não Estruturados
13.1 Análise de Sequências Biológicas
13.1.1 Coleta de Sequências Biológicas
13.1.2 Transformação em Conjuntos de Dados Estruturados
13.1.3 Engenharia de Características de Sequências Biológicas
13.1.4 Exemplo de Aplicação Utilizando Python
13.2 Análise de Imagens
13.2.1 Coleta de Imagens
13.2.2 Tratamento de Imagens
13.2.3 Transformação em Conjuntos de Dados Estruturados
13.2.4 Engenharia de Característica de Imagens
13.2.5 Exemplo de Aplicação Utilizando Python
13.3 Análise de Textos
13.3.1 Coleta de Textos
13.3.2 Tratamento dos Textos
13.3.3 Transformação em Conjuntos de Dados Estruturados
13.3.4 Engenharia de Características de Textos
13.3.5 Exemplo de Aplicação Utilizando Python
13.4 Considerações Finais
Capítulo 14 Ciência de Dados Responsável
14.1 Ciência de Dados Ética
14.2 Ciência de Dados Justa
14.3 Ciência de Dados com Proteção e Privacidade
14.3.1 Práticas de Informações Justas
14.3.2 Legislação
14.4 Ciência de Dados Reproduzível
14.5 Ciência de Dados Transparente
14.6 IA Centrada nos Dados
14.7 Considerações Finais
Apêndice
Bibliografia
Índice Alfabético
André Carlos Ponce de Leon Ferreira de Carvalho é graduado e Mestre em Ciência da Computação pela Universidade Federal de Pernambuco (UFPE) e Doutor em Electronic Engineering pela University of Kent, na Inglaterra. Atua como professor titular e diretor do Instituto de Ciências Matemáticas e de Computação (ICMC) da Universidade de São Paulo (USP), campus São Carlos, e coordena uma das unidades da Empresa Brasileira de Pesquisa e Inovação Industrial (EMBRAPII) na área de Ciência de Dados. Liderou projetos em Ciência de Dados em diversas empresas e órgãos públicos. É um dos autores de Inteligência Artificial – Uma Abordagem de Aprendizado de Máquina, do GEN | LTC, vencedor de Prêmio Jabuti.
Angelo Garangau Menezes é graduado em Engenharia Mecatrônica pela Universidade Tiradentes (Unit), com estágio na Lakehead University, no Canadá, Mestre em Ciência da Computação pela Universidade Federal de Sergipe (UFS) e Doutor em Ciência da Computação e Matemática Computacional pela USP, com estágio na Università di Pisa, na Itália. Possui experiência em Ciência de Dados, Aprendizado de Máquina e Visão Computacional, tendo executado diversos projetos nessas áreas em empresas nacionais e multinacionais. Atualmente, trabalha como engenheiro de software na Google.
Robson Parmezan Bonidia é graduado em Tecnologia em Segurança da Informação pela Faculdade de Tecnologia de Ourinhos (Fatec Ourinhos), Especialista em Redes de Computadores e Mestre em Bioinformática pela Universidade Tecnológica Federal do Paraná (UTFPR), e Doutor em Ciência da Computação e Matemática Computacional pela USP. Recebeu o Latin America Research Awards da Google e foi finalista do Falling Walls Lab Brasil 2022, promovido pelo Centro Alemão de Ciência e Inovação. Possui vasta experiência em Computação, com ênfase em Biologia Computacional, Inteligência Artificial, Reconhecimento de Padrões, Meta-heurísticas e Mineração de Dados. Atualmente, é professor na UTFPR – campus Cornélio Procópio.