Projeto Brasil.IO COVID-19: Dados Públicos Acessíveis


Turicas aka Álvaro Justen


Tableau Webinars

15 de abril de 2020

## Slides disponíveis em: ## [bit.ly/brasilio-tableau](https://bit.ly/brasilio-tableau)

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io

## Agenda - Dados abertos - O que são - Aplicações - Problemas - Brasil.IO - O que é - Projeto COVID-19 - Dificuldades - Dados

Minha história com dados


Instagram @turicas

Dados: meio para responder perguntas

Data Pipeline


schoolofdata.org/methodology

Dados Abertos

Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)


Mais detalhes:

## Dados Abertos - Aplicações - [Eficiência em gestão pública](https://www.colab.re/tag/gestao-publica) - [Controle social](https://pt.wikipedia.org/wiki/Controlo_social) - [Jornalismo/Combate à desinformação](https://en.wikipedia.org/wiki/Misinformation) - [Negócios/aumento de produtividade](https://en.wikipedia.org/wiki/Data_analysis)

Rosie, a robô

Tweet de RosieDaSerenata
R$ 191 em um restaurante cujos pratos não custam R$ 40, deputado?
twitter.com/tOa_D/status/1058495655184871425

Realidade versus Senso Comum


(em conjunto com Juan Torres, para correio24horas.com.br)
Acesse a matéria

(em conjunto com Giulliana Biaconi, para generonumero.media)
Leia a matéria

Driva: Inteligência em Vendas
(B2B)

Driva - Inteligência em Vendas
driva.com.br

Maior parte do tempo dos projetos de análise de dados:

## Qualidade dos Dados ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)
## Causos da Transparência Brasileira - Dados muito dispersos (centenas de XLS) - Formatos não estruturados (PDF, imagens) - Formatos proprietários - Dados deletados com o tempo - Dados pagos (!?) - [Veja os slides da palestra](https://blog.brasil.io/2019/04/30/slides-da-palestra-opendata-fail-causos-da-transparencia-brasileira/index.html)
## Problemas de Usabilidade de Dados - **Formato** (qualidade técnica) - Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) - **Dispersão** - Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE) - **Quantidade** de dados - Exemplo: 18 milhões de sócios (RFB) - **Domínio** da área - Exemplo: o que é unidade eleitoral? (TSE) [Veja mais detalhes](https://brasil.io/manifesto)
## Soluções - Educação tecnológica - Melhorar ferramentas - Libertação de dados - Pressão por dados melhores

Jornalismo de Dados

4300+ estudantes!


Fonte: Knight Center, Texas University
rows convert arquivo.pdf arquivo.csv Biblioteca rows convertendo PDF para CSV
github.com/turicas/balneabilidade-brasil

Brasil.IO

O Brasil em dados libertos

Logo Brasil.IO
  • Software livre e colaborativo
  • Python + Django + PostgreSQL

Brasil.IO COVID-19

## Dados: Ministério da Saúde - Histórico não disponível - Site fora do ar constantemente - Falta de dados locais
## Dados: Secretarias Estaduais de Saúde - Formato não estruturado (PDF, imagem etc.) - Local não centralizado (mais de um site, Twitter, Instagram etc.) - Falta de indexação dos boletins diários - Metodologia alterada e sem aviso - Falta de detalhes e padronização (recuperados, faixa etária etc.)
## Processo de coleta de dados - **35+ voluntários!** ![](images/heart.png) - Robô que detecta novos boletins - Alinhamentos no [chat.brasil.io](https://chat.brasil.io) - Coleta manual - Planilhas no Google Spreadsheets - Checagem manual - Checagem automática - Atualização da base de dados
## Dados: Brasil.IO - [boletim](https://brasil.io/dataset/covid19/boletim) - [caso](https://brasil.io/dataset/covid19/caso) - [obito_cartorio](https://brasil.io/dataset/covid19/obito_cartorio)
## Links - Para quem quer usar: - [Dataset covid19](https://brasil.io/dataset/covid19) - [Download dos dados](https://data.brasil.io/dataset/covid19/_meta/list.html) - [Documentação da API](https://github.com/turicas/covid19-br/blob/master/api.md) - [FAQ](https://github.com/turicas/covid19-br/blob/master/faq.md) - Para quem quer colaborar: - [Repositório do Brasil.IO no GitHub](https://github.com/turicas/brasil.io) - [Repositório do Brasil.IO/covid19 no GitHub](https://github.com/turicas/covid19-br) - [Recomendações para Secretarias de Saúde](https://github.com/turicas/covid19-br/blob/master/recomendacoes.md)
## Apoie o Projeto! ### [brasil.io/colabore](https://brasil.io/colabore) - Sugerindo datasets e melhorias - Melhorando os scripts de coleta atuais - Criando novos scripts de coleta - Publicando tutoriais no [blog.brasil.io](https://blog.brasil.io/) - **Doando** no [apoia.se/brasilio](https://apoia.se/brasilio)

Dúvidas?

“ Restringir acesso a dados públicos é elitizar a democracia. ”
-- Manifesto Brasil.IO

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io