basedosdados - v2.0.0

Unitary tests for Python Package Updated, closing Issue # 1691
Documentation Updated, closing Issue #1692

- SQL
Published by rdahis about 1 year ago

basedosdados - v1.6.11

change default & log permissions
minor fixes

- SQL
Published by mfagundes almost 3 years ago

basedosdados - v1.6.10

installs Shapely 1.x.x for compatibility with Google Colab (has Shapely 2.0.0 which is incompatible)

- SQL
Published by mfagundes about 3 years ago

basedosdados - v1.6.9

CHANGELOG - updating pandas version - removing unused dependencies

- SQL
Published by mfagundes about 3 years ago

basedosdados - v1.6.8

CHANGELOG 1. Corrige bug criado no PR https://github.com/basedosdados/mais/issues/1338

- SQL
Published by lucascr91 over 3 years ago

basedosdados - v1.6.7

CHANGELOG 1. Remove hardcode configuration path. Ver https://github.com/basedosdados/mais/pull/1344

- SQL
Published by lucascr91 over 3 years ago

basedosdados - v1.6.6

Resolve bug na CLI #1338

- SQL
Published by mfagundes over 3 years ago

Changelog

Resolve bug de autenticação no Google colab #1289

- SQL
Published by lucascr91 over 3 years ago

Changelog

refatoraupdate_columns #1188
adiciona parquet e parquet.gzip como formatos de upload para o storage #1188
adapta bdbdmtable_schema para novo formato definido no website #1188
expõe parâmetro chunck_size do objeto blob #1188
troca comportamento do dataset_is_public, permitindo acessar os dados da tabela de staging #1188

- SQL
Published by d116626 over 3 years ago

Change Log

Conserta table.update para o modo staging
Adiciona loguro no poetry
Remove parâmetro querry das funções bd.funcoes list_datasets e bd.list_dataset_table
Conserta configuração de variáveis globais no constatns.config
Adiciona parâmetro from_file ao constatns.config

- SQL
Published by lucascr91 almost 4 years ago

Changelog

inclusão do parâmetro dataset_is_public #1020
datasets*_staging agora são privados por default#1020
parâmetro location define localização da criação dataset #1020
retry de 10x ao fazer upload para o Storage #1020
small path fix to dataset_config.yaml #1067
criamos campos novos (e.g. observation_level, short_description, etc), matamos campos (e.g. entity, time_unit, etc). #1093
fizemos o campo dataset_id não ser automaticamente criado em dataset_config.yaml. #1093
o parametro columns_config_url virou columns_config_url_or_path e agora suporta carregamento de tabela de arquitetura local
fix empity list as partition
Redireciona metadados para ckan + adicionar função de search #1063
Adiciona logs nas funcões de upload #1085
Adiciona configs gerais do basedosdados #1085
Adiciona suporte a Avro e Parquet (cont.) #1145

- SQL
Published by lucascr91 almost 4 years ago

1026 Cria bypass de memória --> Agora usuário pode fazer download de bases com qualquer tamanho

1010 Conserta a descrição do dataset

- SQL
Published by JoaoCarabetta about 4 years ago

Pre-release: v1.6.0-beta

Essa pre-release compreende a implementação dos PRs #675, #795 e #847. As mudanças proveniente de cada um dos PRs são descritas a seguir.

Changelog

PR #675

Adiciona módulo metadata.py com as modificações e funções descritas a seguir. Elas estão disponíveis tanto a partir da importação do módulo e da classe Metadata via script ou notebook, tanto como a partir do cliente CLI basedosdados.

Baixar metadados do CKAN e converter para YAML: `Metadata.create`

Permite baixar metadados de um dataset/tabela do CKAN, construindo um dataset/table_config.yaml a partir deles
Permite criar um arquivo dataset/table_config.yaml estruturado e sem valores preenchidos para novos datasets e tabelas

Garantir que usuário não esteja subindo metadados mais antigos do que os atuais: `Metadata.is_updated`

Permite comparar a versão do YAML local com a versão dos metadados do CKAN, indicando se os metadados locais correspondem à versão mais atualizada.

Validar se metadado está dentro dos padrões: `Metadata.validate`

Indica, a partir das APIs do CKAN, quais campos do YAML estão preenchidos de forma inadequada.
Indica o padrão correto a ser seguido no preenchimento dos dados.

Subir metadado para o CKAN: `Metadata.publish`

Permite subir os metadados locais preenchidos no YAML para o CKAN.

Integração com `Table`

Table.create usa Metadata.create para gerar o dataset/table_config.yaml

PR #795

Upload para o Google Storage permite novos modes: header, auxiliary_files e architecture
Agora table_approve.py faz o download das 20 primeiras linhas da table e adiciona na pasta header do Google Storage

PR #847

Introduz o parâmetro use_bqstorage_api nas funções de requisição de dados para acelerar o download

- SQL
Published by vmussa over 4 years ago

basedosdados - v1.5.7

Closes issues #687 and #511

Resolve PR #793 Breve descrição das alterações Modificações baseadas em https://stackoverflow.com/questions/45300037/cannot-upload-large-file-to-google-cloud-storage - Adiciona o parâmetro chunksize como opcional em Storage.upload - Caso ele seja configurado, altera o chunk size do blob para o valor determinado - Caso não seja configurado, não altera o atributo do blob - Adiciona o parâmetro chunksize como opcional em Table.append - Para usá-lo associado ao Storage.upload

- SQL
Published by JoaoCarabetta over 4 years ago

basedosdados - v1.5.6

Changelog

PR #626

Melhora traceback do módulo download
Melhora estrutura das Exception

- SQL
Published by vmussa over 4 years ago

basedosdados - v1.5.5

Issue #555 - Adição do Table().table_exits() - Modificação do Table().append() para não dar replace na tabela

Issue #522 - dá a opção de retornar variáveis nas funções de metadados

Issue #578 - adiciona code coverage

PR #557 - adicionar possiblidade de configurar via variável de ambiente

- SQL
Published by JoaoCarabetta over 4 years ago

basedosdados - v1.5.4

CHANGELOG:

Refatora condicionais e simplifica código
Melhora o pipeline da primeira configuração (#513)

- SQL
Published by JoaoCarabetta over 4 years ago

basedosdados - v1.5.3

Reorganiza as pastas do pacote
Resolve bugs de Path no CLI

- SQL
Published by d116626 over 4 years ago

basedosdados - v1.5.0

Adiciona nova função Storage.download()
Remove parâmetro partitioned do Table.create(): checa automaticamente se o dado é particionado
Resolve issue #302 : Table.update(mode="all") não sobrescreve configurações de partição
Resolve issue #371: resolve erro de timeout ao tentar ler uma tabela do BigQuery
Resolve issue #294: adiciona suporte para criar colunas extras no publish.sql

- SQL
Published by JoaoCarabetta almost 5 years ago

basedosdados - v1.4.10

Fix Storage.copy_table() prefix
Fix Storage.delete_table()
Auto divide batch requests in Storage.copytable() and Storage.deletetable()
Fix table.publish(): return error if view can't be created

- SQL
Published by Hellcassius almost 5 years ago

Fix windows double encoding

- SQL
Published by d116626 almost 5 years ago

basedosdados - Bugfixes

Fix bugs on: - CLI table create - Windows path parsing

- SQL
Published by Hellcassius about 5 years ago

basedosdados - v1.4.0 Table Approve!

New functions - Storage().copytable - Storage().deletetable

New parameters for - Table().init() - Table().table_create()

New action - table approve

Template Change - tableconfig --> auto adds sourcebucket and project id metadata

- SQL
Published by JoaoCarabetta about 5 years ago

basedosdados - New Download Metadata Functions

Adds new download metadata functions
Hot fixes in templates and central API logic

- SQL
Published by JoaoCarabetta about 5 years ago

basedosdados - v1.2.2

Fix hardcoded bucket name in table.py.

CLI now works in any Google Cloud account

- SQL
Published by JoaoCarabetta about 5 years ago

basedosdados - v1.2.1

Changes: - Adds explicit billing project if to download functions - Adds Google reauthorization option

- SQL
Published by JoaoCarabetta about 5 years ago

basedosdados - v1.2.0

Fixes #172 Bug to publish data to BigQuery
Changes publish.sql template to add CREATE VIEW basedosdados.{project_id}.{table_id} AS

- SQL
Published by JoaoCarabetta over 5 years ago

basedosdados - v1.1.0

credentials for download to web-based first
improves initial configuration for uploaders
resolve partition and column type bugs
adapt documentation

- SQL
Published by JoaoCarabetta over 5 years ago

Recent Releases of basedosdados

basedosdados - v2.0.0

basedosdados - v1.6.11

basedosdados - v1.6.10

basedosdados - v1.6.9

basedosdados - v1.6.8

basedosdados - v1.6.7

basedosdados - v1.6.6

basedosdados - v1.6.5

Changelog

basedosdados - v1.6.4

Changelog

basedosdados - v1.6.3

Change Log

basedosdados - v1.6.2

Changelog

basedosdados - v1.6.1

1026 Cria bypass de memória --> Agora usuário pode fazer download de bases com qualquer tamanho

1010 Conserta a descrição do dataset

basedosdados - v1.6.0

Pre-release: v1.6.0-beta

Changelog

PR #675

Baixar metadados do CKAN e converter para YAML: Metadata.create

Garantir que usuário não esteja subindo metadados mais antigos do que os atuais: Metadata.is_updated

Validar se metadado está dentro dos padrões: Metadata.validate

Subir metadado para o CKAN: Metadata.publish

Integração com Table

PR #795

PR #847

basedosdados - v1.5.7

basedosdados - v1.5.6

Changelog

PR #626

basedosdados - v1.5.5

basedosdados - v1.5.4

basedosdados - v1.5.3

basedosdados - v1.5.0

basedosdados - v1.4.10

basedosdados - v1.4.6

basedosdados - v1.4.5

basedosdados - v1.4.4

basedosdados - v1.4.3

basedosdados - Bugfixes

basedosdados - v1.4.0 Table Approve!

basedosdados - New Download Metadata Functions

basedosdados - v1.2.2

basedosdados - v1.2.1

basedosdados - v1.2.0

basedosdados - v1.1.0

Baixar metadados do CKAN e converter para YAML: `Metadata.create`

Garantir que usuário não esteja subindo metadados mais antigos do que os atuais: `Metadata.is_updated`

Validar se metadado está dentro dos padrões: `Metadata.validate`

Subir metadado para o CKAN: `Metadata.publish`

Integração com `Table`