Skip to content

[databug] br-me-caged #1754

Description

@laura-l-amaral

Tabela afetada

microdados

Descrição do problema nos dados

Não está atualizado

Evidência

site

Referências

No response


Resolução

Causa raiz: br_me_caged (as 3 tabelas: microdados_movimentacao, _fora_prazo, _excluida) usava um poll antigo que comparava a data publicada pela fonte contra Table.Update.latest — que não é a cobertura real dos dados, e sim o timestamp de quando a tabela foi materializada (bq.last_modified). Uma materialização anterior tinha gravado Table.Update.latest = 2026-07-07 (timestamp de execução, dia 7), e como a fonte é sempre representada pelo dia 1 do mês, a comparação ficava sempre falsa — bloqueando a detecção mesmo com junho/2026 já publicado no FTP desde 29/07. É o mesmo defeito já corrigido no br_ms_cnes.

Correção:

  • Código migrado para o modelo de poll novo (pipelines/utils/metadata/poll.py), que compara cobertura real com cobertura real em vez de cobertura vs. timestamp de execução: fix: br_me_caged não detecta atualizações do CAGED #1760
  • Table.Update.latest corrigido manualmente nas 3 tabelas em produção (2026-07-072026-05-01, refletindo a cobertura real na época)

Validado: os 3 flows rodaram em 2026-08-09 e junho/2026 chegou certo nas 3 tabelas, sem duplicação (detalhes no PR #1760). Falta apenas o merge do PR para a correção valer nas próximas execuções automáticas do cron.

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

databugDefeito nos dados publicados (valor errado, encoding, coluna ausente)

Type

No type

Projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions