Skip to content

chore(salic): remove o salic_dbt e a ingestão v1 - #150

Merged
LuizaMaluf merged 1 commit into
mainfrom
chore/limpeza-salic-legado
Nov 4, 2026
Merged

LuizaMaluf merged 1 commit into
mainfrom
chore/limpeza-salic-legado

Conversation

@LuizaMaluf

Copy link
Copy Markdown
Member

Descrição

Último PR da migração do SALIC para a estrutura do ADR 0010. Tira do repositório o que sobrou da estrutura antiga:

  • dbt/minc/models/salic_dbt/: só restava a source bronze_sac_legado, que aponta para o schema bronze. Nenhum modelo a lê.
  • Ingestão v1 do SALIC (dags/data_ingest/salic/salic_ingestion.py, @daily): copiava o SQL Server para o schema bronze em Python. Foi substituída pela salic_ingestion_trino (ADR 0005/0017), que é quem alimenta todas as silvers. No banco, o bronze não recebe nenhuma escrita desde o último reset de estatística, enquanto o salic recebeu 8,7 mi de inserts no mesmo período.
  • Plugins extractor.py, relational_database_extractor.py e sql_server_extractor.py: só a v1 os importava.
  • Recipes do OpenMetadata (metadata, profiler, classifier): deixam de filtrar ^bronze$. O test_openmetadata_packaging exige isso, porque nenhuma source declara mais esse schema.

Também atualiza textos que descreviam o estado em curso: CLAUDE.md, o comentário dos cinco catálogos do Trino, o cabeçalho de salic/schema.yml e o diário em docs/openmetadata/MEMORY.md, com a limpeza do banco já feita em 03/11 e o fim da F17. No test_salic_silver_governance.py sai o ramo do legado, que não tinha mais o que testar.

Fora deste PR:

  • O drop do schema bronze (465 tabelas, 23 GB) e da tabela control.salic_ingestion_log. Vai ser feito por script, como dl_airflow. O schema control fica, porque a v2 e o Mapas gravam nele.
  • As dependências pymssql e apache-airflow-providers-microsoft-mssql, que agora não têm uso. Tirá-las exige regenerar o poetry.lock, então ficam para um PR próprio.

Issue relacionada

Sem issue própria, como os PRs anteriores da migração. Refs #138, #145, #147.

Tipo de mudança

  • Ingestão — cliente de API, DAG, carga
  • Modelo dbt — transformação, camada, teste
  • Correção de bug ou de inconsistência de dados
  • Infra / CI
  • Documentação
  • Outro: ___

Impacto em dados

  • Schemas e tabelas afetados: nenhum no banco. A DAG salic_ingestion some do Airflow e, com ela, a ingestão diária no schema bronze, que já não escrevia. O OpenMetadata para de catalogar e perfilar o bronze.
  • Camada: raw (ingestão v1)
  • Precisa reexecutar alguma coisa depois do merge? Não. Nenhum modelo dbt muda de SQL; só sai uma source sem leitor.
  • Muda número que já está em uso? Não.

Como testar

cd dbt/minc && dbt parse          # sem a source legada
poetry run python -m pytest tests -q
python3 .claude/skills/arquitetura-lakehouse-minc/scripts/verificar.py dbt/minc/models/salic

Evidências

  • dbt parse: ok.
  • pytest: 8176 passed, 69 skipped. Antes de tirar o ^bronze$ das recipes, os 3 casos de test_scoped_recipes_share_the_same_schema_filter falhavam.
  • verificar.py em dbt/minc/models/salic: nenhuma violação.
  • minc_cosmos_dag completa e verde em 03/11, com o fix(dags): testes com dois pais ganham task própria na minc_cosmos_dag #147: 1h35, inclusive as golds da Meta 3 e da Meta 5.
  • Banco, só leitura: schema bronze com 465 tabelas e 0 insert/update/delete desde o reset de estatística.

Checklist

  • Título segue Conventional Commits
  • Issue relacionada referenciada acima — sem issue própria, só Refs
  • Rodei make lint localmente — make lint falha na main por black em 45 arquivos que este PR não toca. Rodei ruff e black --check no único .py alterado (tests/test_salic_silver_governance.py): limpos
  • Rodei make test localmente (pytest tests)
  • Testes dbt adicionados ou atualizados — não se aplica, nenhum teste dbt mudou
  • Descrição das colunas atualizada no schema.yml — não se aplica, nenhuma coluna mudou
  • Nenhuma credencial, CPF, CNPJ ou dado pessoal no código, no log ou no print
  • Branch atualizada com origin/main
  • Documentação afetada atualizada (make docs-collect rodado e acervo commitado)

🤖 Generated with Claude Code

A migração do SALIC para a estrutura do ADR 0010 terminou: o salic_dbt/ só
guardava a source bronze_sac_legado, sem nenhum leitor, e a DAG salic_ingestion
(v1) gravava no schema bronze, que nada no dbt lê. Saem os dois e os três
plugins que só a v1 usava. As recipes do OpenMetadata deixam de filtrar o
schema bronze, e CLAUDE.md, comentários do Trino e o diário passam a descrever
o estado final.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@LuizaMaluf
LuizaMaluf merged commit dfb98b3 into main Nov 4, 2026
7 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants