Integração de dados¶
Uma integração só está concluída quando o processo consegue identificar cada registro, resolver suas referências, interpretar unidade e escopo temporal e explicar o que foi aceito ou rejeitado. Receber um arquivo ou uma requisição não prova que os dados se tornaram utilizáveis.
Quatro famílias conectadas¶
| Família | Responsabilidade | Exemplos |
|---|---|---|
| Dados mestres | Identidades estáveis e relações estruturais | Materiais, locations, unidades, malha, listas, roteiros e custos |
| Dados transacionais | Fatos operacionais dependentes do tempo | Vendas, estoque, ordens, entregas, produção e viagens |
| Dados de configuração | Regras e escopo usados pela execução | Clusters, perfis, workflows, políticas e parâmetros globais |
| Dados de planejamento | Saídas versionadas e liberações oficiais | Demand Plan, Released Demand, Supply Plan e cargas planejadas |
As famílias formam uma cadeia de dependências. Uma venda referencia material, location, data e unidade. Um Demand Plan referencia configuração e histórico. Um Supply Plan referencia demanda, malha, políticas e perfil.
Contrato de uma base¶
Cada página publicada deve responder:
- Caminho em Data: onde o planejador acessa a base.
- Finalidade: qual decisão a consome.
- Granularidade: o que uma linha representa.
- Chave: como a linha é identificada de forma única.
- Campos obrigatórios: valores que precisam ser informados e não possuem default.
- Campos opcionais: valores que podem ser omitidos e, somente para eles, o valor padrão se não preenchido.
- Referências: cadastros que precisam existir antes.
- Valores enumerados: payloads exatos em inglês e seus significados.
- Dependências e utilizado por: requisitos upstream e consumidores downstream.
- Validação e reconciliação: como provar completude e coerência.
Valores padrão pertencem somente a campos opcionais. Um identificador obrigatório nunca recebe default inventado.
Ordem recomendada de preparação¶
- Crie identificadores estáveis de material, location e unidade.
- Carregue conversões e características de planejamento.
- Carregue dados mestres de malha, produção e economia.
- Carregue vendas, estoque e ordens abertas.
- Configure clusters, perfis, workflows e políticas.
- Reconcilie contagens, quantidades, cobertura e referências.
- Execute um plano pequeno e controlado.
- Compare o plano gerado com totais conhecidos antes de ampliar o escopo.
A sequência exata depende do workflow. Demand Planning começa em Preparar os dados; Supply Planning segue o modelo físico.
Tempo e calendário¶
Para cada base temporal, defina:
- fuso do negócio;
- significado da data: ocorrência, documento, expedição, recebimento, disponibilidade ou fim do período;
- corte inclusivo ou exclusivo;
- regra de bucket diário, semanal ou mensal;
- política de período fechado e dado atrasado;
- correção e recarga histórica.
Não agregue em buckets antes de acordar o significado da data. Expedição e recebimento podem cair em períodos diferentes por causa do lead time.
Unidades e quantidades¶
Toda quantidade precisa ser interpretável por unidade declarada ou default governado. Conversões são específicas por material quando a relação de negócio depende do item. Conversão ausente é erro de validação, não permissão para misturar unidades.
A reconciliação compara totais da fonte e aceitos na unidade original e na unidade de planejamento. Valores econômicos também exigem moeda, data de valoração e interpretação bruta ou líquida explícitas quando aplicável.
Chaves, atualizações e duplicidades¶
O identificador da fonte pode ser um ID transacional natural ou uma concatenação estável de elementos como data, material e location. A regra permanece estável entre cargas.
Antes de escolher substituição, merge ou append, documente:
- chave única e política de duplicidade;
- se uma chave repetida atualiza ou rejeita;
- como cancelamentos e correções são representados;
- impacto de recarga histórica em planos já liberados;
- se ausência na fonte significa exclusão ou apenas ausência de novo evento.
Retry e duplicidade no transporte são contratos versionados de API ou arquivo. Não os deduza apenas da chave de negócio.
Camadas de validação¶
Validação estrutural¶
Verifica colunas obrigatórias, tipos, enums exatos e datas e números interpretáveis.
Validação referencial¶
Confirma materiais, locations, unidades, perfis, versões de malha e demais referências.
Validação de negócio¶
Verifica sinais de quantidade, vigências, rotas elegíveis, consistência produtiva, calendário e outras regras do domínio.
Reconciliação¶
Compara linhas recebidas, aceitas, rejeitadas, atualizadas e inalteradas, além de totais por período e dimensão. Resposta HTTP de sucesso ou task concluída não bastam.
Contrato de erro¶
Uma rejeição acionável identifica base, chave ou linha, campo, valor recebido, regra violada e ação corretiva. Imports em lote preservam o resumo aceito/rejeitado e tornam explícita qualquer aceitação parcial.
Nunca esconda dado financeiro ou conversão inválida com zero. Zero só é valor de negócio quando o contrato o define assim.
Checklist operacional¶
- responsáveis pela fonte e planejamento identificados;
- corte, cadência, fuso e nível de serviço acordados;
- versão do schema e enums controlados;
- credenciais e secrets fora de arquivos e logs;
- referências carregadas antes dos fatos dependentes;
- restart e retry testados;
- linhas e quantidades reconciliadas;
- plano controlado valida o consumo downstream;
- monitoramento detecta cargas atrasadas, vazias, duplicadas ou anormalmente grandes.
Limite de versão¶
Layouts, endpoints, autenticação, paginação, retry e semântica de transporte devem ser publicados junto da versão executável. O catálogo descreve o significado durável; a documentação da release fornece o contrato exato de transporte.
Continue em Arquitetura, no catálogo de dados ou no primeiro workflow Community.