Extração e Processamento de Dados do Kingdee Cloud Star

A integração começa com a extração de dados de produtos do Kingdee Cloud Star. Isso é realizado através da chamada da API executeBillQuery. Esta API é projetada para alta taxa de transferência, permitindo a rápida aquisição de grandes volumes de dados de produtos. A execução programada desta tarefa garante que nenhum dado seja perdido.

Configuração de API e Parâmetros de Requisição

A API executeBillQuery é uma chamada POST utilizada para consultar documentos de negócios. Os parâmetros chave incluem:

• FormId: O identificador do formulário do objeto de negócio. Para informações de produtos, este é geralmente BD_MATERIAL.
• FieldKeys: Uma lista separada por vírgulas dos campos a serem consultados.
• FilterString: Condições de filtragem para selecionar dados específicos.
• Limit: O número máximo de linhas a serem retornadas (para paginação).
• StartRow: O índice da linha de início (para controle de paginação).

Um exemplo de parâmetros para obter dados de produtos seria:

{
   "FormId": "BD_MATERIAL",
   "FieldKeys": "FMATERIALID,FNumber,FName,FSpecification",
   "FilterString": "FApproveDate>='2023-01-01' and FUseOrgId.FNumber in ('JW106','JW107')",
   "Limit": 30,
   "StartRow": 0
}
   

Limpeza e Transformação de Dados

Após a obtenção dos dados brutos, a próxima etapa é a limpeza e transformação. Isso envolve:

1. Mapeamento e Renomeação de Campos: Mapear os campos retornados pelo Kingdee Cloud Star para os nomes de campo exigidos pelo sistema de destino, com base na configuração de metadados. Por exemplo, mapear FMATERIALID para id e FNumber para codigo.
2. Conversão de Formato de Dados: Ajustar formatos de dados como datas e precisão numérica.
3. Tratamento de Exceções e Filtragem: Filtrar ou marcar dados que não atendem aos requisitos e registrar logs para análise posterior.

Gerenciamento de Paginação e Limitação de Taxa

Para garantir a aquisição completa de todos os dados, é implementado um mecanismo de paginação. Ajustando o parâmetro StartRow nas requisições, os dados são buscados página por página. Para evitar problemas de limitação de taxa devido a chamadas frequentes, mecanismos de atraso e retentativa são adicionados.

{
   "FormId": "BD_MATERIAL",
   "FieldKeys": "...",
   "FilterString": "...",
   "Limit": 30,
   "StartRow": {START_ROW_INDEX} 
}
   

Após cada requisição, o sistema verifica se há mais registros e atualiza o parâmetro StartRow.

Monitoramento em Tempo Real e Registro de Logs

A plataforma Ease Cloud oferece monitoramento em tempo real e registro de logs para garantir transparência e controle sobre o processo de integração. O status da tarefa, métricas de desempenho e logs detalhados são acessíveis, auxiliando na identificação e resolução de problemas, além de fornecer bases para otimizações futuras.

Práticas Técnicas para Transformação ETL e Escrita na API do VShop+ Cross-border

A segunda fase da integração envolve a transformação ETL (Extract, Transform, Load) dos dados extraídos e a escrita final na API do VShop+ Cross-border.

Extração e Limpeza de Dados

Os dados brutos de produtos do Kingdee Cloud Star (contendo campos como FNumber, FName, etc.) são a base para a fase ETL. A integridade e precisão dos dados extraídos são cruciais.

Trensformação de Dados

Os dados extraídos precisam ser convertidos para o formato exigido pela API do VShop+ Cross-border. A estrutura de destino é a seguinte:

{
 "api": "/api/openservices/product/v1/create/goods",
 "method": "POST",
 "request": [
   {
     "field": "goodsNo",
     "label": "Spu Código",
     "type": "string",
     "value": "{FNumber}"
   },
   {
     "field": "goodsName",
     "label": "Spu Nome",
     "type": "string",
     "value": "{FName}"
   },
   {
     "field": "specList",
     "label": "Lista de SKUs",
     "type": "array",
     "children": [
       {
         "field": "specNo",
         "label": "SKU Código",
         "type": "string",
         "value": "{FNumber}" 
       },
       {
         "field": "specName",
         "label": "SKU Nome",
         "type": "string",
         "value": "{FName}"
       }
     ]
   }
 ]
}
   

Pontos importantes a serem considerados:

• Mapeamento de Campos: Corresponder precisamente os campos de origem aos campos de destino. FNumber do Kingdee deve ser mapeado para goodsNo e specNo no VShop+, e FName para goodsName e specName.
• Conversão de Tipos de Dados: Garantir que os tipos de dados sejam consistentes com os requisitos da API de destino. Scripts customizados podem ser usados para transformações complexas.
• Tratamento de Estruturas de Array: Gerar itens de array aninhados, como specList, com base nos dados de origem.

Monitoramento de Qualidade de Dados e Tratamento de Exceções

Mecanismos de monitoramento e tratamento de exceções são implementados para garantir a qualidade dos dados. A plataforma Ease Cloud oferece funcionalidades de monitoramento em tempo real para detectar inconsistências. Um sistema de alertas notifica as partes relevantes sobre quaisquer problemas.

O tratamento de exceções inclui:

• Pré-verificação: Validar os dados de origem antes da transformação para garantir a presença de campos necessários e formatos esperados.
• Mecanismo de Retentativa: Implementar retentativas automáticas para falhas na escrita na API do VShop+ Cross-border.
• Registro de Logs: Registrar detalhadamente cada operação, incluindo sucessos e falhas, para análise e solução de problemas.

Escrita de Dados

Após a transformação, os dados são escritos na API do VShop+ Cross-border via requisições POST. A capacidade de alta taxa de transferência para escrita de dados é essencila. A plataforma Ease Cloud suporta processamento em lote para submeter grandes volumes de dados eficientemente.

Requisitos Personalizados e Otimização

Para cenários específicos, ajustes personalizados podem ser necessários, como a adição de etapas de validação de dados ou processamento especial de campos. A plataforma Ease Cloud permite a implementação dessas lógicas customizadas. O monitoramento em tempo real e a otimização de desempenho garantem que o processo ETL opere de forma eficiente e estável, com a capacidade de ajustar dinamicamente a alocação de recursos durante períodos de pico.

Através dessas etapas, os dados de produtos do Kingdee Cloud Star podem ser eficientemente transformados e gravados na API do VShop+ Cross-border. O mapeamento preciso de campos, cotnrole rigoroso da qualidade dos dados e mecanismos flexíveis de tratamento de exceções são fundamentais. A plataforma Ease Cloud fornece suporte robusto para todo o processo, tornando-o mais transparente, controlável e eficiente.