Se você já tentou extrair dados estruturados de um conhecimento de embarque com um serviço de OCR de uso geral, já sabe o desfecho: não funciona. Pelo menos não de forma confiável. E, em conformidade do comércio internacional, "não de forma confiável" é o mesmo que "não funciona".
No Atlas Verify, processamos milhares de documentos comerciais — conhecimentos de embarque, certificados orgânicos, certificados fitossanitários, certificados de origem, faturas comerciais, listas de embalagem e dezenas de outros. No início, avaliamos todas as principais plataformas de OCR do mercado. Todas falharam no mesmo teste: forneça um documento para o qual não foram especificamente treinadas, e a saída varia de incompleta a perigosamente errada.
Este artigo explica por que construímos um fluxo personalizado de processamento documental, o que torna documentos comerciais especialmente difíceis e os princípios de engenharia que orientam nossa abordagem.
O problema da diversidade documental
A maioria dos serviços de OCR é otimizada para um conjunto restrito de tipos de documentos. O Google Document AI se destaca em faturas e recibos. O AWS Textract processa bem formulários estruturados. O Azure Form Recognizer pode ser treinado em modelos personalizados. Mas o comércio internacional gera uma variedade enorme de documentação.
Só no nosso sistema, processamos mais de 35 tipos distintos de documentos. Um conhecimento de embarque não se parece em nada com um certificado orgânico. Um certificado fitossanitário do USDA quase não tem semelhança estrutural com um emitido pela UE. Um aviso de chegada de uma companhia marítima pode ser um PDF estruturado com tabelas claras; de outra, um fax digitalizado com anotações manuscritas.
A percepção essencial é que cada tipo de documento tem seu próprio esquema — um conjunto específico de campos relevantes à verificação de conformidade. Um conhecimento de embarque precisa de embarcador, consignatário, parte a notificar, números de contêineres, nome do navio, portos de embarque e descarga e descrições de commodities. Um certificado orgânico precisa do agente certificador, nome da operação, ID NOP, produtos certificados e datas de vigência.
Ferramentas genéricas de OCR não entendem esses esquemas. Extraem texto. Podem identificar tabelas. Mas não sabem que a sequência "MEDU4107760" é um número de contêiner ou que "NOP ID: 7880315519" é um identificador crítico que precisa ser verificado no USDA Organic Integrity Database. Sem entendimento do esquema, OCR é apenas conversão cara de texto.
Por que "bom o suficiente" é perigoso
Na maioria das aplicações de software, uma taxa de precisão de 95% é excelente. Em conformidade comercial, é um risco.
Considere um número de contêiner. O formato padrão (ISO 6346) é de quatro letras seguidas de sete dígitos, sendo o último um dígito verificador. Se o OCR lê um único caractere incorretamente — um "0" vira "O", um "8" vira "B" — o número é inválido. Sistemas posteriores que tentam rastrear o contêiner não retornam resultados, e a cadeia de verificação se rompe silenciosamente.
O mesmo princípio vale para IDs NOP, códigos HS, números IMO e datas de certificação. Um erro de um único caractere pode mudar totalmente o significado. Um código HS 0901.11 (café não torrado, não descafeinado) versus 0901.12 (café não torrado, descafeinado) aciona alíquotas, requisitos regulatórios e perfis de risco diferentes.
Nossa arquitetura
Nosso fluxo de processamento documental tem três etapas, cada uma projetada para maximizar a precisão diante dos desafios específicos da documentação comercial.
Etapa 1: classificação do documento — Antes de extrair dados, identificamos o tipo de documento. Essa classificação determina qual esquema de extração aplicar, quais campos procurar e como validar os resultados.
Etapa 2: extração orientada por esquemas — Com o documento classificado, aplicamos um modelo de extração específico para o tipo, que sabe exatamente quais campos procurar e onde costumam aparecer. Isso difere fundamentalmente do OCR genérico, que extrai tudo e deixa a interpretação ao usuário.
Etapa 3: validação cruzada — Os dados extraídos são cruzados automaticamente com fontes externas. Números de contêineres são validados em APIs de companhias marítimas. IDs NOP são conferidos no USDA Organic Integrity Database. Códigos de portos são verificados no World Port Index. Essa etapa detecta erros de OCR e dados fraudulentos.
Lições aprendidas
Após processar dezenas de milhares de documentos comerciais, vários princípios ficaram claros:
1. A especialização no setor supera o uso geral. Cada tentativa de usar um serviço geral de OCR exigiu tanto pós-processamento que gastamos mais tempo de engenharia corrigindo suas saídas do que gastaríamos construindo uma solução personalizada.
2. A classificação é a base. Errar o tipo do documento se propaga a todas as etapas seguintes. Investimos muito na precisão da classificação porque tudo o que vem depois depende dela.
3. A validação é mais importante que a extração. Extrair um número de contêiner é útil. Confirmar que é um contêiner real, em um navio real, no porto correto é o que realmente importa para a conformidade.
4. A saída estruturada permite automação. O objetivo não é digitalizar documentos para leitura humana. É produzir dados estruturados legíveis por máquinas que alimentem diretamente fluxos automatizados de verificação.
Construir um fluxo confiável de processamento documental para o comércio internacional é realmente difícil. Os documentos são diversos, as exigências de precisão são extremas e as consequências dos erros são significativas. Mas também é fundamental — cada capacidade de verificação que construímos depende de ler e compreender com precisão os documentos que acompanham mercadorias nas cadeias globais de suprimentos.