Tecnologia

12,5 GB do INPI em jsonW: 6,5 vezes menor que o CSV, 12,8 vezes menor que o XML e o grep que errou a conta

Convertemos os sete arquivos de marcas dos dados abertos do INPI, 55,3 milhões de linhas, para jsonW e medimos contra CSV, XML e Parquet. O jsonW 1.3.11 ficou 6,5 vezes menor que o CSV e 12,8 vezes menor que o XML, e contou os 2,3 milhões de registros em vigor em 43 milissegundos.

Por Equipe Wortic 6 min de leitura
12,5 GB do INPI em jsonW, 6,5 vezes menor que o CSV e 12,8 vezes menor que o XML

O INPI publica nos dados abertos todas as marcas já pedidas no Brasil: sete arquivos CSV, com o número de cada processo, as datas, o titular, as classes e cada despacho que o processo recebeu desde o depósito. Baixado em 12 de novembro de 2026, o pacote tem 12,53 GB de CSV e 55.278.212 linhas. Só o histórico de despachos tem 24.978.976 linhas.

Convertemos tudo para jsonW, o formato de dados da Wortic, sem cortar nenhuma linha nem coluna, e medimos contra o CSV, o XML, o Parquet e o CSV comprimido com zstd e com xz. O resultado completo está nas Tabelas 5C e 5D do paper técnico do jsonW. Aqui vai o que ele mostra.

Como a conversão foi feita

Cada um dos sete arquivos ganhou um esquema escrito à mão: número e data com o próprio tipo, o número do processo como código (para o zero da frente não sumir), os campos que se repetem muito como dicionário e o texto com os bytes como vieram. O conversor, em C, confere cada valor na hora: a data e o número precisam voltar exatamente ao texto do CSV, senão a conversão para.

Essa conferência achou dois casos reais nos dados do INPI. Uma data de prioridade está registrada no ano 1018, um erro de digitação no original. E uma linha da classificação de Nice, entre 5.333.893, não tem número de processo. Os dois foram guardados como vieram, porque a cópia precisava ser igual ao CSV.

O Parquet foi gravado e lido pelo DuckDB 2.0.0, com os mesmos tipos e compressão zstd. Cada consulta rodou 5 vezes com o arquivo já em cache, e valeu o menor tempo. A máquina foi um servidor de 8 núcleos com 31 GB de memória.

Tamanho: 12,53 GB viraram 1,94 GB

Os sete arquivos em jsonW 1.2.1 somaram 2.804,8 MB, 4,5 vezes menos que o CSV. A versão 1.3.11, com os codecs novos, gravou 2.579,2 MB no nível padrão, 4,9 vezes menos, e 1.938,1 MB no nível máximo, 6,5 vezes menos. O XML com um elemento por linha chegou a 24.804,7 MB, o dobro do CSV.

O CSV comprimido com zstd ou xz também encolhe, mas precisa ser descomprimido inteiro antes de qualquer leitura. O jsonW lê uma coluna sem abrir o resto do arquivo, e cada bloco continua com a sua própria soma de verificação.

O Excel não entrou na comparação. Uma planilha aceita até 1.048.576 linhas, e seis dos sete arquivos passam disso. O de despachos tem quase 24 vezes esse limite.

Consulta: 43 milissegundos para contar 2,3 milhões de registros

Fizemos três perguntas, uma por arquivo grande: quantos registros estão em vigor (6,7 milhões de processos), qual é o histórico inteiro de um processo (25,0 milhões de despachos) e quantos pedidos estão na classe 35 (5,3 milhões de classificações).

Contar os 2.343.607 registros em vigor levou 43 ms no jsonW 1.3.11, mais rápido que o Parquet lido pelo DuckDB (54 ms), que o DuckDB lendo o CSV (375 ms), que o grep no CSV (519 ms) e que o grep no XML (3.017 ms), com 8 núcleos nos dois lados. O histórico de um processo saiu em 207 ms e a classe 35 em 142 ms, contra 6.690 ms e 1.278 ms do grep no CSV, que ainda contou errado a classe 35, como mostra a seção abaixo. Os tempos de todos os formatos estão na Tabela 5D do paper.

Esse resultado veio de cinco rodadas de medida, refeitas inteiras a cada melhoria do leitor. A contagem em vigor caiu de 677 ms, na primeira versão medida, para 43 ms. A versão 1.3.11 trouxe três mudanças: um dicionário para cada bloco do arquivo; os códigos feitos só de algarismos, como o número do processo, guardados com largura fixa, o que fez essa coluna cair de 53,0 para 25,7 MB; e a comparação em lotes, com as instruções vetoriais do processador.

Um arquivo gravado com os codecs da 1.3.11 não abre nas versões 1.2.x.

O grep que contou errado

Muita gente consulta CSV com o grep, procurando o texto no arquivo inteiro. Na pergunta da classe 35, o grep contou 1.076.929 pedidos. A resposta certa é 1.076.928. Numa linha, o trecho ",35," aparece em outra coluna, e o grep não sabe a diferença. O jsonW, o Parquet, o DuckDB lendo o CSV e o XML separam as colunas e deram a conta certa.

Numa base de marcas, uma linha a mais pode ser um processo que não existe numa busca de anterioridade. É o tipo de erro que só aparece quando alguém confere.

O que o arquivo jsonW traz a mais

Cada bloco dos sete arquivos tem soma de verificação CRC32C e SHA-256, e a conferência passou em todos. Isso mostra que nenhum byte mudou desde a gravação. O formato também permite esconder o CPF e o CNPJ dos titulares de quem não tem permissão, ler só uma parte do arquivo de longe e buscar por termos e por significado. Na conversão medida, para ficar igual ao CSV, usamos só a custódia. O Parquet tem soma de verificação opcional por página e criptografia por coluna, mas não a cadeia de hashes do arquivo inteiro nem a visão por permissão. O CSV e o XML não têm nenhum desses recursos.

Essa é a base da IA de marcas da Wortic: ela já acompanha os processos na Revista da Propriedade Industrial, e a pesquisa de viabilidade ainda está em construção.

Perguntas frequentes

Quanto a base de marcas do INPI ocupa em cada formato?

Os sete arquivos somam 12,53 GB em CSV e 24,8 GB em XML. Em jsonW 1.3.11 ficaram com 2,58 GB, ou 1,94 GB na compressão máxima, e o jsonW lê uma coluna sem abrir o resto do arquivo. O CSV comprimido com zstd ou xz também encolhe, mas precisa ser descomprimido inteiro antes de qualquer leitura.

Quanto tempo o jsonW leva para consultar a base inteira?

Com 8 núcleos, o jsonW 1.3.11 contou os 2.343.607 registros em vigor em 43 ms, mais rápido que o Parquet lido pelo DuckDB (54 ms), que o DuckDB lendo o CSV (375 ms) e que o grep no CSV (519 ms). O histórico inteiro de um processo, entre 25 milhões de despachos, saiu em 207 ms.

Por que o grep contou errado?

O grep procura um trecho de texto na linha inteira e não sabe em que coluna ele está. Na contagem da classe 35, o trecho ",35," apareceu também em outra coluna de uma linha, e o grep contou 1.076.929 em vez de 1.076.928.

Dá para abrir a base de marcas do INPI no Excel?

Não inteira. Uma planilha do Excel aceita até 1.048.576 linhas, e seis dos sete arquivos passam disso. O de despachos tem 24.978.976 linhas.

Fontes

Conheça: jsonW (json Wondrous): o formato de dados da Wortic.

Quer isso funcionando na sua empresa?

Um consultor da Wortic olha o seu caso e mostra o caminho, sem compromisso.

Falar com um consultor

Equipe editorial

Equipe editorial da Wortic especializada em automacao, IA, ERP, CRM e crescimento operacional.

  • Automacao com IA
  • Gestao empresarial
  • CRM
  • ERP
  • Marketing digital

Isso funcionando no seu negócio.

Um consultor mostra o sistema do seu ramo, com a IA dentro.