12,5 GB do INPI em jsonW: 6,5 vezes menor que o CSV, 12,8 vezes menor que o XML e o grep que errou a conta
Convertemos os sete arquivos de marcas dos dados abertos do INPI, 55,3 milhões de linhas, para jsonW e medimos contra CSV, XML e Parquet. O jsonW 1.3.11 ficou 6,5 vezes menor que o CSV e 12,8 vezes menor que o XML, e contou os 2,3 milhões de registros em vigor em 43 milissegundos.

O INPI publica nos dados abertos todas as marcas já pedidas no Brasil: sete arquivos CSV, com o número de cada processo, as datas, o titular, as classes e cada despacho que o processo recebeu desde o depósito. Baixado em 12 de novembro de 2026, o pacote tem 12,53 GB de CSV e 55.278.212 linhas. Só o histórico de despachos tem 24.978.976 linhas.
Convertemos tudo para jsonW, o formato de dados da Wortic, sem cortar nenhuma linha nem coluna, e medimos contra o CSV, o XML, o Parquet e o CSV comprimido com zstd e com xz. O resultado completo está nas Tabelas 5C e 5D do paper técnico do jsonW. Aqui vai o que ele mostra.
Como a conversão foi feita
Cada um dos sete arquivos ganhou um esquema escrito à mão: número e data com o próprio tipo, o número do processo como código (para o zero da frente não sumir), os campos que se repetem muito como dicionário e o texto com os bytes como vieram. O conversor, em C, confere cada valor na hora: a data e o número precisam voltar exatamente ao texto do CSV, senão a conversão para.
Essa conferência achou dois casos reais nos dados do INPI. Uma data de prioridade está registrada no ano 1018, um erro de digitação no original. E uma linha da classificação de Nice, entre 5.333.893, não tem número de processo. Os dois foram guardados como vieram, porque a cópia precisava ser igual ao CSV.
O Parquet foi gravado e lido pelo DuckDB 2.0.0, com os mesmos tipos e compressão zstd. Cada consulta rodou 5 vezes com o arquivo já em cache, e valeu o menor tempo. A máquina foi um servidor de 8 núcleos com 31 GB de memória.
Tamanho: 12,53 GB viraram 1,94 GB
Os sete arquivos em jsonW 1.2.1 somaram 2.804,8 MB, 4,5 vezes menos que o CSV. A versão 1.3.11, com os codecs novos, gravou 2.579,2 MB no nível padrão, 4,9 vezes menos, e 1.938,1 MB no nível máximo, 6,5 vezes menos. O XML com um elemento por linha chegou a 24.804,7 MB, o dobro do CSV.
O CSV comprimido com zstd ou xz também encolhe, mas precisa ser descomprimido inteiro antes de qualquer leitura. O jsonW lê uma coluna sem abrir o resto do arquivo, e cada bloco continua com a sua própria soma de verificação.
O Excel não entrou na comparação. Uma planilha aceita até 1.048.576 linhas, e seis dos sete arquivos passam disso. O de despachos tem quase 24 vezes esse limite.
Consulta: 43 milissegundos para contar 2,3 milhões de registros
Fizemos três perguntas, uma por arquivo grande: quantos registros estão em vigor (6,7 milhões de processos), qual é o histórico inteiro de um processo (25,0 milhões de despachos) e quantos pedidos estão na classe 35 (5,3 milhões de classificações).
Contar os 2.343.607 registros em vigor levou 43 ms no jsonW 1.3.11, mais rápido que o Parquet lido pelo DuckDB (54 ms), que o DuckDB lendo o CSV (375 ms), que o grep no CSV (519 ms) e que o grep no XML (3.017 ms), com 8 núcleos nos dois lados. O histórico de um processo saiu em 207 ms e a classe 35 em 142 ms, contra 6.690 ms e 1.278 ms do grep no CSV, que ainda contou errado a classe 35, como mostra a seção abaixo. Os tempos de todos os formatos estão na Tabela 5D do paper.
Esse resultado veio de cinco rodadas de medida, refeitas inteiras a cada melhoria do leitor. A contagem em vigor caiu de 677 ms, na primeira versão medida, para 43 ms. A versão 1.3.11 trouxe três mudanças: um dicionário para cada bloco do arquivo; os códigos feitos só de algarismos, como o número do processo, guardados com largura fixa, o que fez essa coluna cair de 53,0 para 25,7 MB; e a comparação em lotes, com as instruções vetoriais do processador.
Um arquivo gravado com os codecs da 1.3.11 não abre nas versões 1.2.x.
O grep que contou errado
Muita gente consulta CSV com o grep, procurando o texto no arquivo inteiro. Na pergunta da classe 35, o grep contou 1.076.929 pedidos. A resposta certa é 1.076.928. Numa linha, o trecho ",35," aparece em outra coluna, e o grep não sabe a diferença. O jsonW, o Parquet, o DuckDB lendo o CSV e o XML separam as colunas e deram a conta certa.
Numa base de marcas, uma linha a mais pode ser um processo que não existe numa busca de anterioridade. É o tipo de erro que só aparece quando alguém confere.
O que o arquivo jsonW traz a mais
Cada bloco dos sete arquivos tem soma de verificação CRC32C e SHA-256, e a conferência passou em todos. Isso mostra que nenhum byte mudou desde a gravação. O formato também permite esconder o CPF e o CNPJ dos titulares de quem não tem permissão, ler só uma parte do arquivo de longe e buscar por termos e por significado. Na conversão medida, para ficar igual ao CSV, usamos só a custódia. O Parquet tem soma de verificação opcional por página e criptografia por coluna, mas não a cadeia de hashes do arquivo inteiro nem a visão por permissão. O CSV e o XML não têm nenhum desses recursos.
Essa é a base da IA de marcas da Wortic: ela já acompanha os processos na Revista da Propriedade Industrial, e a pesquisa de viabilidade ainda está em construção.
Perguntas frequentes
Quanto a base de marcas do INPI ocupa em cada formato?
Os sete arquivos somam 12,53 GB em CSV e 24,8 GB em XML. Em jsonW 1.3.11 ficaram com 2,58 GB, ou 1,94 GB na compressão máxima, e o jsonW lê uma coluna sem abrir o resto do arquivo. O CSV comprimido com zstd ou xz também encolhe, mas precisa ser descomprimido inteiro antes de qualquer leitura.
Quanto tempo o jsonW leva para consultar a base inteira?
Com 8 núcleos, o jsonW 1.3.11 contou os 2.343.607 registros em vigor em 43 ms, mais rápido que o Parquet lido pelo DuckDB (54 ms), que o DuckDB lendo o CSV (375 ms) e que o grep no CSV (519 ms). O histórico inteiro de um processo, entre 25 milhões de despachos, saiu em 207 ms.
Por que o grep contou errado?
O grep procura um trecho de texto na linha inteira e não sabe em que coluna ele está. Na contagem da classe 35, o trecho ",35," apareceu também em outra coluna de uma linha, e o grep contou 1.076.929 em vez de 1.076.928.
Dá para abrir a base de marcas do INPI no Excel?
Não inteira. Uma planilha do Excel aceita até 1.048.576 linhas, e seis dos sete arquivos passam disso. O de despachos tem 24.978.976 linhas.
Fontes
- INPI: dados abertos de marcas (marcas.zip)
- Paper do jsonW, Seção 5.4 e Tabelas 5C e 5D
- DuckDB: documentação
- Apache Parquet: formato do arquivo
Conheça: jsonW (json Wondrous): o formato de dados da Wortic.
Quer isso funcionando na sua empresa?
Um consultor da Wortic olha o seu caso e mostra o caminho, sem compromisso.
Falar com um consultorEquipe editorial
Equipe editorial da Wortic especializada em automacao, IA, ERP, CRM e crescimento operacional.
- Automacao com IA
- Gestao empresarial
- CRM
- ERP
- Marketing digital

