jsonW: por que ler uma coluna inteira fica tão mais rápido?
No jsonW, somar uma coluna de 100 mil linhas levou cerca de 6 ms. Lendo o JSONL com um leitor JSON em Perl, levou de 10 a 15 s. Veja o teste e os limites.

No jsonW, ler uma coluna inteira fica muito mais rápido porque o arquivo não precisa ser decodificado linha por linha até o campo pedido, como acontece com o JSONL. O paper do jsonW mede 2.310 vezes com o leitor JSON do próprio projeto. No teste deste texto, somar uma coluna de 100 mil linhas levou cerca de 6 milissegundos, e um leitor JSON em Perl levou de 10 a 15 segundos para fazer a mesma soma.
Por que o JSONL é lento para ler uma coluna?
O paper do jsonW explica o problema do JSONL com uma frase curta: “There is no index.” Sem índice, para ler um campo de um registro, o arquivo precisa ser lido desde o começo até chegar a ele. Para ler uma coluna inteira, o arquivo inteiro precisa ser percorrido. O paper resume isso assim: “To read one field of one record, the file must be parsed from the start up to it; to read one column, the whole file.”
O jsonW guarda o arquivo em blocos, e a documentação diz que ele tem acesso direto a cada linha e campo, sem decodificar o resto. Por isso a leitura de uma coluna não precisa passar por todos os campos de todas as linhas. Esse é o motivo da diferença que o paper mede.
Qual é o passo a passo para medir na sua máquina?
- Escolha uma coluna numérica, como uma quantidade ou um contador. A coluna de dinheiro não serve para essa soma, como o erro mais adiante mostra.
- Rode wjsw calcular com o arquivo e a opção --valor, apontando a coluna. A saída traz o total, o mínimo, o máximo e a média.
- Rode um leitor JSON sobre a saída de wjsw para-texto --json, somando a mesma coluna linha por linha. Use a saída em um pipe, para não criar um arquivo de dados extra.
- Compare as somas. Elas precisam bater, senão a comparação não vale.
- Meça cada caminho três a cinco vezes com time e use a mediana, não o melhor resultado.
Como fica o teste de soma de uma coluna?
No teste, somei a coluna de quantidade de 100 mil linhas nos dois caminhos. O wjsw calcular respondeu:
wjsw calcular vendas.jsw --valor qtd
1 grupo(s) em 12.5 ms
total: 100000 linha(s) · soma 2553272 · min 1 · max 50 · media 25.53272O leitor JSON em Perl, lendo a saída de para-texto por um pipe, respondeu:
linhas=100000 soma_qtd=2553272As duas somas são iguais, 2553272. Nas medições, o calcular levou entre 6 e 80 milissegundos em cinco execuções, e o caminho com o leitor JSON levou 9,8, 12,4 e 15,3 segundos em três execuções, contando a exportação completa do arquivo.
Qual é o erro comum e a mensagem exata?
O erro mais comum é apontar o calcular para uma coluna de dinheiro. Com --valor valor, sendo valor um campo do tipo dinheiro, a resposta foi:
campo valor nao e numeroA mensagem diz que o campo não é número, o que é verdade para o cálculo, porque dinheiro carrega a moeda junto com o valor. Para somar dinheiro, escolha a moeda e use uma coluna de quantidade ou faça a soma por moeda, conforme a documentação do comando.
Quando usar a leitura de coluna, e quando não usar?
Use a leitura de coluna para somas, médias, contagens e rankings sobre um campo, em arquivos grandes. O tempo que o teste mostrou é o que você ganha quando o cálculo acontece numa coluna, e não numa lista de linhas. A documentação também indica o uso para lote, histórico, treino e busca, como mostra o diagrama do README.
Não use a leitura de coluna para mostrar linhas a uma pessoa. Para isso, use wjsw ver, que aplica a visão por permissão. O wjsw para-texto exporta tudo, e serve para quem já tem o arquivo, não para entregar dados a outro usuário. Também não use este número como referência de busca por chave: o README traz outra medição, com índice, que é um teste diferente.
O que a documentação não cobre?
O README diz que a leitura do .jsw usa um núcleo hoje, e que a leitura em vários núcleos é o próximo passo. No teste, o campo de CPU do time mostrou valores acima de 100 por cento para o calcular. Com tempos de 6 milissegundos, essa medição não serve para afirmar nada sobre núcleos, mas a diferença entre a documentação e o comportamento merece um teste com um arquivo maior. O paper, por sua vez, diz que o wjsw calcular usou os oito núcleos em um dos seus testes, o que também precisa de conferência.
O próprio README também diz que, em consultas de coluna em 8 núcleos, o Parquet com DuckDB ainda lidera em duas de três consultas. Este texto não compara com Parquet. A comparação de 2.310 vezes é com o leitor JSON do próprio projeto, e não com outro formato de coluna. Eu também não testei a base de 55 milhões de linhas do paper.
Onde a Wortic entra nisso?
O jsonW é mantido pela Wortic, e a página para desenvolvedores da Wortic traz a visão geral do formato. O código público, com o binário e o guia de comandos, fica no repositório público do jsonW. Quem liga a conta Wortic ao Claude ou ao ChatGPT encontra o caminho na página sobre como usar a Wortic dentro do Claude e do ChatGPT. Os planos da Wortic ficam em página própria. O paper com as medições completas está no paper técnico do jsonW.
Perguntas frequentes
Por que ler uma coluna inteira fica mais rápido no jsonW?
Porque o arquivo guarda blocos com acesso direto a linha e campo, e não precisa ser decodificado do começo até o campo pedido, como o JSONL. O paper do jsonW mede 2.310 vezes com o leitor JSON do próprio projeto.
Como medir a leitura de uma coluna na minha máquina?
Rode wjsw calcular com a opção --valor sobre uma coluna numérica e compare com um leitor JSON sobre a saída de wjsw para-texto --json. As somas precisam bater, e a medição deve ser repetida algumas vezes.
Quais são os limites dessa comparação?
A coluna de dinheiro é recusada no cálculo com a mensagem campo nao e numero. O teste usou um leitor JSON em Perl como base, não o do paper, e não comparou com Parquet nem mediu a base de 55 milhões de linhas.
Fontes
- Paper técnico do jsonW, em inglês (versão 1.3.11)
- docs/JSONW.md do jsonW: acesso direto e garantias do arquivo
- README do jsonW (versão 1.4.1)
- Página para desenvolvedores da Wortic
- Binário wjsw 1.4.1 no repositório público
Conheça: jsonW (json Wondrous): o formato de dados da Wortic.
Quer isso funcionando na sua empresa?
Um consultor da Wortic olha o seu caso e mostra o caminho, sem compromisso.
Falar com um consultorEquipe editorial
Equipe editorial da Wortic especializada em automacao, IA, ERP, CRM e crescimento operacional.
- Automacao com IA
- Gestao empresarial
- CRM
- ERP
- Marketing digital
