CSV Extended — Tabular & SQL Studio

Transforme o Visual Studio Code em uma estação de trabalho completa, ultra-rápida e universal para visualização, edição, higienização e consultas SQL em memória sobre grandes volumes de dados tabulares.

O CSV Extended foi projetado para analistas de dados, engenheiros de software, cientistas de dados e administradores de banco de dados que precisam inspecionar e manipular CSV, TSV, TXT, Excel (.xlsx, .xls, .ods), JSON / JSONL, Parquet (.parquet) e Dumps SQL (.sql) com performance fluida de 60 FPS mesmo em arquivos com mais de 1.000.000 de linhas, sem travamentos e sem depender de softwares pesados externos.

📸 Prints de Uso & Demonstrações Visuais

1. Grade Tabular Virtualizada de Alta Performance (1M+ Linhas)

Visualize milhões de registros com renderização virtual instantânea, colunas congeladas (pinning), redimensionamento dinâmico e suporte a múltiplas abas (sheets).

2. SQL Studio Universal em Memória

Execute queries SQL padrão (SELECT, WHERE, GROUP BY, HAVING, ORDER BY, SUM, AVG, COUNT) diretamente sobre qualquer arquivo aberto (FROM data), com retorno em milissegundos.

3. Filtros Avançados Estilo Excel & Checklist de Frequência

Filtre como em uma planilha tradicional: busca por texto, operadores numéricos e temporais, e lista seletiva de valores distintos com contagem automática de frequência e percentual.

4. Estatísticas em Tempo Real & Ferramentas de Higienização (Data Cleaning)

Inspecione métricas imediatas sobre qualquer coluna selecionada (Mínimo, Máximo, Média, Soma, Valores Únicos, % Preenchido) e aplique transformações em lote (Trim, Caixa Alta/Baixa, Deduplicação e Preenchimento de Nulos).

5. Exportação Fiel WYSIWYG ("Como Está Sendo Visto")

Exporte exatamente a visão ativa da grade — respeitando filtros aplicados, ordenação ou resultado da consulta SQL — para Excel, CSV (UTF-8 com BOM para Excel pt-BR), JSON, SQL INSERT ou Tabela Markdown.

⚡ Capacidades Oficiais (Capabilities)

• Abertura Multi-Formato Sem Configuração:
  • CSV, TSV e TXT Delimitado: Detecção inteligente de delimitador (vírgula ,, ponto e vírgula ;, tabulação \t, pipe |), quebras de linha (CRLF/LF) e codificações (UTF-8, UTF-8 BOM, Windows-1252/ANSI, UTF-16).
  • Planilhas Excel (.xlsx, .xls, .ods): Leitura e visualização nativa com suporte a múltiplas abas (worksheets) na barra de navegação inferior.
  • Arquivos Parquet (.parquet): Leitura colunar binária de alta velocidade com descompressão nativa (Snappy, Gzip, Zstandard).
  • JSON & NDJSON / JSONL (.json, .jsonl, .ndjson): Achatamento (flattening) automático de objetos aninhados e listas de registros em colunas tabulares.
  • SQL Dumps (.sql): Extração de blocos INSERT INTO ... VALUES (...) particionados por tabela em abas independentes.
• Motor de Consulta SQL Universal em Memória:
  • Consulta qualquer arquivo carregado utilizando a sintaxe FROM data.
  • Suporte a SELECT, WHERE, AND/OR/NOT, LIKE, IN, BETWEEN, GROUP BY, HAVING, ORDER BY (ASC/DESC) e LIMIT.
  • Funções agregadas nativas: COUNT(*), COUNT(DISTINCT col), SUM(col), AVG(col), MIN(col) e MAX(col).
  • Reconhecimento automático de números decimais no padrão brasileiro (1.250,50) e internacional (1250.50).
• Navegação & Produtividade de Planilha:
  • Virtual Scrolling DOM: Apenas as células visíveis na janela de visualização são renderizadas, mantendo consumo de memória estável e rolagem a 60 FPS.
  • Atalhos e Área de Transferência: Ctrl+C e Ctrl+V em formato TSV estruturado (copie e cole diretamente de/para Excel e Google Sheets).
  • Fixação de Colunas (Freeze/Pin): Fixe colunas de identificação à esquerda durante a rolagem horizontal de bases largas.
  • Redimensionamento Automático: Clique duplo na borda da coluna para ajuste automático à maior célula (Auto-Fit).
  • Busca Rápida Global (Ctrl+F): Localize termos instantaneamente em toda a grade com destaque visual.
• Higienização e Qualidade de Dados (Data Cleaning):
  • Resumo Estatístico Instantâneo: Exibe contagem, únicos, percentual de nulos, média, soma, mínimo e máximo da coluna selecionada.
  • Deduplicação: Identificação e remoção de registros repetidos por coluna chave ou linha completa.
  • Transformações em Lote: Trim de espaços excedentes, conversão para MAIÚSCULAS / minúsculas / Título, e preenchimento de células vazias (Forward Fill, Valor Fixo ou Média).
• Exportação Universal WYSIWYG:
  • Gera arquivos diretamente a partir do estado filtrado ou consultado na tela:
    • Excel (.xlsx): Arquivo de planilha nativo com cabeçalhos estilizados.
    • CSV com BOM (.csv): Garante abertura sem corrupção de acentuação no Microsoft Excel em português.
    • JSON / JSONL: Dados estruturados para consumo em APIs e pipelines.
    • Script SQL (.sql): Declarações INSERT INTO tabela VALUES (...) prontas para carga em banco de dados.
    • Markdown (.md): Tabelas formatadas para documentação técnica e GitHub.

⚠️ Limitações Técnicas & Transparência (Limitations)

Para garantir previsibilidade técnica no uso corporativo e em grandes bases, observe as seguintes características do motor atual:

1. Memória RAM Disponível no Host:
   • Por rodar no processo integrado do VS Code, bases extremamente gigantescas (> 2 GB descompactados em memória) dependem da quantidade de memória RAM disponível na máquina do usuário.
2. Edição Direta em Formatos Binários (Parquet / Dumps Complexos):
   • A leitura e consulta SQL de arquivos .parquet e dumps .sql é colunar e de altíssima performance. No entanto, a modificação de células individuais com salvamento binário direto em .parquet é limitada; a recomendação oficial é utilizar o botão Exportar WYSIWYG para gerar uma nova versão em Parquet, CSV ou Excel.
3. Escopo do Motor SQL em Memória:
   • O motor foi desenvolvido com foco analítico (DQL - Data Query Language). Não executa comandos DDL (CREATE TABLE, ALTER TABLE) nem transações ACID.
   • JOIN entre múltiplos arquivos diferentes na mesma query não está disponível na versão 0.2.0 (as consultas operam sobre a tabela data do arquivo atualmente ativo).
4. Fórmulas Dinâmicas de Planilha:
   • O leitor de Excel interpreta e exibe os valores já calculados gravados nas planilhas. A extensão não calcula fórmulas dinâmicas (=PROCV, =SOMASE) em tempo real no momento da digitação.

🔍 Requisitos de Sistema & Checagem de Dependências

🟢 Para o Usuário Final (Instalação via Marketplace)

• ZERO DEPENDÊNCIAS EXTERNAS: Não é necessário ter Node.js, Python, Java, Docker ou qualquer banco de dados (MySQL, PostgreSQL, SQLite) instalado na máquina.
• O runtime do VS Code já provê todo o ambiente de execução necessário.
• Todos os analisadores e compiladores colunares estão empacotados dentro da extensão.
• Versão mínima do VS Code: ^1.85.0 (ou qualquer versão recente do VS Code / VSCodium / Cursor).

🛠️ Para Desenvolvedores & Contribuidores (Build a partir do Código-Fonte)

Caso deseje clonar o repositório e compilar a extensão localmente:

• Node.js: Versão 18.x ou superior (node -v).
• npm: Versão 9.x ou superior (npm -v).
• Empacotador Oficial Microsoft: @vscode/vsce (executado via npm run package ou npx @vscode/vsce package).

Nota de Empacotamento Limpo: Todas as dependências de desenvolvimento (devDependencies) e scripts de teste/build são estritamente excluídos do pacote .vsix através do .vscodeignore. Nenhum arquivo desnecessário ou pacote de desenvolvimento é compactado junto na distribuição oficial.

📁 Formatos Suportados & Modos de Abertura

🚀 Como Usar

1. Abertura Automática:
   • Clique em qualquer arquivo .csv, .tsv, .xlsx, .xls ou .parquet no explorador do VS Code. O arquivo será aberto diretamente na interface visual do CSV Extended.
2. Abertura Sob Demanda (JSON, SQL, TXT):
   • Clique com o botão direito no arquivo → Abrir Com... (Open With...) → Selecione CSV Extended (JSON / SQL / TXT Table).
   • Ou abra a Paleta de Comandos (Ctrl+Shift+P / Cmd+Shift+P) e digite: CSV Extended: Abrir como Tabela.
3. Executando Consultas SQL:
   • Clique no botão SQL Studio na barra superior (ou pressione o atalho correspondente).
   • Digite sua consulta referenciando a tabela data. Exemplo:

     SELECT REGIAO, COUNT(*) AS TOTAL, SUM(VALOR) AS FATURAMENTO
     FROM data
     WHERE STATUS = 'Aprovado'
     GROUP BY REGIAO
     ORDER BY FATURAMENTO DESC;
     

   • Pressione Ctrl+Enter ou clique no botão Executar.
4. Exportação Fiel:
   • Clique no botão Exportar WYSIWYG para salvar a visão ativa em Excel, CSV com BOM, Parquet ou Markdown.

⌨️ Atalhos de Teclado & Navegação

🛡️ Segurança, Privacidade e Conformidade

• Execução 100% Local (Offline): Nenhum dado, linha ou cabeçalho de seus arquivos é enviado para a internet ou para servidores externos.
• Zero Rastreamento / Telemetria Oculta: A extensão não possui código de rastreamento de comportamento ou coleta de informações proprietárias.
• Conformidade LGPD / GDPR: Ideal para ambientes corporativos com requisitos rígidos de sigilo e isolamento de dados.

👤 Criador, Publicação e Licença

• ID do Criador (Publisher): Nosfur
• Autor Oficial: Luiz Guilherme (guilhermeluisilva@gmail.com)
• Repositório: https://github.com/nosfur/csv-extended
• Suporte & Issues: https://github.com/nosfur/csv-extended/issues
• Versão: 0.2.1
• Licença: Distribuído sob a licença MIT.