Em plano por GB, o que define o custo não é o número de requisições — é o peso do que trafega. A mesma rotina pode custar dez vezes mais ou dez vezes menos dependendo de como foi escrita.
Este artigo cobre a escolha do produto e, principalmente, como reduzir o consumo.
Primeiro: qual produto usar
Três opções, com lógicas diferentes.
Residencial rotativo (por GB) — IPs de conexões domésticas reais, com rotação. É o padrão para coleta: distribuir requisições entre muitos endereços reduz a taxa concentrada em um único IP, que é o que os alvos limitam.
IPv6 em lote (por IP) — muito mais barato por endereço, sem cobrança por GB. O limite é duro: só funciona em destinos que publicam registro AAAA no DNS. Verifique antes de contratar, porque não existe adaptação possível.
API de coleta (por requisição) — você envia a URL e recebe o conteúdo, com rotação e renderização gerenciadas. Custa mais por requisição e economiza semanas de engenharia.
A escolha entre os três:
| Situação | Produto |
|---|---|
| Alvo limita por IP, volume moderado | Residencial rotativo |
| Alvo aceita IPv6, precisa de muitos endereços | IPv6 em lote |
| Volume alto e alvo estável | IPv6 ou residencial, bem otimizado |
| Alvo complexo, time enxuto | API de coleta |
| Coleta que exige renderização de JavaScript | API, ou residencial com headless |
O que consome GB de verdade
Aqui está o dado que muda o orçamento: uma página de produto típica de e-commerce pesa entre 2 e 8 MB. A informação que você provavelmente quer — nome, preço, disponibilidade — pesa alguns kilobytes.
O resto é imagem, fonte, folha de estilo, script de terceiros e pixel de rastreamento. Você está pagando para baixar tudo isso.
Cinco ajustes que reduzem o consumo drasticamente
1. Bloqueie recursos que você não usa
Se está usando navegador headless, bloqueie o que não interessa antes de a página carregar:
// Playwright
await page.route('**/*', route => {
const type = route.request().resourceType()
if (['image', 'font', 'media', 'stylesheet'].includes(type)) {
return route.abort()
}
return route.continue()
})
Esse ajuste sozinho costuma cortar de 70% a 90% do tráfego, sem afetar a extração de dados textuais.
2. Prefira o endpoint JSON à página renderizada
A maioria dos sites modernos alimenta a própria interface com chamadas internas de API. Abra as ferramentas de desenvolvedor, aba de rede, e observe as requisições XHR enquanto navega.
Se existir um endpoint que retorna os dados em JSON, consumir esse endpoint em vez de renderizar a página é a diferença entre kilobytes e megabytes por item.
É também mais estável: mudanças de layout não quebram a coleta.
3. Evite navegador quando uma requisição HTTP resolve
Navegador headless existe para páginas que só montam o conteúdo via JavaScript. Se o HTML retornado já contém o dado, uma requisição HTTP simples faz o trabalho por uma fração do tráfego e do tempo.
Teste primeiro com curl. Se o dado aparece no HTML bruto, não use navegador.
4. Ative compressão
curl -H "Accept-Encoding: gzip, deflate, br" --compressed \
-x http://usuario:senha@host:porta https://exemplo.com
A maioria dos clientes HTTP faz isso por padrão, mas vale confirmar. Respostas comprimidas costumam trafegar de 60% a 80% menos.
5. Cache e deduplicação
O ajuste mais simples e o mais esquecido: não recolete o que não mudou.
Guarde um identificador e um marcador de última coleta. Se o item foi verificado há uma hora e o alvo atualiza diariamente, não há motivo para buscar de novo.
Em catálogos grandes, isso reduz o consumo em ordem de magnitude.
Como estimar o pacote de GB
Não estime por intuição. Meça:
- Colete cem itens com a rotina já otimizada
- Registre o tráfego total consumido
- Divida por cem para obter o peso médio por item
- Multiplique pelo volume mensal previsto
- Adicione 30% de margem para retentativas e variação
Exemplo:
100 itens = 45 MB consumidos
Peso médio = 450 KB por item
Volume mensal = 50.000 itens
Estimativa = 50.000 × 450 KB ≈ 22 GB
Com margem de 30% ≈ 29 GB
Fazer essa medição antes de comprar evita tanto o pacote pequeno demais quanto o excesso comprado por precaução.
Sessão fixa: use só onde precisa
Proxy residencial rotativo normalmente permite fixar a sessão — manter o mesmo endereço por alguns minutos.
Isso é necessário em fluxos com estado: paginação que depende de sessão, carrinho, login. Fora desses casos, sessão longa desnecessária concentra tráfego em um endereço sem benefício, e é justamente o que o alvo limita.
Use sessão fixa como exceção, não como padrão.
Sobre responsabilidade
Coletar dados públicos é prática comum de pesquisa de mercado e monitoramento competitivo. Isso não significa que tudo é permitido.
Você continua responsável por respeitar os termos de uso de cada serviço, a legislação aplicável e a LGPD — especialmente ao tratar dados pessoais, onde é necessário ter base legal para o tratamento.
Nossa política de uso aceitável detalha o que não é permitido na nossa rede. Coleta de dados pessoais sem base legal e uso para fraude estão entre os itens vedados.
Resumo
- Residencial rotativo por GB é o padrão para coleta; IPv6 em lote é mais barato quando o destino aceita
- O custo é definido pelo peso das respostas, não pelo número de requisições
- Bloquear imagem, fonte, mídia e CSS corta 70% a 90% do tráfego
- Endpoint JSON em vez de página renderizada é a otimização mais eficaz
- Cache e deduplicação antes de aumentar o pacote
- Meça com uma amostra de cem itens antes de estimar
Preço por GB público em preços. Mecanismo do produto em residencial rotativo.