Web scraping (raspagem de dados, em português) é a coleta automatizada de informações publicadas em páginas da web. Um programa acessa a página como um navegador faria, lê o HTML e extrai os campos que interessam: preço, título, data, endereço, disponibilidade. O que uma pessoa faria copiando e colando durante horas, um coletor faz em minutos e repete todo dia.
A técnica é antiga e simples. O que mudou nos últimos anos foi o cerco: sites passaram a classificar a rede de origem, a limitar requisições por endereço e a servir páginas montadas por JavaScript. E a lei ficou mais clara sobre o que pode ser coletado. Este artigo cobre os três pontos: como funciona, quando é legal e onde o proxy entra.
Como um coletor funciona
Um coletor de web scraping faz, em sequência:
- Requisição. Pede a página ao servidor, igual ao navegador, informando um endereço de origem (o IP) e um identificador de cliente (o user agent).
- Leitura. Recebe o HTML e, se a página monta o conteúdo com JavaScript, precisa executar esse código, o que exige um navegador controlado por programa, como o Playwright.
- Extração. Localiza os campos por seletores (o "caminho" até o preço, o título) e transforma em tabela.
- Armazenamento e repetição. Guarda o resultado e agenda a próxima coleta.
Cada etapa tem um custo. A requisição consome dados; a execução de JavaScript consome processamento e multiplica o tráfego; a repetição decide quanto isso custa por mês. É por isso que a pergunta "qual proxy usar" vem depois da pergunta "o que eu realmente preciso coletar, e com que frequência". O cálculo está em scraping por GB: reduza o consumo em até 10x.
Scraping, crawling e API: a diferença
| Termo | O que é | Quando usar |
|---|---|---|
| Web scraping | Extrair campos de páginas específicas | Quando o dado só existe na página |
| Web crawling | Percorrer links para descobrir páginas | Indexação, mapeamento de site |
| API | O site entrega o dado em formato estruturado, por contrato | Sempre que existir; é mais estável e mais barata |
| Dados abertos | Base publicada pelo próprio órgão ou empresa | Antes de qualquer coleta em fonte pública |
A regra que economiza mais dinheiro e mais problema: fonte oficial primeiro. Licitações estão na API do PNCP, processos na API do DataJud, empresas na base aberta de CNPJ. Raspar uma página que tem API é pagar mais para receber um dado pior.
Web scraping é legal no Brasil?
Não existe lei brasileira que proíba a técnica em si. O que existe são três camadas de limite, e a coleta precisa passar pelas três.
Dado pessoal: LGPD. A Lei 13.709/2018 se aplica a qualquer tratamento de dado pessoal, e "dado publicamente acessível" continua sendo dado pessoal. Coletar nome, CPF, telefone ou perfil de pessoas exige uma base legal (consentimento, legítimo interesse, cumprimento de obrigação legal, entre outras), finalidade definida e cuidado com o armazenamento. Coletar preço de produto, edital ou cotação não envolve dado pessoal e fica fora dessa camada.
Acesso: termos de uso e Marco Civil. Sites publicam termos que costumam restringir acesso automatizado, e o arquivo robots.txt indica o que o site prefere que robôs não acessem. Desrespeitar isso não é crime por si, mas pode gerar bloqueio, encerramento de conta e disputa civil. Já contornar uma proteção técnica para acessar área restrita, com login de terceiro ou quebra de autenticação, entra em outro terreno, o do acesso indevido, e não é coleta de dado público.
Uso posterior: direito autoral e concorrência. Copiar textos, fotos e bases inteiras para republicar é violação de direito autoral, independente de como foram obtidos. Usar preços para ajustar a própria política comercial é prática comum e aceita; reproduzir o catálogo do concorrente não é.
O cenário mais seguro, e o que a maior parte das empresas faz, é este: dado público, não pessoal, coletado em ritmo que não prejudica o site, para uso interno. Quando a coleta envolve dado pessoal, a base legal precisa existir antes do primeiro robô rodar. A nossa política de uso aceitável segue exatamente esse critério.
Por que sites bloqueiam coletores
Um site grande não bloqueia coleta por princípio; bloqueia por custo e por risco. Os sinais que ele usa, em ordem de peso:
- Ritmo. Centenas de requisições por minuto de um mesmo endereço é o sinal mais óbvio. A resposta costuma ser o erro 429 Too Many Requests, que diz "devagar", às vezes com o tempo de espera no cabeçalho.
- Rede de origem. Endereço de datacenter é lido como servidor, e servidor em volume parece automação. Muitos sites recusam esse tipo de rede antes mesmo de servir a página; o mecanismo está em por que sites bloqueiam IP de datacenter.
- Comportamento. Ausência de JavaScript executado, cabeçalhos incompletos, sequência de páginas que nenhum humano faria.
Repare que dois dos três sinais não têm nada a ver com proxy. Ajustar o ritmo e o comportamento do coletor resolve mais bloqueios do que trocar de endereço.
Onde o proxy entra
O proxy entra quando o limite é por endereço ou quando a rede de origem é o problema. Nesses casos:
- Residencial rotativo por GB distribui as requisições entre endereços de rede doméstica, que os sites tratam como visitantes comuns. É o produto padrão para páginas públicas que barram datacenter, vendido em proxy residencial rotativo.
- IPv6 em lote é o caminho mais barato quando o destino aceita IPv6; o teste está em testar IPv6 antes de comprar.
- IPv4 fixo serve quando a coleta precisa manter login, porque trocar de endereço no meio de uma sessão é o que dispara alerta.
Os três modos de rotação, e qual usar em cada caso, estão em proxy rotativo: fixo, por sessão ou por requisição. A página de proxy para web scraping resume os produtos com preço em reais.
Onde isso vira operação no Brasil
Scraping quase nunca é um fim. É o meio para uma decisão que se repete toda semana. Os casos que mais aparecem por aqui se dividem em três famílias.
Preço de concorrente. A família mais comum. O básico, com a conta de quanto custa em tráfego, está em monitorar preço de concorrentes sem estourar o GB. Em hotelaria o mesmo problema tem nome próprio e outra cadência, em rate shopper na hotelaria. Em veículos, boa parte do dado já é pública e dispensa coleta de páginas: API da Tabela FIPE e preço de usados. Em imóveis, o recorte útil é geográfico, em preço do metro quadrado por bairro.
O mesmo conteúdo visto de outro lugar. Aqui o que muda não é o site, é de onde você olha. Buscadores e passagens mostram resultado diferente conforme a origem: posição no Google por cidade e preço de passagem por ponto de venda.
Vigilância da própria marca. Anúncio falsificado e uso indevido em marketplace, em brand protection. E, no mercado de apostas, a escolha entre pagar uma API ou coletar página, em coleta de odds.
Em todos eles a pergunta da seção anterior continua valendo antes de escrever a primeira linha: existe fonte oficial? Se existir, ela é mais barata, mais estável e não gera discussão jurídica.
Se a decisão já está tomada e o que falta é o código, o caminho em Python — com os cuidados que fazem o coletor durar mais de um mês — está em web scraping com Python na prática.
Um fluxo que se sustenta
- Procure API ou dados abertos da fonte. Se existir, pare aqui.
- Defina o mínimo a coletar e a menor frequência que atende a decisão.
- Leia os termos e o
robots.txt; se houver dado pessoal, defina a base legal. - Rode devagar, respeite o
Retry-Aftere monitore a taxa de erro. - Só então decida o proxy, pelo tipo de bloqueio que apareceu.
Um coletor montado nessa ordem custa menos, quebra menos e não gera a ligação do jurídico.