Coleta de dados: web scraping, APIs públicas e proxy por GB
Antes do proxy, a fonte oficial. Cada artigo mostra onde o dado já está aberto, quando a coleta de páginas é necessária e como fazê-la dentro da LGPD e dos termos de cada site.
Proxy para web scrapingO que é web scraping: como funciona, quando é legal no Brasil e onde entra o proxy
Web scraping é coletar dados de páginas de forma automatizada. A técnica é simples; o que decide se ela é útil e legítima é a fonte escolhida, o ritmo da coleta e o que se faz com o dado.
Ler o guia completoWeb scraping com Python na prática: do primeiro script ao coletor que aguenta
Fazer o primeiro script funcionar leva dez minutos. Fazer ele rodar por seis meses sem quebrar nem gerar problema é outro assunto.
LerBrand protection: como marcas monitoram anúncios falsificados em marketplaces
Remover um anúncio falsificado é fácil; o vendedor volta com outro perfil. Proteção de marca que funciona é monitoramento contínuo com registro organizado.
LerColeta de odds: API primeiro, scraping com cuidado e o papel do proxy
Odds mudam em segundos e as casas protegem os sites contra robôs. Para comparar cotações, API de odds costuma ser o caminho; o proxy resolve só uma parte.
LerAPI do DataJud: consulta processual automatizada, tribunais e a base legal da LGPD
Processo judicial é público, mas contém dado pessoal. Automatizar a consulta começa pela fonte oficial e passa, obrigatoriamente, pela base legal.
LerAPI de CNPJ e dados abertos da Receita: consulta em massa sem raspar sites
A Receita Federal publica a base de CNPJ inteira em dados abertos, com atualização mensal. Para consulta em massa, ela resolve o que muita gente tenta resolver com proxy.
LerErro 429 Too Many Requests em scraping: limite por IP, espera e quando o proxy resolve
O 429 é o site dizendo "devagar". Às vezes o limite é por IP e o proxy ajuda; às vezes é por conta ou por chave, e nenhum IP resolve.
LerMonitoramento de preço de concorrentes: o que coletar sem estourar o GB
O preço é poucos bytes numa página de centenas de quilobytes. Coletar só o que importa, na frequência certa, define o custo do monitoramento.
LerPreço do metro quadrado por bairro: como monitorar com índices, portais e coleta
Índices mostram a tendência da cidade; o anúncio mostra o bairro. Veja como combinar as fontes e quando a coleta com proxy faz sentido.
LerAPI do PNCP: como monitorar editais de licitação (dados abertos antes do proxy)
O PNCP centraliza contratações públicas desde a Lei 14.133. Quem monitora editais começa pelos dados abertos — e usa proxy só onde ele resolve algo.
LerPreço de passagem aérea muda por país de compra? Mito, fato e como monitorar tarifas
Tarifa aérea muda com a disponibilidade de assentos, a moeda e o site em que se compra. Veja o que IP, cookies e VPN realmente mudam — e o que não mudam.
LerRank tracking com IP brasileiro: por que a posição no Google muda por cidade
A mesma busca mostra resultados diferentes em São Paulo e em Recife. Medir ranking exige fixar a localização — e entender o limite de cada método.
LerRate shopper em hotelaria: de onde vem o preço dos concorrentes
Revenue management depende de saber o preço do vizinho. O rate shopper coleta essas tarifas — e a forma de coletar define a confiabilidade do dado.
LerAPI da Tabela FIPE e preço de carros usados: como monitorar do jeito certo
A FIPE publica o preço médio pelo site oficial e não oferece API. Anúncios de usados mudam por região. Veja como montar um monitoramento que se sustenta.
LerScraping com proxy por GB: como não estourar o consumo
O custo de coleta é definido pelo peso das respostas, não pelo número de requisições. Como reduzir.
LerJá sabe o que precisa?
A página do produto explica o mecanismo, mostra o preço em reais e diz quando ele não é a escolha certa.