Crawl4AI com IP brasileiro: coleta de dados para IA sem estourar o GB

Ferramentas de coleta pensadas para IA, como o Crawl4AI, transformam páginas web em texto limpo para alimentar modelos. O desafio deixa de ser extrair o conteúdo e passa a ser escala: muitas páginas, destinos que limitam requisições e conteúdo que muda por região. Proxy resolve parte disso — se configurado do jeito certo e sem desperdiçar tráfego.

Onde configurar o proxy no Crawl4AI

A documentação do Crawl4AI recomenda configurar o proxy por requisição, no CrawlerRunConfig, e não mais no BrowserConfig:

from crawl4ai import CrawlerRunConfig

run_config = CrawlerRunConfig(
    proxy_config={
        "server": "http://host:porta",
        "username": "usuario",
        "password": "senha",
    }
)

A documentação também mostra o mesmo formato com a classe ProxyConfig, que tem os mesmos campos. Configurar por requisição permite que cada coleta use um proxy diferente sem recriar o navegador.

Rotação entre vários proxies

Para distribuir as requisições entre uma lista de endereços, o Crawl4AI oferece a estratégia RoundRobinProxyStrategy, que alterna entre os proxies em sequência:

from crawl4ai.proxy_strategy import RoundRobinProxyStrategy

estrategia = RoundRobinProxyStrategy(proxies)
run_config = CrawlerRunConfig(proxy_rotation_strategy=estrategia)

Duas formas de alimentar essa lista:

• Lote de endereços fixos, como um lote de IPv6 (se o destino aceita IPv6) ou de IPv4 — a rotação fica a cargo do Crawl4AI.
• Residencial rotativo, que já troca o endereço do lado do proxy — nesse caso, um único endpoint costuma bastar.

Quando o IP brasileiro importa

Para coleta de conteúdo global, a origem do IP pesa pouco. Ela passa a importar quando:

• o site muda o conteúdo por região — preços, disponibilidade, notícias locais;
• o destino só responde a acessos do Brasil;
• você quer a versão da página que o público brasileiro vê.

Aqui, um endereço brasileiro garante que o texto coletado é o mesmo que o usuário do Brasil lê.

Como não estourar o GB

No residencial a cobrança é por GB, e coleta para IA costuma baixar muito mais do que usa. Três ajustes com efeito direto:

1. Não carregue o que não vira texto. Imagens, vídeos e fontes consomem tráfego e não entram no modelo.
2. Colete só as URLs necessárias. Mapeie antes e evite seguir links que não interessam.
3. Trate erros sem repetir às cegas. Um 429 respondido com tentativas imediatas paga tráfego várias vezes — ver erro 429 em scraping.

Mais ajustes de consumo em scraping por GB.

Qual tipo de IP usar

Limites que continuam valendo

Coleta para IA segue as mesmas regras de qualquer coleta: respeite robots, termos de uso e a LGPD, principalmente quando houver dado pessoal. Coleta de dados pessoais sem base legal está fora da nossa política de uso aceitável.

Qual produto usar em cada tipo de coleta para IA está em proxy para agentes de IA.