Como baixar todas as páginas de um site no Linux

O Wget é um poderoso software de código aberto no Linux que pode ser usado para baixar conteúdo de sites. Às vezes é necessário fazer uma cópia de todo o conteúdo de um site, talvez para criar um espelho do site ou para preservar o conteúdo atual para uso posterior. Com o Wget, um site inteiro pode ser baixado com um único comando de uma linha.

1

Certifique-se de que o wget esteja instalado usando o comando "which". Digitar "which wget", sem aspas, em um terminal mostrará onde o Wget está instalado nos computadores Linux. Se o Wget não estiver instalado, use as ferramentas de instalação de software da distribuição, como Yum ou Apt-get, para instalar o Wget.

2

Definir a bandeira para espelhar o site. O Wget possui vários sinalizadores que podem ser configurados para alterar o comportamento do programa. O sinalizador "-m" é usado para baixar um site inteiro. Por exemplo, digite:

wget -m www.fake-web-site.com

Isso cria uma cópia local de "www.fake-web-site.com" no seu computador. Por padrão, o Wget cria um diretório com o mesmo nome do site dentro do diretório em que foi executado.

3

Verifique se o conteúdo foi adquirido abrindo a cópia local da página em um navegador.

Coisas necessárias

• wget

Avisos

• O Wget pode consumir uma quantidade substancial de largura de banda ao solicitar conteúdo de um servidor. Além disso, alguns firewalls podem interpretar solicitações rápidas de um único cliente como um ataque, o que pode resultar no bloqueio temporário do endereço IP do servidor. Certifique-se de que o sinalizador -w esteja definido para limitar o tempo entre as solicitações. Por exemplo:
• wget -m -w 10 www.fake-web-site.com
• fará com que o Wget espere 10 segundos antes de solicitar os arquivos subseqüentes do servidor.