1 Inleiding

GNU wget is een vrij programma voor het ophalen van bestanden via de HTTP, HTTPS, en FTP protocollen.
Het is een niet interactieve CLI tool, hierdoor kan het programma gemakkelijk ingezet worden tijdens batch verwerking.

Dankzij een uitgebreide set van eigenschappen is het met wget eenvoudig mogelijk om grote bestanden en volledige http en ftp sites op te halen.
De volgende lijst toont er een aantal:

• Kan onderbroken downloads hervatten dankzij opties zoals REST en RANGE
• Begrijpt file wild cards
• Kan recursively een subdirectory ophalen
• NLS gebazeerde error meldingen in vele talen
• Kan, optioneel, absolute links in relatieve links omvormen
• Ondersteund HTTP proxies
• Ondersteund HTTP cookies
• Ondersteunt het openhouden van http verbindingen (persistent)
• Kan gebruikt worden in niet begeleide achtergrond processen
• Gebruikt 'bestand tijd informatie' om te bepalen of bestanden opnieuw moeten opgehaald worden
• Het programma is gepubliceerd onder de GNU General Public License

2 Installatie

Ophalen van GNU wget:
De source code voor GNU wget kan gevonden worden op http://ftp.gnu.org/gnu/wget/ [via http] en ftp://ftp.gnu.org/gnu/wget/ [via FTP].

De source code kan ook gevonden worden op de FPT mirrors. Raadpleeg ook the wget wiki.

Bij de meeste moderne distributies is wget standaard geïnstalleerd.

3 Opties

4 Voorbeelden

Nr	Naam	Omschrijving
1	een enkel bestand (1)	Ophalen van een enkel bestand vanaf het internet
	wget http://example.com/file.iso
2	een enkel bestand (2)	Ophalen van een enkel bestand vanaf het internet en opslaan onder een andere naam
	wget --output-document=filename.html example.com
3	een enkel bestand (3)	Ophalen van een enkel bestand van het internet en opslaan in een gekozen map
	wget --directory-prefix=folder/subfolder example.com
4	hervatten	een onderbroken ophaling hervatten
	wget --continue example.com/big.file.iso
5	sync	Ophalen van een bestand als het bestand op de server nieuwer is dan de lokale copy
	wget --continue --timestamping wordpress.org/latest.zip
6	meerdere url	Ophalen van meerdere url in één keer De lijst van URL wordt door middel van een tekst bestand doorgegeven aan wget
	wget --input list-of-file-urls.txt
7	genummerde bestanden	ophalen van genummerde bestanden
	wget http://example.com/images/{1..20}.jpg
8	website	ophalen van volledige website inclusief alle nodige bestanden nodig om de pagina af te beelden, zonder doorlinken
	wget --recursive --page-requisites --convert-links --adjust-extension http://example.com/dir/file
	wget --execute robots=off --recursive --no-parent --continue --no-clobber http://example.com/
10	mp3	Ophalen alle mp3 uit een sub map
	wget --level=1 --recursive --no-parent --accept mp3,MP3 http://example.com/mp3/
11	images	Ophalen alle afbeeldingen uit een sub map
	wget --directory-prefix=files/pictures --no-directories --recursive --no-clobber --accept jpg,gif,png,jpeg http://example.com/images/
12	PDF	Ophalen alle PDF bestanden van een website
	wget --mirror --domains=abc.com,files.abc.com,docs.abc.com --accept=pdf http://abc.com/
13	website, exclude map	Ophalen van een website behalve aangegeven mappen
	wget --recursive --no-clobber --no-parent --exclude-directories /forums,/support http://example.com
14	User Agent, HTTP referer	Ophalen bestanden van een website die de User Agent en HTTP Referer nakijken
	wget --refer=http://google.com --user-agent="Mozilla/5.0 Firefox/4.0.1" http://nytimes.com
15	met een wachtwoord	Ophalen bestanden vanaf een website beschermd door een wachtwoord
	wget --http-user=labnol --http-password=hello123 http://example.com/secret/file.zip
16	met LOGIN	Ophalen van een website waarbij je eerst moet inloggen
	wget --cookies=on --save-cookies cookies.txt --keep-session-cookies --post-data 'user=labnol&password=123' http://example.com/login.php        wget --cookies=on --load-cookies cookies.txt --keep-session-cookies http://example.com/paywall
17	bestand eigenschappen	Ophalen van de bestand eigenschappen van een bestand op een website
	wget --spider --server-response http://example.com/file.iso
18	toon bestand	ophalen van een bestand en toon de inhoud op de command line
	wget --output-document - --quiet google.com/humans.txt
19	datum gewijzigd	De datum ophalen: wanneer is de website gewijzigd
	wget --server-response --spider http://www.labnol.org/
20	link check	Nakijken of de links in een website nog werken
	wget --output-file=logfile.txt --recursive --spider http://example.com