Что я использую, чтобы загрузить все PDF-файлы с веб-сайта?

Мне нужно скачать все PDF-файлы, представленные на сайте. Проблема в том, что они не указаны ни на одной странице, поэтому мне нужно что-то (программа? Фреймворк?), Чтобы сканировать сайт и скачивать файлы, или, по крайней мере, получить список файлов. Я попробовал WinHTTrack, но не смог заставить его работать. DownThemAll for Firefox не сканирует несколько страниц или целые сайты. Я знаю, что есть решение, так как я не мог быть первым человеком, которому представили эту проблему. Чтобы вы посоветовали?

От http://www.go2linux.org/tips-and-tricks-of-wget-to-download-files :

wget -r -A pdf http://www.site.com

У Google есть возможность вернуть только файлы определенного типа. Объедините это с опцией «site», и у вас будет свой «сканер».

Пример: http://www.google.com/search?q=site:soliddocuments.com+filetype:pdf

Используйте некоторую библиотеку для веб-сканирования, например. в рубине http://www.example-code.com/ruby/spider_begin.asp

Если ссылки на файлы PDF отсутствуют, сканер не поможет, и у вас есть только два варианта:

1. Получить список откуда-то еще (запросите список у веб-мастера сайта)
2. Получить список из списка каталогов WebSite. Хотя, если они отключили этот параметр на своем веб-сервере, вы не сможете его использовать.