Ваши настройки локали отличаются в вашей оболочке и в вашем cronjob. Вы можете проверить это, выполнив locale
в обеих установках, и вы можете изменить настройки локали вашего cronjob, установив соответствующие переменные (LC_ALL
- это молоток, если вам не нужно быть тонким; смотрите locale(7)
для деталей).
Для загрузки с удаленным html используйтеlinks
(илиlynx
)с опцией -dump
:
links -dump http://website.web
Или:
lynx -dump http://website.web
Они отличаются стилем вывода. Во-первых, lynx
будет форматировать гиперссылки, а links
их игнорировать.
В системе, подобной debian/ubuntu -, любая программа может быть установлена с помощьюapt-get
:
apt-get install links
apt-get install lynx