Загрузить веб-сайт HTTPS можно только через имя пользователя и пароль с помощью wget?

То, как я бы сделал это: сначала я бы использовал Live Http заголовки для Firefox, чтобы проанализировать связь. Исполниками и все эти вещи могут потребоваться. Как только у меня есть эта информация, которую я буду имитировать, что с wget сохраняют файлы cookie и нагрузки при необходимости.

Почему ты играешь с wget? Лучше использовать безголовый браузер для автоматизации этой задачи.

Что такое безголовый браузер, спрашиваешь?

Браузер без головы - это веб-браузер без графического интерфейса пользователя. Они обеспечивают автоматическое управление веб-страницей в среде, аналогичной популярным веб-браузерам, но выполняются через интерфейс командной строки или с помощью сетевого взаимодействия.

Двумя популярными безголовыми браузерами являются phantomjs (javascript) и Ghost.py (python).

Решение с использованием phantomjs

Сначала необходимо установить phantomjs. На системах, основанных на Ubuntu, вы можете установить его с помощью менеджера пакетов или собрать его из исходников с их домашней страницы .

sudo apt-get install phantomjs

После этого вы пишете скрипт javascript и запускаете его, используя phantomjs:

phantomjs script.js

Вот и все.

Теперь, чтобы узнать, как реализовать его для вашего случая, перейдите к его руководству по быстрому запуску. В качестве примера, чтобы войти в facebook автоматически и сделать снимок, можно воспользоваться сущностью, предоставленной здесь :

// This code login's to your facebook account and takes snap shot of it.
var page = require('webpage').create();
var fillLoginInfo = function(){
var frm = document.getElementById("login_form");
frm.elements["email"].value = 'your fb email/username';
frm.elements["pass"].value = 'password';
frm.submit();
}
page.onLoadFinished = function(){
if(page.title == "Welcome to Facebook - Log In, Sign Up or Learn More"){
page.evaluate(fillLoginInfo);
return;
}
else
page.render('./screens/some.png');
console.log("completed");
phantom.exit();
}
page.open('https://www.facebook.com/');

Оглянитесь вокруг документации, чтобы реализовать ее для вашего конкретного случая. Если у вас возникли проблемы с вашим сайтом https из-за ошибок ssl, запустите ваш скрипт следующим образом:

phantomjs --ssl-protocol=any script.js

Решение с помощью Ghost.py

Для установки Ghost.py вам понадобится pip:

sudo apt-get install python-pip   #On a Debian based system
sudo pip install Ghost.py

Теперь вы установили Ghost.py. Теперь, чтобы использовать его внутри скрипта python, просто следуйте документации, приведенной на его домашней странице. Я пытался использовать Ghost.py на https-сайте, но он как-то не сработал. Попробуйте и посмотрите, работает ли он.

UPDATE : Решение на основе GUI

Вы также можете использовать такие инструменты как Selenium для автоматизации процесса входа в систему и получения информации. Это довольно просто в использовании. Вам нужно лишь установить плагин для вашего браузера из здесь. А затем вы сможете записать процесс и воспроизвести его позже.

Попробуйте использовать «Curl»

curl --data "j_username=value1&j_password=value2" https://idp2.civ.cvut.cz/idp/Authn/UserPassword

Вам может понадобиться посмотреть на тип ответа и установить заголовок «содержимого» заголовок для соответствия; I.E: XML, JSON ETC

В дополнение к куки-файлам используйте в качестве агента пользователя в качестве фейерфокса, хрома и т.д. Потому что большинство серверов ненавидят менеджеры dwonload.

В качестве альтернативы используйте расширение firefox scrap book

• easy to use
• GUI

Estaba buscando lo mismo y finalmente escribí una herramienta basada en la respuesta de user43791 .

Por lo tanto, lo que está buscando es tal vez algo así:
https://github.com/atar-axis/TUM-tools/blob/master/moodle_grabber/moodle_grabber.sh

Debería ser muy fácil adaptar esto a cualquier otro sitio de shibboleth y se basa únicamente en wget!