Запустите интерактивную оболочку внутри контейнера образа, запустив:
docker run --rm -it python:3.6 bash
(Если на изображении нет bash, вы можете использовать вместо него sh
)
Затем вы можете искать доступные пакеты с помощью apt. например.
apt search mysql
Пакет, вероятно, существует, просто под немного другим именем.