На что важно обратить внимание (для вашей безопасности) при добавлении репозиториев (связка ключей, список источников и т. д.)?

Это только для систем apt, другие менеджеры пакетов будут отличаться.

Are they stored all in one place?

Вы имеете в виду архивы пакетов или файлы, указывающие на репозиторий? Архивы пакетов хранятся в /var/cache/apt/archives. Конкретные файлы репо или записи хранятся в /etc/apt/sources.list или /etc/apt/sources.list.d/*.list. Обратите внимание, что нет никакой необходимой связи между тем, где указан репозиторий, и файлом, содержащим этот список. Вы могли бы, и на самом деле, Debian использовал по умолчанию большинство репозиториев, например, в /etc/apt/sources.list. Или у вас может быть репо из google в файле opera.list, имена файлов не имеют значения, важен.list. Но чтобы сделать ситуацию более предсказуемой и удобной в сопровождении, было бы неплохо сделать так, чтобы имя файла репо соответствовало фактическому репо, на которое оно указывает.

Is it possible to see like what repositories I have added over time and when

Вы можете посмотреть, какие репозитории, я использую inxi, потому что это просто.

inxi -r
Repos:
  Active apt repos in: /etc/apt/sources.list 
  1: deb http://mirrors.kernel.org/debian unstable main contrib non-free
  2: deb http://mirrors.kernel.org/debian/ buster main non-free contrib
  3: deb http://security.debian.org/debian-security buster/updates main contrib non-free
  4: deb https://liquorix.net/debian unstable main
  5: deb http://www.deb-multimedia.org/ buster main non-free
  Active apt repos in: /etc/apt/sources.list.d/google-chrome.list 
  1: deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main
  Active apt repos in: /etc/apt/sources.list.d/opera-stable.list 
  1: deb https://deb.opera.com/opera-stable/ stable non-free #Opera Browser (final releases)

Вы также можете:

cat /etc/apt/sources.list /etc/apt/sources.list.d/*.list

но это сложнее читать, сложнее печатать и не так ясно, какой файл что содержит. inxi создан для четкого отображения этой информации.

Я считаю, что единственный способ увидеть, когда вы их добавили, это добавить отдельные файлы репо,а затем посмотрите на отметку времени создания файла. Может есть другой способ, но я о нем не знаю.

Where are the keys stored

Хороший вопрос, никогда об этом не задумывался. Я посмотрю, смогу ли я найти это.

Согласно:https://wiki.debian.org/SecureApt

они находятся в /etc/apt/trusted.gpg.d и в файле /etc/apt/trusted.gpg

ls /etc/apt/trusted.gpg.d -w 1
debian-archive-buster-automatic.gpg
debian-archive-buster-security-automatic.gpg
debian-archive-buster-stable.gpg
debian-archive-jessie-automatic.gpg
debian-archive-jessie-security-automatic.gpg
debian-archive-jessie-stable.gpg
debian-archive-stretch-automatic.gpg
debian-archive-stretch-security-automatic.gpg
debian-archive-stretch-stable.gpg
deb-multimedia-keyring.gpg

Сравнивая имеющиеся у меня репозитории с этими, похоже, что по крайней мере некоторые репозитории на самом деле хранятся в /etc/apt/trusted.gpg, и это файл с ненулевым размером файла.

Again is there any way to see which and when I added over time

Тот же вопрос, тот же ответ.

If I don't like the software is it important to remove them?

Во избежание беспорядка и необходимости получать данные репозитория на apt -получить обновление каждый раз, когда они вам на самом деле не нужны. Кроме того, случайные репозитории могут и иногда действительно просто исчезают, изменяются или ломаются, и в этот момент у вас возникает раздражающая ошибка обновления при отладке. Также не забудьте использовать apt -get remove --purge, чтобы не оставлять файлы конфигурации для программного обеспечения, которое вам действительно не нужно в вашей системе. Без опции очистки --файлы конфигурации остаются на месте.

После сказанного обратите внимание на то, что сказал Майкл Хорнер в своем комментарии, это действительно правильный ответ, на мой взгляд, если безопасность является вашей главной заботой.