Почему мой scp ограничивается 8 Мб при передаче файлов по локальной сети?

/var является своего рода глобальным каталогом для системы, и все кэш-данные и журналы всех пользователей кажутся общими для них.

Это частично неверно. Не весь кеш и журналы хранятся в папке /var, а то, что там хранится, не обязательно является общим для всех пользователей. Приложения и/или ОС владеют тем, что хранится в /var.

Единственным исключением является каталог, который фактически является общим и доступным для записи для всех пользователей: /var/tmp. Пользователи и/или приложения, решившие сохранить что-либо здесь, могут по-прежнему защищать подкаталоги и файлы, которые они создают, с правами доступа к файлам unix.

Я имею в виду, что программы (пакеты), запускаемые от имени разных пользователей, будут использовать один и тот же кеш, не говоря уже о том, что все локальные пользователи могут читать логи и просматривать кеш-данные друг друга.

Нет, разные пользователи обычно используют разный кеш. Также бывают случаи, когда общий кеш является плюсом.

Когда конфиденциальные/личные данные хранятся в /var, эти данные защищены приложением, поэтому пользователям не предоставляется право просматривать данные других людей; например почтовая очередь недоступна для чтения пользователями (не root).