Так как Вы говорите, что у Вас есть "небольшой" сервер, я предполагаю, что объем трафика является достаточно низким, чтобы быть обработанным Прокси HTTP, таким как Сквид. Если Вы настраиваете маршрутизатор как прозрачный прокси (иначе прокси перехвата), у клиентов должен быть нормальный интернет-опыт до сбоев Интернет-соединения. Затем я ожидал бы, что клиенты получат HTTP 504 (Тайм-аут Шлюза) ответы.
Если Ваше Интернет-соединение ненадежно, Вы могли бы считать это дополнительной льготой, что страницы, которые, оказывается, находятся в кэше Прокси HTTP, могли все еще быть доступны клиентам во время отключения электричества.