Как вытеснение работает над Linux, когда программа имеет таймер меньше затем 4 мс?

Посмотрите время (7), и страницы справочника, на которые оно ссылается. Выборка:

High-Resolution Timers
   Before Linux 2.6.21, the accuracy of timer and sleep system calls  (see
   below) was also limited by the size of the jiffy.

   Since  Linux  2.6.21,  Linux  supports  high-resolution  timers (HRTs),
   optionally configurable via CONFIG_HIGH_RES_TIMERS.  On a  system  that
   supports  HRTs,  the  accuracy  of  sleep  and timer system calls is no
   longer constrained by the jiffy, but instead can be as accurate as  the
   hardware  allows  (microsecond accuracy is typical of modern hardware).
   You can determine  whether  high-resolution  timers  are  supported  by
   checking  the resolution returned by a call to clock_getres(2) or look‐
   ing at the "resolution" entries in /proc/timer_list.

   HRTs are not supported on all hardware architectures.  (Support is pro‐
   vided on x86, arm, and powerpc, among others.)

Комментарий предполагает, что Вы не можете спать меньше, чем миг. Это неправильно; с HRTs Вы можете. Попробуйте эту программу:

/* test_hrt.c */
#include <time.h>
main()
{
        struct timespec ts;
        int i;

        ts.tv_sec = 0;
        ts.tv_nsec = 500000;  /* 0.5 milliseconds */
        for (i = 0; i < 1000; i++) {
                clock_nanosleep(CLOCK_MONOTONIC, 0, &ts, NULL);
        }
}

Скомпилируйте его:

$ gcc -o test_hrt test_hrt.c -lrt

Выполнение это:

$ time ./test_hrt

real    0m0.598s
user    0m0.008s
sys     0m0.016s

Как Вы видите, 1 000 повторений 0,5 задержек миллисекунды заняли всего немногим более, чем 0,5 секунды, как ожидалось. Если clock_nanosleep действительно ожидали до следующего мига перед возвратом потребуется по крайней мере 4 секунды.

Теперь исходный вопрос был, что происходит, если Ваша программа была запланирована в течение того времени? И ответ - то, что это зависит от приоритета. Даже если другая программа будет запланирована, в то время как Ваша программа работает, если Ваша программа будет более высоким приоритетом, или планировщик решает, что это - время Вашей программы для выполнения, то это начнет выполняться снова после clock_nanosleep возвраты тайм-аута. Это не должно ожидать до следующего мига этого для случая. Можно попытаться выполнить тестовую программу выше при выполнении другого программного обеспечения, которое берет ЦП, и Вы будете видеть, что это все еще выполняется за то же количество времени, особенно при увеличении приоритета с, например.

$ time sudo schedtool -R -p 99 -e ./test_hrt