Запустите команду и продолжайте редактировать ее в Bash

Определение для setuid()немного странное, так как оно делает разные вещи в зависимости от того, является ли приложение setuid root. (По уважительным причинам, но не обязательно по очевидным на первый взгляд причинам.)

По сути, вам нужно отказаться от исходного идентификатора пользователя перед вызовом system(), так как некоторые оболочки делают все возможное, чтобы отказаться принимать setuid. Вот модифицированная версия вашего кода; запустите его с закомментированной строкой и без нее, чтобы увидеть разницу.

#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <unistd.h>
#include <errno.h>

int main() {
    int t;

    printf("before, geteuid() returned %d\n", geteuid());
    printf("before, getuid() returned %d\n", getuid());

    t = setuid(geteuid());
    if (t < 0) {
        perror("Error with setuid() - errno " + errno);
        exit(1);
    }

    printf("after, geteuid() returned %d\n", geteuid());
    printf("after, getuid() returned %d\n", getuid());

    // setreuid(geteuid(), geteuid());

    printf("finally, geteuid() returned %d\n", geteuid());
    printf("finally, getuid() returned %d\n", getuid());

    printf("did work fine, look who I am:\n");
    system("/bin/bash -c whoami");
}