В чем причина ошибки в CMake?

Символы обратной косой черты в этом контексте предназначены для символов продолжения строки , ускользающих от буквальных символов новой строки.

Когда вы помещаете обратную косую черту в середине строки, она экранирует следующий символ, поэтому, например, в

    -DGMX_MPI=ON -DGMX_OPENMP=ON \ -DGMX_GPU=CUDA -DGMX_CUDA_TARGET_SM=60 \

\ -DGMX_GPU=CUDAчитается как одиночный токен, начинающийся с буквального пробела. Поскольку он не начинается с тире, cmakeинтерпретирует его как исходный каталог, а не параметр.

Либо удалите такие лишние обратные косые черты

    -DGMX_MPI=ON -DGMX_OPENMP=ON -DGMX_GPU=CUDA -DGMX_CUDA_TARGET_SM=60 \

или используйте их по назначению, т.е. как продолжение строки -

    -DGMX_MPI=ON -DGMX_OPENMP=ON \ 
    -DGMX_GPU=CUDA -DGMX_CUDA_TARGET_SM=60 \

убедившись, что после\