как не разрешить пользователю изменять группу процесса

Полномочия самбы только работают над SMB (т.е. Windows) сетевые клиенты. Если Вы хотите осуществить это на сервере (и любые клиенты NFS), необходимо установить липкий бит на всех каталогах.

сначала исправьте файлы, которые являются там:

chown -R archive /home/archive 
chgrp -R archive /home/archive 
find /home/archive -type d -exec chmod 0775 {} \;
find /home/archive -type f -exec chmod 0664 {} \;

затем осуществите это с группой липкий бит

find /home/archive -type d -exec chmod g+s {} \;

Это не infalable, но действительно решает 99% этого вида проблемы.

Отношения DaveF

Результат на моем поле Solaris:

davef@dalek[10]$ cd /proj/ftptmp
davef@dalek[11]$ ls -ld .
drwxrwsr-x  60 root     ftpusers     377 Oct  5 09:31 ./
davef@dalek[12]$
davef@dalek[12]$ ls -l foo.txt
foo.txt: No such file or directory
davef@dalek[13]$ touch foo.txt
davef@dalek[14]$ ls -l foo.txt
-rw-rw-r--   1 davef    ftpusers       0 Oct 15 11:49 foo.txt
davef@dalek[15]$ touch foo.txt
davef@dalek[16]$ ls -l foo.txt
-rw-rw-r--   1 davef    ftpusers       0 Oct 15 11:49 foo.txt
davef@dalek[17]$
davef@dalek[17]$ umask
2
davef@dalek[18]$