Вы можете попробовать установить
default-sample-rate = 44100
alternate-sample-rate = 16000
и/или
avoid-resampling = yes
, если у вас версия pulseaudio >= 11.
В Pulseaudio 13 может быть еще больше опций, см. здесь
Я думаю, что было бы неплохо написать отчет об этой проблеме и сослаться на него в комментарии.