благодаря @pfnuesel я нашел ответ в логах i3:
[..] window 0x014013e1 wants to be at -1670x-1466 with 6220x4644
и смог исправить это с помощью:
floating_minimum_size 500 x 300
floating_maximum_size 2000 x 1500
for_window [class="(?i)firefox" instance="^(?!Navigator$)"] floating enable