В общем я поставил false, теперь все работает, но возникла другая проблема, я думаю её не особо сложно исправить, но я не знаю как :/
В общем у меня модель рендерится в vertexconsumer, и в мой framebuffer потом через vertexconsumer.draw с использованием кастомного render layer, и вот я заметил...