Нету такого, чтобы убирало их, если самому тоне мало действий надо сделать (убрать: имя, объект/класс из EntityList и EntityRegistry). Есть чтобы убирался их спаван, но я не знаю их названия.
Можно через эвент EntityJoinWorldEvent их не спавить, либо EntityRegistry.removeSpawn (их два метода).