В 1.7.10 начали такое делать, там есть недоработанные механизмы для этого (кнопки в меню модов, параметр в Мод аннотации, файл в конфиге, событие выключения мода), но оно не работает. В 1.12.2 может уже и довели до ума, но, в любом случае, выключение в рантайме может быть доступно только для клиенстких модов, которые ничего не добавляют кроме косметики (миникарты там и тд). Плюс, опять же, нужно реализовывать логику выключения мода (параметр Мод и эвент), если она уже рабочая.