Гайд
Да я понимаю что там написано outdated, но если правильно, как ты говоришь:
NetworkRegistry.INSTANCE.registerGuiHandler(AlternativeMod.instance, new HandlerGui());
То ошибка где-то еще.
(Насчет openGui, я сам так подумал потому, что в суперклассе написано mod, поэтому пробую и так, и так.)...