Короче, создашь мапу Map<Integer, Char> где key=buttonId, value=number, добавляешь эти кнопки в свое gui и их id в мапу вместе с числом, потом в actionPerforme достаешь из мапы символ пороверяешь на null и добавляешь к текущему тексту, можно конечно в качестве числа использовать id кнопки, но этот вариант более гибкий.