Искренне без понятия, как люди это делают нормально.
Можешь внимательно попробовать почитать документацию к glBlendFuncSeparate, возможно его правда хватит для твоей гуишки.
Если у гуишки нет полупрозрачных границ, можешь сделать через stencil: сначала рисуешь в FBO текстуру сцены/игры, при...