А, типа плавно затухание если нужные объект выходит за границы?
Тут glScissor не прокатит.
Тебе нужно написать шейдер, в который будешь передавать x, y, width, height прямоугольника и если пиксель не входит в него - меняешь ему альфу в зависимости от его расстояния до границ.