Насчет других ответов, чуть покритикую:
1) Стенсил тест и тест глубины оба дают результат "да\нет". В итоге "сглаженные" края картинок будут рваными, как бы ты там не изощрялся (если конечно, не рассматривать применение MSAA).
2) Менять модельку полигона сулит те же проблемы, включение всяких "hint"ов, как по мне, ужасный костыль, потому что я не уверен, что такое у всех работает, плюс оно сломается, если рисовать через шейдер.
В конце концов, маска, настраиваемая по текстуре очень легко конфигурируется.
Для любителей вектора и поэкономить данные можно использовать distance-field текстурки.