Смари сейчас майн ищет мобов с помощью getEntitiesWithinAABB(кстати это квадрат а не окружность), и твоя задача не ограничить зоркость мобов(это понятие вапще искусственное), а изменить алгоритм поиска мобов. Я предлагаю следующий:
1) Находим мобов при помощи getEntitiesWithinAABB
2) Отсекать их при помощи пересечения квадрата и треугольника
Картинка для вас

Собственно в нашем конкретном случае пересечение треугольника и квадрата довольно простое:
1) Находим вектор(учитывая что вершина нашего треугольника это начало координат то фактически нам нужно расстояние) каждой вершины квадрата(можно ограничится только центром но тогда синий квадрат будет считаться не пересекающим)
2) Находим угол при помощи арктангенса отношения y...