Если отражение, то тебе не угол нужно искать, а создать новый вектор. Вот формула:
V - 2 * (V . N) * N = V отраженный
V - вектор, который направлялся на отражающую поверхность, (V . N) - скалярное произведение, N - нормаль, то есть перпендикуляр относительно поверхности, нормализованный.