в ~95% случаев тех же новых сообщений в открытой теме не появляется оповещения об этом
Оповещения по электронной почте (и, возможно, обычные тоже, не помню) рассылаются не мгновенно, а постепенно, с определенным интервалом. Правда активация проверки времени интервала происходит только тогда, когда кто-то на форуме есть и что-то делает. Теоретически, если единственный человек на форуме отправил сообщение, а затем вышел, то оповещение может быть отправлено только тогда, когда кто-то еще зайдет на форум.
Так работает механика jobs движка. Мне она тоже не очень заходит, но изменить ничего нельзя.
С Ajax судя по всему похожая фигня. Если нет действий в окне браузера, обновления не происходит, но это неточно. Тут уже говорить ничего не могу - не знаю.