Ну во первых он не убирается, потому что судя по коду ты делаешь это только на клиенте, а потом прилетает пакет с сервера об обновлении прогресса кулдауна и он снова появляется. На твоём месте я бы просто ловил тик ивент на сервере, каждые 10 тиков проверял, есть ли у предмета в руке кулдаун и уже просто убирал его. А вот чтобы убирать его по нажатию клавиши, то тут уже нужно будет использовать пакеты, только очень велика вероятность пакетхака в таком случае.