К размышлению...
Добавлять в личный белый/черный список с флажком автоматически добавлен и неким сроком действия. По умолчанию такие номера в GUI не показывать чтобы не захламлять его, но иметь кнопочку чтобы показать/посмотреть/почистить/сравнить с базой.
Либо кэшу сделать приоритет над базой и сделать срок жизни настраиваемым... Где-то полгода-год поставить..