Как ограничить общение отца с ребенком, когда удобно мне и ребёнку?

Здравствуйте, мы развелись с мужем. Ребёнок 6 лет проживает со мной. Алименты перечисляются. Я не запрещаю видится с ребёнком, к бабушке, его матери тоже отдаю. Отец не участвует в воспитании, 2 месяца мне не звонил, не спрашивал как ребёнок. Только бабушка. У него агрессивное ко мне отношение, и теперь он дёргает ребёнка, чтобы я нервничала. Кроме алиментов он ничем не помогает. Сегодня забрал из сада не предупредив меня, раньше времени. Потом позвонил с телефона любовницы своей, что ребёнок у него. Когда вернёт точного времени не сказал, на мой вопрос ответил,, кури нервно,,. Ребёнка до сих пор нет. Как я могу ограничить его общение с ребёнком, когда удобно мне и ребёнку. И какие у меня права?