В соответствии со статьей 69 Семейного кодекса РФ родители (один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иного лечебного учреждения, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.
Таким образом, как следует из вашего вопроса, основания для лишения родительских прав присутствуют.
Лишение родительских прав производится судом. Поэтому Вам необходимо обратиться в суд с соответствующим заявлением по месту жительства вашего бывшего супруга. 
Для составления грамотного заявления и представления интересов в суде рекомендуем обратиться за личной консультацией к квалифицированному юристу или адвокату. Напоминаем, что стороне, в пользу которой состоялось решение суда, по ее письменному ходатайству суд присуждает с другой стороны расходы на оплату услуг представителя в разумных пределах (пункт 1 статьи 100 Гражданского процессуального кодекса РФ).