Можно ли оформить отмену отцовства в данной ситуации?

Такого понятия как отмена отцовства нет. Вы можете поставить вопрос через суд о лишении его родительских прав, доказывая, что он не заботиться о ребенке, ничем не помогает. Свидетели должны это подтвердить.  

Статья 69 СК РФ. Лишение родительских прав

Родители (один из них) могут быть лишены родительских прав, если они:

уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;

отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, образовательной организации, организации социального обслуживания или из аналогичных организаций;

злоупотребляют своими родительскими правами;

жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;

являются больными хроническим алкоголизмом или наркоманией;

совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.