Por qué se ve mal socialmente?

Soy una chica (18 años), y llevo un par de meses hablando con un hombre que es mayor que yo (32 años). Y siempre está este tema de que, tener una relación con el está mal por la diferencia de edades (sin contar que tiene dos hijas). Pero realmente es malo, muchos dicen que es porque es un degenerado pero, de verdad es eso? Que otras razones hay para decir que está mal que dos personas con tanta diferencia de edad estén juntas?