¿Soy demasiado paranoica?

Hola chicos, bueno pues el asunto esta así llevo poco más de un año con mi novio, el hace algún tiempo tuvo una relación larga, y en verdad se enamoro de la chica con la que se fue a vivir y tuvieron una niña, ella se fue con otra persona estando embarazada, y el no sabía nada de ella, después estuvo soltero por casi 2 años hasta que nos conocimos, me contó todo lo que paso en ese entonces al principio no lo quería tanto así que ni me importaba, después me empecé a obsesionar con el tema y hemos tenido muchos problemas por cosas de ese pasado. Hace poco el busco a su ex por facebook, me molesto mucho por que me elimino a mi para buscarla a ella aunque no la encontró, luego ella lo llamo después de estos 3 años sin que el supiera nada de ella, a su casa para decirle sus datos (aunque el aún no ha ido), y después hablando salio al tema que la nariz de mi mamá se parece a la de su ex (el no conoce a mi madre), y me dijo pues si tu mamá se parece entonces me gusta tu mamá... yo me enoje mucho y el me pidió perdón terminamos ese día pero luego regresamos. En fin, todas estas cosas han dejado una marca en mi, estoy muy deprimida siento que vivo en la sombra de su ex, yo no se que hacer si dejarlo o no, ya que hay momentos como ahorita que me atormento pensando que aun le gusta, o mucho peor pensando que como me toca y me besa a mi la toco a ella, que si nos vamos a vivir juntos (me lo a propuesto) ya no será tan especial como con ella por que el ya lo vivio, al igual que si llegamos a tener un hijo esa emoción del primero el ya no la tendrá, ya lo habrá vivido con otra persona... pero por otra parte si quitamos estos momentos (que realmente a comparación de todo lo que vivimos no son muchos), mi relación es muy bonita y en verdad siento que me quiere... yo lo amo, pero no quiero seguir sintiendome mal por eso...