Infelizmente, você ter voltado, sob qualquer contexto de termino, essa dúvida vai existir. Seja ele ter terminado pra viver, ou pra ter certeza, ou pq não tava bem, enfim, vários motivos, qualquer um vai gerar essa dúvida.
Por experiência própria, ou vc supera isso ou vc termina. Pq se vc não deixar isso pra trás e entender q se ele voltou, independente dos motivos q ele um dia teve, é ai q ele quer estar. E se um dia não quiser mais, problema dele, se vc não enfiar isso na sua cabecinha e seguir em frente, isso vai te corroer ate o momento q vc não vai aguentar mais.
Passado são coisas q passaram, não adianta revisitar, elas não mudam. Se vc ja se decidiu q vc quer continuar com o relacionamento, deixe isso para trás pro seu próprio bem.
Ao invés de pensar q um dia ele quis ir embora, se apegue ao concreto: ele voltou.
Agr se vc nao consegue deixar isso pra trás, na minha opinião, é um relacionamento fadado a fracassar pq viver com isso vai te fazer mal todos os dias até vc nao aguentar mais.
Não é justo o q ele fez com vc, mas se vc decidiu continuar, passe por cima disso pelo seu próprio bem ou termine antes q isso vire um trauma que vai refletir em todos os seus relacionamentos.