Por que não seria possível viajar pelo passado?‎

Porque o tempo decorre das alterações do estado do Universo. E qualquer alteração representa o avanço para um novo momento, futuro ao anterior. Isto é, em cada lugar, o tempo sempre avança, qualquer que seja o observador. O que se pode é observar que seu avanço seja mais rápido ou mais lento. Todavia é possível, no contexto global e não local, avançando-se sempre para o futuro, voltar ao passado ao longo de uma curva tipo tempo fechada. Isso pode ocorrer em uma situação em que o campo gravitacional seja tão intenso que encurve não só o espaço em uma superfície fechada, mas também o tempo em uma curva fechada. Leia o livro do Mário Novello: Máquina do Tempo.