Se eu volto no tempo e mato meu avô antes de ter meu pai, eu deixo de existir, mas se eu não existo eu não matei meu avô, logo eu nasci, logo eu voltei no tempo e matei meu avô antes de ter meu pai..... e ai?

Aí é que, simplesmente, não é possível voltar no tempo, indo em sentido contrário. O que se pode é ir para o futuro em uma curva tipo tempo fechada que faça um laço e volte ao ponto de saída vindo do passado. Mas isso só acontece em regiões de campo gravitacional intensíssimo e numa situação em que essa curvatura já esteja estabelecida antes da partida. Não é o caso do mundo em que vivemos. Tal ocorrência nunca se dará.