A partir do momento em que existe alguma coisa (seja lá o que for), o tempo passa? Ou seja, só existe tempo se existir "matéria"?

Não. Pode haver tempo sem matéria. Mas tem que haver algo cujo estado se altere. Esse algo pode ser apenas campo e, em consequência, espaço para o conter. Não precisa haver matéria e nem radiação. Mas se não houver campo, não há conteúdo nenhum, porque matéria e radiação são quantizações de campo. Logo, sem campo não há o que possa se alterar e, logo, não há tempo (e nem espaço). Mas pode haver campo e espaço sem haver tempo, desde que esse campo seja imperturbável. Essa deve ser a condição assintótica do Universo no Big Rip. Mesmo havendo matéria, se ela não sofrer mais nenhuma alteração, o tempo pode não passar. Mas havendo radiação tem que haver passagem de tempo, pois a radiação não existe estacionária.