O tempo nao é apenas a materia em movimento ? Energia.

Claro que não. Tempo é uma entidade física primordial, advinda das alterações do estado do Universo (basta que seu espaço se expanda para que existam situações diferentes que dão azo ao estabelecimento da passagem do tempo). Tampo é a coleção de momentos e momentos são as situações do estado do Universo, isto é, como ele "está". Se o estado do Universo não se modificar, não há mudanças de momentos e, portanto, não há passagem de tempo.