É válido "seguir" o Taoismo e o Budismo como filosofias, deixando de lado toda a parte da religião?‎

Sim, se se concorda com elas. Eu mesmo as aprecio muito, justamente tirando fora os aspectos relacionados ao sobrenatural, como sansara e karma. O mesmo posso dizer de outras religiões, como o hinduísmo. Mesmo o cristianismo possui lições de vida muito interessantes. Se não se considerar que Jesus seja Deus, pode-se apreciar muito do que ele pregou, como o "Sermão da Montanha", desde que se desconsidere a segunda parte daquelas assertivas e fique só com a bemaventuranças, sem suas consequências.