o que fazer quando sua liberdade infringe a do outro? o argumento de que o direito de um acaba quando começa o do outro é válido?

Claro que é. A liberdade de um não pode restringir a de outro. Isto é, não se tem a liberdade de tolher a liberdade de ninguém. Nem de fazer mal nenhum. causar prejuízo, dano, sofrimento. A não ser tendo em vista um bem maior, como tratar um canal de dente que provoca dor para curar a cárie.