Então a segunda lei da termodinâmica não tem nada a ver, diretamente, com entropia e sim com diferença de temperatura ?

Tem sim. Dizer que o calor passa de um corpo mais quente para um mais frio decorre dela. Mas não que passa de um corpo de maior entropia para um de menor entropia. O que ela diz é que, numa interação térmica, a entropia do conjunto envolvido, se for um sistema isolado, nunca diminui (note que não diz que sempre aumenta, pode ficar a mesma, se o processo for reversível).