Quando os Físicos usam a expressão "solução elegante", o que isso realmente quer dizer ?

Significa que a solução fica expressa por meio de uma equação de aspecto simples, sem muita complicação. Também que pode ser expressa por meio de uma afirmativa curta, sem muitas paráfrases.