この表現の背景には、古代中国の故事が関わっていると言われています。『韓非子』という書物に、焼けた石に水をかけてもすぐに蒸発してしまい、何の効果もないという喩えが記されています。
日本では中世以降、この表現が広まりました。特に戦国時代の武将たちが、無駄な努力を戒める言葉として好んで使ったようです。現代でも、どれだけ努力しても成果が上がらない状況を表現する際に用いられています。
興味深いのは、類似の表現が世界各地に存在することです。例えば英語では『like pouring water on a duck's back』(アヒルの背中に水をかけるよう)という言い回しがあります。