『By surprise』という表現も使えますが、これはどちらかと言えば『不意打ち』のような戦術的なニュアンスが強くなります。『Out of the blue』というイディオムは日本語の『不意』に近い感覚で、青空からいきなり何かが降ってくるような意外性を表現できます。どれも完璧な訳ではないので、文脈によって使い分ける必要があります。
例えば、何か失敗をしてしまったときの悔しさや、思わず感情がこぼれてしまったときの照れくささなど、複数の感情が混ざり合っている。'Much to my chagrin' という表現は、このような複合的な感情を少しは表現できるかもしれない。'Against my better judgment' とも訳せるが、これはどちらかというと理性的な判断ができなかったというニュアンスが強い。