雨の日には傘を差すように、英語でもシチュエーションに合わせた断り方が必要ですね。
ビジネスシーンなら『I regret to inform you that...』がよく使われます。『残念ながら〜』というニュアンスで、フォーマルな場面にぴったり。友人同士のカジュアルな会話なら『I'd love to, but...』から始めると柔らかく伝わります。『行きたいけど…』という前置きで角が立ちにくいです。
特に『Unfortunately』を使うと、事情があることを暗に示せるので便利。『残念なことに』という含みが、相手の気持ちを逆撫でしない配慮になります。