例えば、イライラが少しずつ蓄積していくような感覚なら、'get on someone's nerves'がぴったり。'That constant tapping is really getting on my nerves'と言えば、持続的な不快感を表現できます。
一方、瞬間的な怒りや憤りを表すなら、'piss someone off'が強い表現として使われますが、くだけた会話向き。もっと上品に言いたい時は、'irritate'や'vex'といった単語が良いでしょう。'The way he interrupts people really vexes me'と言えば、教養のある印象を与えられます。