お金がない、金欠。壊れたという意味ではありません。
I'm broke で「今、金欠なんだ」。一時的な状態を指し、貧困(poor)とは違います。誘いを断る理由としてごく普通に使われ、恥ずかしい表現ではありません。
broke は break の過去形でもあるため混同しがちですが、I'm broke は「私は壊れた」ではありません。壊れた物は It's broken です。
ネイティブが実際に使う英語を、使い方と一緒に1日1つ。無料。いつでも停止できます。