いろんなパターンがあると思います。作り方も作者ごとで工夫しているようです。

例えば、古いものですが（1988年～、完結してないけど）コミックで「BASTERD!!」（萩原一至）というのがありまして、魔術師が主人公です。呪文詠唱が効果的に使われてまして、大威力の呪文パターンで多いのが、

意味不明なカタカナ語→いかめしい日本語（命令形）→意味不明な呪文名

です。「BASTARD 呪文」などでネット検索すると、呪文詠唱一覧のWebページがいくつも見つかります。一例を挙げると（中盤までは主人公の代表的で最強の魔術）、

七鍵守護神：
カイザード・アルザード・キ・スク・ハンセ・グロス・シルク（無意味カタカナ）
灰塵と化せ冥界の賢者、七つの鍵を持て、開け地獄の門（いかめしい日本語、倒置も併用）
ハーロ・イーン（呪文名）

となっています。当時はファンも多く、暗記してファン同士で呪文ごっこなどもしていたようです。他の作品への影響も少なくなかったかもしれません。
作者によると、カタカナ語は外国ヘヴィメタの歌詞やバンド名から適当に作っていたとのことです。

やはり古めですが、「孔雀王」（荻野真）では、主人公が密教系で、実際の真言がそのまま多用されています。真言はカタカナ表記ですが、インドのマントラを音訳したものですんで、たとえ漢字にしたところで意味は分かりません。そのため、

真言に対応する如来・菩薩・明王等の名→真言の効果→真言

というパターンが多かったように記憶しています。真言はそのまま使えばよく（むしろ、いじらないほうがそれっぽい）、真言の効果は対応する神仏から想像できるものでいいと思います。
麻宮騎亜氏の「サイレントメビウス」では主人公が西洋風呪文（オリジナルらしい）を唱えますが、サブキャラの磯崎真奈が真言を使います。あまり前面に出さず、効果音的にローマ字表記されていました。

神道の祝詞、呪詛ですと、日本語でそのまま言えばいいということになります。ただし、古い言葉でないと雰囲気出ませんから、古文の知識が必要になります（なんとなく古風では、ゴマカシと感じる読者が出るリスクが低くない）。

他にもあると思いますが、とりあえずこれくらいで。

上記の中では、西洋風呪文がなかなか作りにくいように思います。オカルト系の本・サイトなどを参考にすることも可能ですが、作りたいシーンに必要な呪文が見つかるとは限りません（敵を焼き払う炎の呪文なんて、たぶん無い）。上記の「BASTARD!!」方式ですと、外国語の知識が前提となっていて、容易には参考にできない面もあります。

とりあえずのカタカナ呪文（の原形）を作るとしたら、ネットの翻訳サイトを使う手もあります。例えばGoogle翻訳ですと、多国語ですのでいろいろ試せます。試しに「いい加減やめてくれ。」を翻訳してみました。

ラテン語：インペリト・プロヒベレ・アド・メー（Imperito prohibere ad me.）
インドネシア語：ヘンティカン・イトゥ・ダリ・サヤ（Hentikan itu dari saya.）

みたいのが出ます。これをちょこちょこいじって語感を目的の呪文っぽくするというのも、可能なように思います。

呪文の注意点としては、作っていて面白いからと言って、文章作品で長々と出すのは控えたほうがいいということがあります。上記で出した例はコミックですから、自然と「絵が主、呪文が副」になってくれます。しかし文章のみですと、読者は無意味語を読まされることになります。雰囲気を作る最低限度に控えないと、読者が興味を持てず、単に疲れる結果になりがちです。