うーん……
そもそも「異世界ファンタジー」ってどう定義したらいいんでしょう？
我々が住んでる世界と別の世界であれば異世界なんでしょうか。
まあ、おそらく一般的な定義はソコでしょうし、そういう認識かなとは思う。
でも、それなら漫画「鬼灯の冷徹」みたいな「地獄が舞台の話」は異世界ではないのでしょうか。パラレルワールドは？　未来あるいは過去はどうなんでしょう。
「異世界に転移した」という物語と、「江戸時代に時間転移した」という物語では、少なくとも期待される物語の形は同じモノでしょう。
更に言えば、「無人島に漂着した」系の話はどうなんでしょう。
世界どころか時間さえ越えてない、単に距離的な問題でしかない。
でも、読者は「無人島での生活」というものを知らないから、同じ「知らない世界観」という意味では「異世界」と「無人島」は同じく「未知の世界」なんですよね。

まあ、これは定義を細かくしすぎだとは思うけど、考え方として「未知の世界」を「異世界」と定義すると、例えば「特殊能力者たちのための学園」なんていう有り得ない舞台は、異世界でありファンタジーなんですよ。
ずっと現実寄りにすれば「生徒会の仕事」みたいなテーマでも一般的には生徒会経験者でなければソコは未知の世界だし、例えば「自衛隊の任務」みたいなのも一般読者からすれば未知の異世界なわけです。

これを現実からずっと離して考えると、世界すら違うまったく別の世界、ということになって、それが一般的に言う「異世界ファンタジー」だとは思うけども。
ただこれを「世界観」という意味で捉えると前述したとおりの回答になります。
そして、意識して読んでみると、ライトノベルのテーマはたいがい「未知の世界観」で成り立ってることが多いです。
日常モノも、現代ラブコメも。
「知らないもの」への探究心や知的欲求は、読書のわかりやすい原動力の一つです。
そしてそれを提示する最も簡単でわかりやすく読者の興味の大きいテーマと言えば、世界そのものを異なる舞台とした「異世界ファンタジー」でしょう。

なので、それに興味をなくせば現代を舞台に「知らない世界」を書いたラブコメなんかが流行るだろうし、現代に飽きれば過去未来パラレルワールドが流行るだろうし、それが終わればまた「異世界」が流行ったりする。
例えば。
SFとファンタジーは親和性が高いというか、やってること自体はたいして違いがない。
「魔法」を「科学」に置き換えて「武器」を「兵器」に置き換えれば、あとは「魔王軍」が「悪の帝国」になるだけ。
でも、ファンタジーが流行ってる現在、SFは流行ってないどころか書くのは止したほうが良いレベル。
SFは科学的な設定の解説が複雑で面倒臭く、読者にとって単純にわかりにくいし、ごちゃごちゃしてる印象がある。
だから流行らない。
けど、私は１０年ほど前の学園ラブコメ全盛期の時代に、「ファンタジーは流行らない」と聞きました。
曰く、ファンタジーは何でも魔法で解決するし、特に異世界は何でもありで設定を世界ごとゼロから作れるんでご都合主義すぎる。いたって単純な世界観ばかりで、深みがない。
一方で現代ものは人間ドラマが主で、現代ゆえにリアリティがあって深く書ける、みたいな。

うっぴーさんが書かれた
・リアルで成功する空想が誰にも持てない
・変化が早すぎて、現実を舞台にした作品は賞味期限が短くなる
・現実世界は複雑過ぎて、読者も作者も理解できない
この条件がまさにソレで、つまりは、これって「良く言えば」って話なんですよね。
流行が過ぎれば、同じ事を真逆に「悪く言えば」という特徴で異世界ファンタジーを語ると思いますよ。
やれ「異世界は好き放題できてご都合主義すぎ」
やれ「展開に縛られるものがないため、自由気ままでグダグダする傾向がある」
やれ「異世界は単調すぎて、作者の自己満足が多い」
うっぴーさんの条件を、あえて「悪く言えば」このような形になるでしょう。
そして、それはファンタジーの流行が過ぎた直後によく言われてた事じゃないかなと思います。