そこまで考えるなら、「失敗した転移転生は、実は数え切れないほどあって、それらは物語って形にはなってなくて、その中で偶然上手く行った例がファンタジックな世界観の話です」って考えもあるやん。
スレ主さんはマカオでもベガスでもカジノに行って、一日で億万長者になる自信はありますかね？
でも、毎日数人はそんな強運の人が生まれてるわけですよ。
カジノで負けた数万人数十万人がいる中の一人にスポットが当たって、そういう強運の持ち主の特集記事を読んで、スレ主さんは「カジノに行けば一夜で億万長者になれる！」と思うのか。
「そういう人」にスポットを当ててるから「そうなる」というだけの話で、その必然性を語る必要はあるんだろうか？
個人的には、そこを理屈で説明しちゃうと面白くないと思うんだけど、
えーと、例えばカジノで億万長者になった人はなるべくしてなった、というレールが見えちゃうと夢見られなくない？

だから、例えばスレ主さんが疑問に思ってる形の逆パターンはよくあると思うよ。
つまり、「地球への帰還ルートが特定できない」という問題ね。帰還方法は手に入れたけど、どこへ転移するのかわからないから帰れない、みたいな。

じゃあ偶然って結論しかないのか、って思うかもしれんけど、そうじゃなくて。
私が好きな異世界モノで「神秘の世界エルハザード」って古いアニメがあるんだけど、まあ古いんでネタバレ気にせず書くけど、
主人公が通う学校の地下から遺跡のようなものが見つかって、その遺跡で主人公は不思議な少女と出逢い、少女は主人公を異世界へと転移させる。異世界で少女と再会するけど少女は主人公のことを知らない。少女は魔法をコピーするような能力を持っていて、最強の術師として主人公に立ちふさがる。最終的に異世界が壊滅するだろう次元兵器が出てくる展開になり、少女は自らを犠牲にして次元兵器を止め、その兵器の影響で古代の日本へ転移し、コピーした次元能力でいずれ出会う主人公を異世界へと転移させる。
という感じの話。
この「神秘の世界エルハザード」はそもそも「転移した理由」とか原因とかそういったところが本筋になってるからこういう話になって「転移」って事情が話に繋がるけど、
そうではなく「転移」それ自体は物語の切っ掛けにすぎず舞台を異世界にしたいだけの場合、その理由にリソースを割く「必然性」がないんだよね。
偶然って結論しかないのではなく、偶然以上の理由が必要ない。あってもいいけどあまり凝ったものは本筋を邪魔するので逆効果になりかねない。
そういう判断が働いてるものと思う。

だから、別に、主人公が人のいる異世界に転移した理由を説明しようと思えばいくらでも出来ると思うよ。
例えば「召喚」って形を取れば、当然のこと「召喚術を使うほどの魔法文明と知的生物が存在する世界」が対象になるから、ファンタジー世界である可能性は限りなく高くなるよね。
例えば、異世界自体は亜空間も含め無数に存在するけど、コインを投げて結果は裏か表かの２つに集約されるように、無数にある異世界もその濃度によって転移先は集約される。コインが裏でもなく表でもなく直立した結果もあるハズだけど、そもそも事故か人為的か転移現象が起こるような環境においては「人ないし生物が存在しない世界に転移する可能性は低い」とか。

主人公がゲームなんかで見知った存在に出会うってのも、説明されてる作品は結構あると思う。
よくあるのは「すでに昔に日本人オタクが転移してて耳長族をエルフと呼んだ」とか、先人の転移者が勝手に作り上げたパターン。
逆に、「異世界の人間が過去地球に転移してきたことがあって、彼らが地球でエルフやドラゴンの話を伝えた」という伝聞が逆のパターン。
ゲーム世界に入り込んだとかゲーム世界そのままの異世界なんてのも、一種の回答であると思うよ。

「なぜ人がいる異世界に転移できたのか」とか「なぜエルフなど見知った種族がいるのか」とか「なぜ主人公が理解できる技術や食べ物があるのか」とか、疑問はあると思うけど、これらは一個一個解決すべき問題で、まるっと投げかけられても前述したような形でしか回答できないと思う。
まずは箇条書きで疑問を整理すべきじゃないかな。
そうすると、一個一個は割りと簡単に解決策が見いだせると思うよ。
例えば「トマト」は「似てるから主人公が小説内で「トマト」と表現しているだけで、異世界の「トマト」と日本で見るトマトは別種だし別のもの」と考えることもできるよね。
「エルフ」なんかも同じように出来るけど、ここは「過去に「エルフ」が中世ヨーロッパに転移したことがあり、そこで関わったヨーロッパ人がエルフの伝説を作った」とかにして、「地球に転移した経験のあるエルフが今も存命で異世界に帰還している」とすれば帰還手段を聞きに主人公は行動するわけで話が展開するじゃん？
こんな感じで一個一個解決していけばいいと思うよ。

「なぜ主人公は転移したのか」とか「この異世界は何なのか」みたいなテーマの話ならそういった掘り下げは面白いと思うけど、ただの舞台スイッチとしての転移であるなら、そういうのはあんま考えないほうがいいと思うよ。書いちゃうと面白くなくなる場合も多いし。