ストーリーという点から見れば、「主人公の目的が達成される」ということが軸になることが多いでしょう。例えばコテコテのスーパーロボットモノの「操縦型の超でかいマシーン」と「超でかい敵」っていうのは見かけから「軍隊じゃ勝てない感じ」に説得力を持たせて、「主人公がやらねば誰がやる」って状況を分かりやすく作ってると思います。つまり割と簡単に「選ばれし者」に主人公がなるという展開。
そうなってやっと主人公の行為が世界にとって重要になり、その意思と価値観に意味が生じる。シンプルにいけば、世界を守る戦いを描くなら世界中の誰もかなわない存在とそれを倒せる設定だけでいい。
でも、お話が複雑化した現代、ライバルとの死闘、社会との関りや思春期の葛藤、リアルな戦争などの内容を含まなくてはいけなくなってきた。国家・組織との関りを描きたいのに超強すぎるロボットだと不都合ということがあって設定も複雑化せざるを得ない。ただただ無敵の力を扱うのではなく、味方や社会に依存したり、そのことによる葛藤を描きたいと思う人、それを見たい人が増えた。
でもそもそも異世界も超能力も超科学ロボットも「詳しい理由は説明しません」の言い換えみたいなものです。詳しい説明を入れなくてもいい舞台を整えて、そこに「好き勝手に匙加減していく」ための装置です。むしろ現実の面倒ごとを除去していると言ってもいい。

なので「異世界という超非現実な道具は使って、そこの自然環境はご都合で、そこに呼び出されるのもご都合なのに、そこでの生活は緻密に描くって・・・それでリアリティ感じさせれんの～？」っていうのは、一理ある疑問ですが「それが異世界という舞台立てです」としか言いようがないです。
それが嫌ならば自分自身納得のいく異世界と現実に近い移転前の世界の在り方を設定しなおすしかないではないでしょう。そして、それを描かなくてはならないのはあなたがそういう要素が作品に必要と思ったからであって、異世界自体に「原子力発電所」とか「相対性理論」みたいなもののように、特定のリアリティを要求する要素はなく（とまでは言えなくともかなり薄く）、ストーリーとの兼ね合いで色々加わるだけで、要は「そういう世界だから」を実現させる道具の一つだと思います。
多分異世界物のテンプレ的な設定から、遠い星と類比的に考えるのが妥当と判断なさったのでしょうが、別に異世界がそういった設定を持っていなくてはならない理由はなく、「なぜ異世界の環境が都合よく人間にあっているのか」というのが問題になっているのは、あなたがそういう設定にしてしまってるからで、それにはストーリーやイメージから要求される何かがあったのではないでしょうか。
なにか違和感があるとすれば異世界やそこへの召喚ということが物語の雰囲気みたいなものを欠損するからでしょうが、それはもしかしたら異世界のことを現実的な科学とか歴史学から考えすぎてストーリーの雰囲気がリアリズム的になっているのに、描こうとするイメージが少年誌みたいな内容になっていて、そのテンプレと設定が不釣り合いを起こしてるのかもしれない。