前提情報が不足してるような気が。
主人公は異世界に転移してる状態で、主人公は元の世界に戻りたいと思っていて、でもそうすると異世界に対して主人公は薄情なんじゃないのか、という疑問があり（その逆もまた然り）、主人公が異世界も現実世界も両方同じくらいに大事だと表現するにはどうしたら良いのか、ということかな？

２０年以上前にも異世界転移モノは流行ったんですが、そのときの王道展開がそんな感じだったように思うよ。
つまり、
主人公は元の世界へ帰りたいし家族や友達に会いたいしやりたいこともいっぱいあるし日本の生活を夢にまで見る。元の世界へ帰るんだという強い思いがある。
元の世界へ帰るための方法を探して異世界を旅して、仲間と出会い危機を乗り越え苦難に立ち向かい、異世界の素晴らしいことも恐ろしいことも体験する。
日本へ帰るための手段をみつけたとき、振り返ると主人公にとって異世界で手に入れたものは何物にも代えがたい手放したくないものになっていた。日本へ帰るなら二度と彼らと会えなくなるが主人公は……。
という感じ。

スレ主さんが例に出した
＞「石器時代に生きる主人公はある日突然、技術水準は高いが圧政が敷かれているディストピアじみた異世界に転移する。（略
は、ちょっと上から目線で偉そうに評価するなら「おしい」といったところで、なぜかって言うと、この例題だと主人公が気にしてるのは「現実世界」と「異世界の仲間」だけで、「異世界」自体は逃げ出す対象としてしか書かれないためですね。
別に作者だしそれでいいならいいんだけど、「両方の世界を気にする」って話のテーマからすると誤魔化しただけだよね、って思う。

では、どこが「おしい」のかというと、異世界の住人と一緒に主人公が現実世界へ帰ろうとしてるとこ。
現実世界に帰れるのは主人公だけで異世界の住人は連れていけない、とすれば、主人公は「現実世界へ帰るか」と「異世界に残るか」を天秤にかけることになるので、その葛藤がそのまま「両方気にしてる」という表現になる。
でも一緒にそのまま日本に異世界人を連れてきてハッピーエンドじゃ、「両方の世界を気にしてる」ってことを書けない。
そりゃ仲良くなったお友達と一緒に避難できればそれが一番いいけどさ、だからこそ「それは出来ない」って書かないと、想いの強さを書けないじゃん？

で。
これはあくまで演出や表現とそして展開の話で、「石器時代に～」とか「ディストピアの～」っていう設定はどうとでも代替可能で、
例えば「戦争や魔物被害ばかりの異世界」から「平和な日本へ移住」って設定に変えれば「現代人がナーロッパに行く」でも十分に通用する。
「高校生の主人公はある日突然、魔物の勢力が世界を飲み込む寸前の終わりかけた異世界へと転移する。言語がわからず自分がどこにいるかもわからない主人公だが、魔族に囚われた人族や抑圧されてる獣人や戦争孤児や魔物に制圧された村の生き残りたちは平和で安全な日本の話に惹かれて、共に日本を目指して帰還方法を模索することになる」
こうすりゃスレ主さんが考えられたストーリーラインそのままでしょ。
ここまでが前編で、後編は「帰れるのは主人公一人だけと判明し、葛藤の末に第三の選択肢を出して、主人公は もう帰っても安心だ という安堵感のなか仲間たちに見送られて現代に帰ってくる」って形になりそうだけど。
ここでスレ主さんの悩みに対するポイントは「主人公は安心して帰れる」ってとこで、そうなるまでに試練や苦難を乗り越えてきてるのだから、それで「帰るなら異世界はどうでもいいんだな」って感想はないでしょう。
つまり両方の世界を気にかけているけど、最後に主人公は帰ることを選択しました、という話になる感じ。
ちなみに最初のほうに書いたけど、これは別に私の案とかじゃなくて古い異世界転移モノの王道プロットを簡略化してスレ主さんの例題に合わせ、あとは割りとなんでも当てはまる感じにしただけです。

この手のお悩み、まあこれだけじゃなくて表現に関して割りと言えることだと思うのだけど、
そもそも「現実世界と異世界を両方常に気にかける主人公」を書く必要はないんですよ。
「現実世界に帰ることしか考えてないし異世界の人なんてどうでもいい主人公」と、
「仲間の危機に命がけで駆けつけて現実に帰れず死ぬかもしれないけど後悔なく行動する主人公」と、
「それらを天秤にかけて、悩み、答えを出す主人公」と、
そういう「いろんな主人公」を書くことで、最終的に「両方の世界を気にかけていた」という像が作れれば良い。
「こうすれば書ける！」という一つのアイディアを出す必要はなくて、書きたいものを分解して一個ずつ書いていけばいい。
今回の場合、「現実世界を気にしてる主人公」と「異世界を気にしてる主人公」が書けてりゃ「両方気にしてる」ことはわかるので、あとはそれを天秤にかけて強調し、答えを出させるのが一番だと思う。