例えば日本人にとってアメリカは「異国」ですが、アメリカ人にとっては日本が「異国」ですよね。
「異世界」も同じ。中世ヨーロッパ風異世界人、もしくは石器時代風異世界人のキャラＡが、現代日本に転移してきたら彼にとってここは立派な「異世界」ですよ。異世界も同然ではなく、異世界そのものです。重要なのは、こっちの世界とあっちの世界が同じ宇宙ではなく、違う宇宙・違う次元に存在するという関係性だけです。
だから、転移するキャラが「現実世界の石器時代の人間」である必要はなく、その人間は我々から見たら「異世界人」なんです。
つまり「石器時代風異世界人」が現代のこっちの世界に転移してくる話を書けばいいんですよ。そうであっても、そのキャラにとっては、ここが異世界です。

そういう基本構造を理解した上で、思考した方がいいですよ。