読者は上手に騙されたいんですよ。
魔法のない世界でさほど筋肉があるように見えない女性や子供が長弓や大剣を使いこなしてもかまいませんが、それを押し通すためには、

＞「そういう世界観」ということで説明できないかと思ったのですが、

作者が漫然とそんな期待をしているだけでは手抜きです。

有り得ない設定を通してしまうためには、

１）作品の他の部分に圧倒的な魅力がある

２）文章のスピード感や描写のうまさを駆使して、読者に不自然さを感じるいとまを与えない。（ノリと勢い）

３）そういうのも有りなんだという共通認識が、読者と作者の間であらかじめ成立している。

などのいずれかが必要です。
例えば小説ではなくアニメですが、『ルパン三世』では車が90°近く切り立った崖を平気で走ったりしているでしょう？　あの作品は１と２が強烈で、その結果、すでに３が成立しているんです。
また、なろうなどは需要と供給のマッチングがしやすいシステムなので、１・２がそれほどでもなくても３が成立している作品があるのだと思われます。

エンタメにリアリティは（さほど）必要ありませんが、演出は必要です。