読者が世界観や設定に没頭するとしたら、その世界でキャラ、特に主人公がが生き生き動き、面白い騒動を起こすからに他なりません。
逆に言えば、世界（観）だけ提示しても無駄なのです。作品に人気が出ると設定集も出て、夢中になって読む人はいます。その逆はありません（世界観含む設定が提示されて、人気が出て作品が出る等）。以下、少し説明してみます。
１．キャラへの興味が先、作品世界への知識欲は後
面白く感じるのが先にあって、知識欲は後なんですよ。面白かったら知りたくなる。知ったから面白くなることはない。例えば、学校の授業で織田信長の事績を習ったとして、信長について知りたくなるか。普通は逆ですよね。ドラマなどで信長が描かれて、実際にはどんな人物だったのか知りたくなったりするわけです。そうなると戦国時代という時代背景にも興味が出てくる。
２．作ってる本人しか面白がらない罠（イケア効果）
しかし、我々志望者はつい設定にハマりがちです。作ってて面白いからです。イケア効果と呼ばれる原因があります。自分の作ったものには異様に高い価値を感じてしまう。他人がマイナスの価値をつけてるのに、作った本人はプロの作品より凄いと本気で思ってしまう、怖い現象です。
３．難しいことを無意識に避けてしまう罠
もう1つ、逃避ということがあります。舞台とか小道具とか、アイデア出すのは相対的に簡単なんですよ。キャラを面白く動かすほうがよっぽど難しい。ストーリー、ドラマ、シーン作りはなかなか思うようにできません。しかし小道具、大道具、舞台装置は楽に思いつけてしまう。ついつい、やればできることに熱中してしまいがちです。
創作以外でも頻繁に起きる現象です。テスト勉強をしないといけないときほど、普段やらない部屋の掃除が熱心にできてしまったりする。逆に年末の大掃除のときは、勉強が面白く感じてしまったりもする。「何をいつまでに、どこまでやらないとけないか」が分かることはしんどいもんです。逆に「適当にやればよくて、どこでやめてもいい」ことは楽です。どうしても楽なほうをやってしまいがちになるのは人情ではあります。
４．作者は読者の楽しみの便宜を図るためにいる
創作が自分一人の趣味なら、自分が楽しめることをやればいいです。設定を思いつけ、好きに煮詰められる楽しみは否定しません。しかしもし、人様に見せて喜んでもらいたいなら、しんどいほうを選ばねばなりません。キャラを面白く動かすことです。繰り返しになりますが、そっちが難しいんです。読者は楽に楽しみたい。ですので、作者にしんどいことを代わってやって欲しいわけです。
５．つまらなければ至る所を貶される
「ハンター×ハンター」と「FF15」については、面白いか否かでしょう。「ハンター×ハンター」は面白いとされています。各キャラについて、熱心に語る人も少なからずいますよね。一方、「FF15」は低評価する人が少なからずいます。実際、「FF15」は発売以降、値崩れが起きたほどです。
その差は世界観どうこうじゃないんです。ゲームとしてつまらない、キャラを操作しても面白い展開にならない。そういう話です。そこへ当時のディレクターの野村哲也氏が「個人的な話をすると」と前置きして「あまりに空想的な世界からだとなかなか感情移入できない」云々の発言が非難の的として掘り返されたに過ぎません。多少極言すれあば、八つ当たりです。
６．キャラの動きが面白ければ世界や設定は気にならない
「話が面白けりゃ世界観や設定なんかどうでもいい」と言う人は確かにいるでしょう。その人は、世界観や設定を強く打ち出さない作品が面白かったという経験をしたんでしょう。その人がどうこうというより、その作品を作った作者の狙いだと考えるべきでしょう。少なくとも創作者志望であれば、ですが。
７．世界観や設定が主人公を困らせるから面白い
しかし、世界観や設定を面白がる人もいるわけですよね。上述しましたが、そこは世界観や設定の工夫よりも、キャラがその世界で何をして、設定でどう動いたかが大事です。世界観や設定の最大の役割は「主人公の障害となること」です。
例えば「魔法がある世界」だとして、主人公が最強の魔法を駆使して最初から最後まで無敵、なんてたいてい退屈です。困難がないからですね。主人公が面白く動くためには、魔法があるから困るという状況が必要です。言い換えれば、世界観や設定は主人公を縛ってこそです。世界観や設定に困らされた主人公がいかに事態を打開するか、でカタルシスが生まれ、感動もされます。
８．主人公への好感度で世界観や設定にも魅力が感じられる
主人公の活躍に感動できると、主人公の行動にも愛着が出ます。行動を支えた世界観や設定も愛おしくなります。世界観がいいとか、この設定は感動したとかの感想も出るようになります。そうなってようやく、世界観や設定をもっと知りたくなったりもします。そういう現象はしかし、主人公の行動に感動したということに支えられているわけです。
９．作者は自分がやりたくないことにむしろ手をかけるべき
作者としては普通、主人公が大好きです。ですので、主人公を困らせる世界観や設定は作るのがしんどいことが多い。もし世界観や設定を作っている最中に楽しいとしたら、読者が楽しめないことを作っていると考えたほうがいいでしょう。
作者は作中の嫌いなキャラこそ手をかけろ、というコツがあります。主人公だけをいくら飾り立てても魅力を出すのは困難だからです。対比される嫌なキャラがいてこそ、主人公を光らせることができます。よくある例は、悪役抜きに正義のヒーローは存在しえない、というものでしょうか。
世界観や設定はいわば悪役です。作っていて嫌な感じがしないなら本物ではありません。読者に評価されることもないでしょう。ではその悪役に手をかける方法は何かと申せば、主人公が困り、なんとかしようとジタバタすることです。悪役も主人公との対比で際立つものだからです。
ですので、まずキャラクター、特に主人公をどう困らせるかを考えてください。それが主人公のドラマであり、ドラマに必要な設定や世界観は（主人公をより困らせるように）煮詰められていきます。
１０．世界観や設定は作者も縛る嫌なもの
もう1つのしんどい側面は「世界観や設定を作ったら、作者はそれを絶対に裏切ってはいけない」ということがあります。例えば「この壁は絶対に突き崩せない」と作中で言ったら、絶対にその壁を壊してはいけない。ストーリーの都合上、どうしてもその壁の向こうに主人公を行かせたくて、「実はこうすれば壊れる」とかやっちゃいがちなんですけど、読者が深く失望します。
何を拠り所として作品を理解したらいいか、読者として分からなくなるからです。もう作者の語ることをただ聞くしかなくなり、自分（読者）の最大の楽しみである想像を広げることができなくなります。
世界観や設定が主人公を縛り、必然的に作者（主人公の動かし手）も縛るわけですから、世界観や設定作りは楽しいだけではなくなります。むしろ不安や苦痛の種です。下手に作ると、作者が物語を進められなくなるかもしれないからです。
１１．読者は世界観や設定のお勉強は望まない
「話が面白けりゃ世界観や設定なんかどうでもいい」にはもう1つの側面があります。読者は楽しみたいだけなのは当然ですよね。作品理解に必要なことを覚えるのは、作品が楽しめるまでは辛いお勉強です。主人公の活躍が同じ興奮を与えてくれるなら、覚える必要のあることは少ないほうがいい。お勉強というマイナス要因は少ないほどいいのです。
ただし上述しましたが、作品が面白ければ別です。面白ければ知りたくなる。しかし作品が面白いと本当に感じるのは、物語が終結してからです。ですので知識欲の先取りはできません。
表現をそれぞれ個別にやるのがいいと思う。