一般的な小説の設定ということなら、普通にありだと思います。

野坂昭如の処女作『エロ事師たち』をご存じですか？　盗撮・盗聴、乱交パーティ、ゲイ、売春斡旋、オナニスト、変態童貞、エロ写真・エロ動画の撮影、等々。そんな猥雑な性の種々相を大胆にテーマにしながら文学的なレベルを保って、三島由紀夫に激賞された異色作です。

構想されている作品はここまで過激ではないのかもしれませんが、ノリによってはこういう世界に近づきかねない雰囲気を若干感じるので、一読をお勧めします。

＞「ハーレムもの」としては如何なものなのでしょうか。

相談の文面を拝見して私が瞬間的に上のような作品を連想したのが、注意点ですね。
ハーレムものが好きな読者に喜んでもらえる作品に仕上げる自信がおありでしょうか？

＞自分自身「女しか興味ないのはなんか凡人臭い」と思ったからです。

人間しか興味がないのは凡人臭いです。

「対物性愛」というのをご存じでしょうか？　世界にはエッフェル塔と結婚した女性も実在しますよ。

対物性愛（Wikipedia）

ttps://ja.wikipedia.org/wiki/%E5%AF%BE%E7%89%A9%E6%80%A7%E6%84%9B