読書好きな人は文章を頭の中で無意識に「音声言語」に変換しているという説があるみたいですよ。
私自身はどうかと言うと、脳内で声が聞こえると言ったら言いすぎかもですが、「朗読」っぽいリズムに置き換えながら読んでいる気はします。
あとまあ、ラノベの会話文を読んでいると、声優さんの声が聞こえたような感覚になることもありますね。

論文を読むと大抵の人はイライラするでしょ？　私もそうです。
これって内容が難しいからというよりも、情報や論理優先の文章は朗読調に変換することができないからだと思ったりします。

音声言語、つまり喋り言葉ですね。これを前面に出して書かれているのがライトノベルです。だから読みやすさに関しては圧倒的なのだと。

なので。
読んでいてイライラする文章を無理に読まなくてもいいんじゃないですか？
ツイッターは読めるし、文章も書けるとのこと。それなら、イライラする文章がスレ主様の感覚に合わないだけなんじゃないでしょうか？
だったら、ご自分が読みやすく書きやすい文章で小説を書けばよいでしょう。そして、そういう文章で書かれた小説なら、読む側にまわった時もそれほどイライラはしないんじゃないかと思います。

小説がつまらなければ退屈はしますが、必ずしもイライラはしません。文章を読んでいてイライラするのは、むしろ文章そのものの問題なのかもしれません。