まず、何と何が矛盾するかをはっきり意識する必要があると思います。挙げられた例では、

> 髪の毛の色は、設定の上では黒だったと思うのですが、小説と同じ人が描いたイラストでは茶色

これはは文章作品とイラストで異なるという問題ですよね。文章作品内の相違ではない。文章作品内の相違であれば、極めて簡潔に言えば「黒い茶髪」となります。
イラスト化については、置いておいていいと思います。イラスト化するときに相談すればいいことです。小説作者本人がイラストも描くなら、自分で納得できて、読者への説明ができればいいですから。

> 起伏が多い土地だと事前に説明されていたとしても、次の瞬間には一面に平野が広がって

こちらは、1つの文章作品内での相違ですよね。起伏の多い土地と記してあって、そうイメージしていたら、辺り一面は平野だと描写されて、どうイメージしていいか分からなくなる。

考えるべきは、こういう文章作品内での矛盾と思える表現、描写でしょう。原則としてアウトだと思います。居住地が起伏だらけと描写しておいて、台詞で「坂がないから自転車通学が楽だな」なんて書いたら、読者としては状況が分からなくなります。

作者は映像も音声もイメージしてから、それを文章化するわけですが、伝えられるのは文章だけです。読者は書かれた言葉から映像や音声をイメージします。言葉は記号でしかありません。記号に結び付いたイメージを再生するわけですから、記号同士が矛盾しているとイメージが再生不可能になります。

仕方なく、読んでいるシーンを優先してイメージを修正したりするわけですが、以前のシーンとの整合性をどうするかも読者の負担になります。しんどいわけです。矛盾と指摘するのは、間違いがいけないから減点、みたいな学校のテストの採点をしているのではありません。

落胆してるんです。せっかく文章を頼りに頑張って状況やキャラをイメージして来たのに、どうして崩すんですか、読んだ努力が台無しじゃないですか、とガッカリしたという話を「矛盾」に込めて感想で表現するわけです。読者は「こういうことだから、こうなったわけか」とか「こうなっているから、こうなるはずだ」といった感じで作品を理解するわけですよね。そこを崩したらいけないんです。

設定は読者に見せつけたりするものではなく、作者が守るべき基準（縛り）です。読者が楽にイメージするのを助けたり、何に期待していいかを保証するため（読むモチベーションに重要）のものです。作品世界の法則みたいなものですね。

設定を作ったら、作者は設定に縛られる必要があります。作者都合で変えてはなりません。変えると、読者は「この先を読んでも分からないだろうし、先を期待するのもバカバカしい」と思ってしまいます。そんなことになっては損ですよね。

なお、例外はあります。例えば、表向きの設定の裏をかくことによる効果を得たい場合ですね。起伏が多い土地ということなら、例えば自転車では苦労するはず。しかし主人公が自転車で遠路を楽々やってきた。となると、「なぜ？」と思いますよね。そこで、読者が「なるほど」と思うように描けるなら大丈夫です。そういうのって、頭脳派キャラの見せ場などでよく見ると思います。