どういう作品かにもよると思いますが、ファンタジーの冒険主導なら気にしなくてもいいと思います。
冒険メインの場合は、あくまで書きたいのは主人公とヒロインの恋愛事情ではなく旅先の困難や笑い話、スリルある物語だと思いますので、色恋沙汰であーだこーだ話をこねくり回すのは読者層（ターゲット）が明確にできず読んでる人を困惑させるだけだからです。
早めに一緒に行動する理由を作って、冒険モードに切りかえた方が読者も喜ぶのでは？

反対に、質問者様がもう少し恋愛色を推していきたいとお考えでしたら、最初の回答者様の言う通り、展開を少し変えてみた方がいいかもしれません。
最初の質問で、質問者様はファンタジーメインと仰っていますが、こうして質問するということは「早期にヒロインとくっついていいのか？」と悩んでいるからですよね。
ラブコメ色の強い作品だと、それ系のラノベはすぐくっつかず読者に「早くくっついて欲しい」と期待を煽る作品は多いです。
ヒロインとの関係の進展が読者の作品を読む理由につながっているからですね。
すぐに付き合うと読者は「付き合ったらゴールじゃん」と思ってしまいます。

逆に、早期に主人公とヒロインがくっつくファンタジー系の作品も存在します。
アニメ化もされた「真の仲間じゃないと勇者のパーティーを追い出されたので、辺境でスローライフすることにしました」なんかは、開始数話で主人公とヒロインがいい雰囲気になり付き合った後はひたすらイチャイチャする展開とざまぁ要素などが続きます。
一応ヒロイン以外に主人公の妹など他の女キャラも登場しますが、主人公はあくまでヒロインに一途です。モヤモヤさせる為に他の当て馬を用意させなくても成立する作品です。
こちらの場合、この作品を楽しんでいる読者はあくまで主人公とヒロインのイチャコラや、主人公を追放したパーティにざまぁするのを楽しみに読んでいるからですね。

質問者様がどの方向にお話を持っていきたいのかはわかりませんが、大事なのは“ターゲット層を明確”にして、“ターゲットに絞った読者を喜ばせる”ことです。
ラブコメ好きな読者に冒険を提示しても読んでくれませんし、反対に読み応えのある冒険活劇を望んでいる読者に色恋話を見せても「なんじゃこりゃ」と言われるだけです。
自分の作品の武器を明確にし、その要素をつきつめていけば、自然と作品のクオリティはよくなるのではないでしょうか。