程度による。
漫画で例えると、動画の１コマをトレスしてるレベルだったらちゃんと参考として明記すべきだし書く前に著作者に一言ことわりを入れるべき。
動画に出てるイメージを参考に自分で書いて、見る人が見たら「コレあの動画じゃね？」ってわかる程度なら、１．何もしない ２．動画元に一言ことわりを入れて、自作に参考元を明記しない ３．動画元に何も言わず、自作に参考元として明記する ４．動画元にことわりをいれて、自作にも明記する　の４択じゃないのかな。
自分は面倒くさいから １．何もしない だな。誰かに指摘されたら参考元を書けばいいか、参考元から何か言われたら以降は参考元にも許可を求めればいいか、くらいだな。
最初からきっちりしたい人なら参考元に許可を取るくらいはするだろうけど、ぶっちゃけ「その程度の参考でいちいちウチのURLを参考元と表示されると逆に迷惑なんだけど」って場合もあるから、スレ主さんがどういうつもりなのかじっくり相談受けないと正確なことは言えない。

んーと、例えば、「その動画ではたまたまコスプレの話題をテーマにしてただけで、本チャンネルでは普通に裁縫動画」って動画を、コスプレがテーマの小説で参考元として明記されたら、「その動画にコスプレ目当ての人が来る」わけで、迷惑でしょ。
そもそも、「その動画チャンネルが好きで毎回見てるファンです」って人が「参考に小説を書きたいです、どうか許可お願いします」だったら嬉しいし許可したいし応援もしたいけど、「たまたま目についてこの動画一個しか見てないけど小説で使いたいんだよね」って人から「参考にしたいです、許可お願いします」って来たら、普通に失礼だと感じる人も多いと思うしね。
少なくとも私なら「はぁ？　何こいつ」って思って返信しない。

なので、繰り返し「程度による」けど、黙って参考にして気づかれたら変に隠さず素直に掲示すりゃいいんじゃないかな。