元記事:AIの採点の返信の返信
>「これを文学賞に応募したら、どうなりますか?」「点数をつけるとしたら、何点?」と尋ねていました。
それだと、「応募したら」という条件設定と「点数をつける」という評価形式しか設定してないので、たぶんほぼ意味を成さない評価だと思う。
まず評価基準が不明確。「その評価はどういう基準でつけられるか」っていう評価ルールが無いので、AIはあなたの作品から「あなたが喜ぶであろう基準(に見える出力)」で評価します。
AIの内部構造には詳しくないんで おそらく と頭につくけど、おそらくあなたの作品を100点と仮定して最もらしい形で「数字を出力してる」だけで、採点はしてない。なのでかなり高得点の出力だったのではないかと思う。
「どういう評価をしてほしいか」という基準を明確に詳細に事細かく設定しないと、ほとんど意味を成さないかな。
じゃあ、どうしたら信頼性のおける出力が得られるかって考えると、前述した通り評価基準をしっかり設定して近年の傾向などもちゃんとAIに教え込まないとダメ。
けど、それでもはっきり「信頼できる評価」とは言い難い。
何故なら、もし、AIの評価が完全に信頼できる評価を出せるとしたら、それは評価基準を完全にデータ化して扱えることを意味するので、評価だけでなく「AIがその評価を得られるレベルの作品を書ける」ってことになる。
これは現状技術的に可能だけど、そこまで創作に特化したAIはサービスの上で提供されていない。
ただ、AIは学習するので、システムごとに特徴があるけど、例えばGeminiだったら新しいチャットでも既に会話した別のチャット内容を閲覧し回答できるので、「作品の相談」や「創作論の相談」をしまくって「あなたの創作パートナー」になってるアカウントであれば、少なくとも「客観的な作品の評価」ではなく「あなたのイメージが形に出来ているか」という評価はしてくれるし、それはそこそこ信頼できる評価だと思う。
GPTなどでもそうした「前提」になることを事前に会話してAIに提示し、評価できる状態にしてから評価を依頼すれば、それなりに信頼できる評価になると思う。
上記の回答(AIの採点の返信の返信の返信)
スレ主 エア : 0 投稿日時:
読むせんさん、サタンさん、返信ありがとうございました。
良い点が出たからと言って良い結果が出せるとは限らないのですね。
もし、落選したら改稿します。