こころ論文研究室
創造

アイデアの独創性を、AIはどこまで正確に測れるか

📄 Automatic assessment of divergent thinking in Chinese language with TransDis: A transformer-based language model approach.

✍️ Yang, T, Zhang, Q, Sun, Z, Hou, Y

📅 論文公開: 2024年

創造性研究 自然言語処理 言語モデル 拡散的思考課題 心理測定学

3つのポイント

  1. 1

    中国語の拡散的思考課題（AUT）への回答を、トランスフォーマー型の言語モデルで自動採点する仕組みTransDisを開発しました。

  2. 2

    モデルによる独自性と柔軟性の評定は、人間の評定者による評定や他の創造性指標と、人間どうしの評定に匹敵する強さで対応しました。

  3. 3

    創造的な回答を求める教示と一般的な回答を求める教示、柔軟な発想と一貫した発想を求める教示の違いを、モデルの評定が的確に区別しました。

論文プロフィール

  • 著者: Yang, T / Zhang, Q / Sun, Z / Hou, Y（2024年、掲載誌: Behavior research methods）
  • 対象: 中国語で 拡散的思考 課題（Alternative Uses Task、以下AUT）に回答した参加者。複数の実験にまたがる検証であり、抄録には具体的な人数の記載はありません
  • 調査内容: AUTへの回答をトランスフォーマー型の言語モデルで自動採点する仕組み（TransDis）を開発し、モデルが算出する独自性（新奇さ）と柔軟性（発想の幅）のスコアが、人間の評定者による評定や他の創造性指標とどの程度対応するかを検証
  • 証拠の強さ: 介入を伴うRCTや追跡調査ではなく、採点システムの妥当性を複数の実験で確かめる検証研究であり、証拠の強さとしては高くありません

エディターズ・ノート

創造的なアイデアの豊かさをどう測るかは、様式のうち「創造」に関わる問いです。これまで拡散的思考の採点は人間の評定者が行うため、時間と手間がかかり、評定者によるばらつきも避けられませんでした。今回の研究は、この採点を言語モデルで自動化する試みが、人間による評定とどこまで対応するかを検証したものです。

何がわかったか

研究チームは、拡散的思考を測る代表的な課題であるAUT（ある物の通常とは異なる使い道をできるだけ多く考える課題）の中国語での回答を対象に、トランスフォーマー型の言語モデルを使って独自性と柔軟性を自動採点する仕組みTransDisを開発しました。独自性は回答がどれだけ意外で新奇か、柔軟性は回答がどれだけ多様なカテゴリーにまたがるかを指します。

研究1では、3つのトランスフォーマー型モデルから合成した独自性の評定が、人間の評定者による独自性の評定を強く予測しました。モデルによる柔軟性の評定も、人間による柔軟性の評定と強く相関しました。さらに、モデルによる評定は他の創造性指標とも人間の評定に匹敵する強さで関連しており、この点で人間評定と同程度の妥当性を示したとされています。

研究2と研究3では、教示の違いによって回答の性質を操作した場合に、モデルの評定がその違いを検出できるかが調べられました。研究2では、創造的な使い道を考えるよう求められた参加者と、一般的な使い道を考えるよう求められた参加者を、TransDisの評定が区別しました。研究3では、柔軟に発想を切り替えるよう求められた参加者と、一つの方向性を保って発想するよう求められた参加者を、同じく区別しました。

抄録には具体的な相関係数や効果量の数値は示されていません。また、この研究はモデルの妥当性を検証する複数の実験からなる検証研究であり、対象は中国語話者に限られます。他の言語での妥当性は、この研究単独では確認されていません。

🔍 AUT（Alternative Uses Task）とは

「レンガの通常とは異なる使い道をできるだけ多く挙げてください」のように、身近な物の意外な使い道を制限時間内に考える課題です。拡散的思考（一つの正解ではなく、多様な可能性を広げる思考）を測る代表的な方法として、心理学の創造性研究で広く使われています。

🔍 独自性と柔軟性の違い

独自性は、一つひとつの回答がどれだけ意外で他の人が思いつきにくいかを表します。柔軟性は、複数の回答全体がどれだけ異なるカテゴリーにまたがっているかを表します。例えば「レンガ」の使い道として「文鎮」「ドアストッパー」「花壇の縁石」を挙げた場合、どれも似た用途にとどまるため柔軟性は低くなります。一方「文鎮」「絵の具の顔料の原料」「楽器代わりに叩く」のように分野をまたぐ回答が増えるほど柔軟性は高くなります。

理論的枠組みとの接続

拡散的思考は、一つの正解を導く 収束的思考 と対をなす概念として、創造性研究の初期から扱われてきました。今回の研究は、この拡散的思考を測る評定作業そのものを言語モデルに置き換えられるかを検証したものであり、拡散的思考という概念の中身を新しく提案するものではありません。位置づけとしては、既存の理論的枠組みを測定の道具の面から支える研究です。

🔍 評定者間の一致という観点から見た意味

人間どうしの評定でも、評定者が違えば採点にばらつきが生じることが知られています。今回の研究でモデルによる評定が人間の評定と強く対応したという結果は、モデルが人間の評定者一人分の水準に近い判断を再現できる可能性を示しています。ただしこれは、モデルが独自性や柔軟性の意味を人間と同じように理解していることを意味するわけではなく、あくまで評定パターンの対応が確認されたということです。

自己観測への手がかり

自分がアイデアを出すとき、一つの発想を掘り下げる方向に向かいやすいか、それとも複数の異なる方向に発想を広げやすいかを振り返ってみるのは、一つの手がかりになるかもしれません。今回の研究が区別した独自性と柔軟性という2つの軸は、自分の発想の癖を眺める視点としても使えそうです。

読後感

最近、何か新しいアイデアを考えたとき、自分はどれだけ多様な方向に発想を広げていたでしょうか。