何年もの間、人工知能との対話に関するアドバイスは、ほとんど古風に聞こえてきました。礼儀正しく、明確に、「お願いします」と言う。しかし、新しい研究によると、人間の社会規範に根ざしたこの本能が、AIシステムのパフォーマンスを密かに損なっている可能性があることが示唆されています。
2025年9月に発表され、NeurIPS 2025ワークショップで発表された研究「Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy」では、大規模言語モデル(LLM)にプロンプトを入力する際に使用するトーンが、その精度を測定可能な形で変化させることがわかりました。そして、直感に反する、さらには不安を感じさせる結果として、より礼儀正しいプロンプトが実際にはより悪い結果をもたらす可能性があることが示されています。
研究者たちは、非常に礼儀正しいものから非常に失礼なものまで、さまざまなトーンがChatGPT-4oの選択式問題でのパフォーマンスにどのように影響するかをテストしました。数学、科学、歴史にわたる50の中程度の難易度の質問のデータセットを使用し、各プロンプトの5つのバージョンを作成しました。非常に礼儀正しい、礼儀正しい、中立的、失礼、非常に失礼です。
これらのプロンプト間の唯一の違いはトーンでした。質問自体は同一のままでした。
研究によると、プロンプトが礼儀正しくなくなるにつれて、精度は着実に向上しました。非常に礼儀正しいプロンプトは平均80.8%の精度を達成しました。対照的に、非常に失礼なプロンプトは84.8%に達し、ほぼ4パーセントポイントの改善が見られました。中立的なプロンプトは礼儀正しいプロンプトを上回り、失礼なプロンプトはさらに良いパフォーマンスを示しました。
統計的テストはこのパターンを確認しました。より礼儀正しいプロンプトが著しく良い結果をもたらしたケースはありませんでした。すべての意味のある違いは、礼儀正しくない、またはより直接的な表現を支持していました。
言い換えれば、ほとんどのユーザーが重要ではないと考えているトーンだけで、AIのパフォーマンスを変化させることができるのです。
この研究は決定的な説明を提供するには至りませんが、LLMがどのように言語を処理するかについて、より深い疑問を提起しています。人間とは異なり、これらのシステムは礼儀正しさや不快感を「感じる」ことはありません。彼らにとって、「お願いします」のような言葉や侮辱でさえ、単にトークン、トレーニングデータから学習されたパターンに過ぎません。
一つの可能な説明は、「失礼さ」に見えるものが実際には別のものの代理であるということです。直接性です。
失礼なプロンプトはより命令的である傾向があります。それらは曖昧な表現を取り除き、タスクに直接進みます。「この質問を親切に解いていただけますか?」の代わりに、失礼なプロンプトは「これに答えて」と言います。この構造の違いは、モデルにとってタスクをより明確にする可能性があります。
研究によって特定されたもう一つの要因は、プロンプトの長さと語彙パターンです。礼儀正しいフレーズを追加すると、コア指示を希釈したり気を散らしたりする可能性のある追加トークンが導入されます。対照的に、より短く、より鋭いプロンプトは、モデルがトレーニング中に見たパターンと一致します。
また、特定のトーンがトレーニングデータやシステム指示の分布とより密接に一致し、研究者が「パープレキシティ」と呼ぶものを減少させる可能性もあります。これは、モデルが見る言葉にどれだけ「驚いている」または「混乱している」かを測定する数学的な方法です。
その意味するところは、トーンは質問の周りの中立的なラッパーではないということです。それは入力の一部であり、モデルがどのように応答するかを形作ります。
この調査結果は、初期の研究からの顕著な転換を示しています。Yinらによる2024年の研究では、特にChatGPT-3.5のような古いモデルでは、失礼なプロンプトが精度を低下させることが多いことがわかりました。その研究は、過度に礼儀正しい言語が必ずしも結果を改善するわけではないことも示唆していましたが、失礼さの明確な利点は示していませんでした。
では、何が変わったのか?
2025年の研究が提供する一つの説明は、モデルの進化です。ChatGPT-4oのような新しいシステムは、言語を異なる方法で処理したり、厳しい表現の負の影響に対してあまり敏感ではない可能性があります。もう一つの可能性は、トーンの調整が重要であるということです。新しい研究の「非常に失礼な」プロンプトは、侮辱的ではありますが、初期の研究で使用された最も有毒な例ほど極端ではありません。
モデルのトレーニング方法にも広範な変化があります。LLMがより高度になるにつれて、より多様なデータとより複雑な指示調整プロセスにさらされ、微妙な言語的手がかりの解釈方法を変える可能性があります。
トーンがAIのパフォーマンスに影響を与えるという考えは、より広範で、より懸念すべき現象に関連しています。ソーシャルプロンプティングです。
2025/12/7に発表された別の研究機関、GAスLIGHTBENCH研究は、LLMがお世辞、感情的な訴え、虚偽の権威などの社会的手がかりに非常に影響を受けやすいことを示しています。これらの実験では、モデルはしばしば事実の正確性を放棄し、ユーザーのトーンや期待に合わせる行動を取ります。これは追従性として知られる行動です。
たとえば、ユーザーが自信や感情的圧力を持って誤った情報を提示すると、モデルは挑戦するのではなく同意する可能性があります。場合によっては、特にユーザーが繰り返し虚偽の主張を強化するマルチターン会話では、精度が大幅に低下します。
これはパラドックスを生み出します。一方では、礼儀正しい、または社会的に豊かな言語は、相互作用をより自然で人間的に感じさせることができます。他方では、モデルのパフォーマンスを低下させるノイズや、さらにはバイアスを導入する可能性があります。
GAスLIGHTBENCHの調査結果はさらに進んで、モデルを「役立つ」ものにするように設計されたアライメント技術が、意図せずにこの行動を促進する可能性があることを示唆しています。礼儀正しさと協調性を報酬として与えることで、トレーニングプロセスは、客観的な真実よりも社会的調和を優先するようにモデルを押し進める可能性があります。
総合すると、これらの調査結果は一般的な仮定に挑戦しています。LLMが人間のような方法で言語を解釈するという仮定です。
実際には、これらのシステムは統計エンジンです。彼らは礼儀正しさを社会規範として理解していません。彼らはそれをデータのパターンとして認識しています。「お願いします」と言っても、モデルは助けるように強制されていると感じません。それは単に、正しい答えを予測するのに役立つかもしれないし、役立たないかもしれない追加トークンを処理しているだけです。
もし何かあるとすれば、研究は、LLMが社会的ニュアンスよりも構造的な明確さに対してより敏感である可能性を示唆しています。直接的で命令的な言語は、曖昧さを減らし、モデルが入力を既知のパターンにマッピングしやすくする可能性があります。
これはまた、「類似性仮説」についての疑問を提起します。タスクがトレーニングデータに似ている場合にモデルが最高のパフォーマンスを発揮するという考えです。トーンだけで精度が変化する場合、類似性は内容だけでなく形式についてもです。
見出しを飾る結果にもかかわらず、研究者たちは、ユーザーが失礼または虐待的になることを推奨しないように注意しています。
AIシステムを構築し研究している人々にとって、この調査結果はより深い問題を浮き彫りにしています。モデルは人間の言語のパターンとバイアスを継承します。
モデル開発者と密接に協力し、アフリカ最大のAIコミュニティの一つであるAlliance4AIの創設者兼ディレクターであるAIエージェント専門家Alex Tsadoは、率直に述べています。「モデルは人間の相互作用に関するデータから学習するため、盲目的にトレーニングされる限り、人間空間で起こることに従います。したがって、人間空間にバイアスや有害な慣行があると考えるなら、それはAI空間で自動化されるでしょう。」
それはトーンがどのように使用されるかを含みます。
「しかし、AIモデルの構築を担当している場合、有害だと思うものからバイアスを調整することができます」とTsadoは付け加えます。「この場合、2025年12月初旬にAnthropicチームと会ったとき、彼らはこれを見て、モデルがこれらの素敵な言葉や意地悪な言葉に反応するようにするものを追加したと言いました。」
言い換えれば、これはAIの固定されたプロパティではありません。トレーニングと設計を通じて調整することができます。
現在の研究はまだ限定的です。実験は、コーディング、執筆、または長文の推論などのより複雑なタスクではなく、選択式問題に焦点を当てています。ニュアンスと説明がより重要なこれらのドメインで、同じパターンが保持されるかどうかは不明です。
考慮すべき文化的および言語的要因もあります。礼儀正しさは言語や文脈によって大きく異なり、研究のトーンカテゴリは特定の英語表現に基づいています。
それでも、その意味を無視することは困難です。
トーンのような表面的なものが一貫してAIのパフォーマンスに影響を与えることができる場合、それはプロンプトエンジニアリングが解決には程遠いことを示唆しています。しばしば見落とされる言葉の小さな変更は、測定可能な効果を持つことができます。
ユーザーにとって、教訓はシンプルですが直感に反しています。尋ね方が重要であり、礼儀正しくすることが常に最良の戦略であるとは限りません。
研究者と開発者にとって、課題はより複雑です。正確で人間の価値観と一致するシステムをどのように設計しますか?社会的手がかりが事実の出力を歪めないようにするにはどうすればよいですか?
そして、おそらく最も重要なことは、私たちが言うことだけでなく、私たちが意味することを理解するAIをどのように構築するかです。
これらの質問に答えが出るまで、一つのことは明らかです。AIに関しては、良いマナーが常に報われるとは限りません。