← 書き物一覧に戻る

生成 AI 以前と以後で研究者の文章はどう変わったのか

生成AI以前と以後でエンジニアの文章はどう変わったのかという記事が面白かったので、研究者の書く論文についても調べてみました。

対象は、私の専門分野である自然言語処理の学会、言語処理学会の年次大会の予稿です。1995年以降の論文はすべて Web 上に公開されており、今回はそのうち2018〜2026年の予稿を分析しました。

分析した論文の数

余談ですが、2023年3月の言語処理学会では、GPT-4 の公開を受けて「緊急パネル:ChatGPTで自然言語処理は終わるのか?」が開かれました。黒橋先生は、旧来の自然言語処理は終わりを迎えつつあるが、新しい課題に取り組む新しい自然言語処理が生まれる、と論じていました。予稿の数を見るかぎり、学会は終わるどころか、ますます活発になっています。

分析方法

きっかけとなった Qiita の分析では、文長、箇条書き、太字が増えていたそうです。一方、予稿では、文長や表記にわかりやすい変化は見つかりませんでした。技術ブログに比べると、論文は元々スタイルが慣習的に決まっており、表記で独自性を出す余地が少ないからだと思います。

語彙については、英語論文を対象とした先行研究でも “delve” という単語の増加などが報告されており、AI の影響が表れやすいようです。そこで今回は、語彙の変化に絞って調べました。

方法は単純です。抽出した日本語文を Sudachi で単語に分け、ある単語を1回でも使った論文の割合を「出現率」とします1。そして、出現率が前年からどれだけ増減したかを年ごとに調べました。ChatGPT の公開は2022年11月ですが、論文執筆にいつ影響が出たかは分からないので、毎年の変化を追います。

出現率の増減ランキング

年ごとの増減の上位10語は次のとおりです。ChatGPT 公開前の2019年以降も比較のために載せています。

年ごとの出現率の増減(前年との差の上位10語)

ランキングには面白い単語もあるので、少し脱線して取り上げます。

2020年には「BERT」が急増しました。GPT 以前に最も使われた事前学習済み言語モデルですね。GPT と出現率を比較してみましょう。

「BERT」と「GPT」の出現率

2022年をピークに減り、2026年には GPT に抜かれました。栄枯盛衰ですね。

また、2021年には「付録」の出現率が0%から21.6%に跳ねています。この年に投稿規定が変わり、付録を付けられるようになったためです。「詳細は付録 A に示す」のように、本文から付録を参照しているわけですね。

「付録」の出現率

「付録」の出現率は、その後も年々増えています。国際会議の論文でも、付録に議論や実験結果を足して論文のディフェンス力を上げる(?)スタイルが増えている気がします。比較すべき手法やデータセットが増え、載せたい事柄が増えているというのもあるかもしれません。

2026年に急増した一般語

本題に戻ります。注目したいのは2026年です。それまでの年は「LLM」「プロンプト」のような研究トピックの語が上位に目立ちましたが、2026年は、研究分野によらず使える一般語が上位を占めています。

明示、同一、依存、設計、枠組み、単一、一貫、整合

これらの単語の出現率を、年ごとに確認してみましょう。

2026年に増えた語の出現率

徐々に使用が増えていたものもありますが、共通しているのは2026年に出現率が急激に増えたことです。1年で論文の書き方の慣習が変わったとは考えにくいので、LLM による校正や執筆が広まり、語の選び方が偏ったのではないでしょうか。

実際の用例も確認してみましょう。

2026年の予稿での用例
  • 入力プロンプトには,ノード集合とエッジ集合を明示的に与えた.

    NLP2026 B7-5

  • しかし,文化は多面的かつ高次の概念であり,既存研究でも明示的な定義がほとんど与えられていない.

    NLP2026 B9-3

  • 従来のRLHF手法でこの不整合を解決するには、接頭辞ごとに応答文を評価する報酬モデルを明示的に学習する必要があるが、そのための学習データの構築は困難であった。

    NLP2026 P9-7

1 / 7

語ごとに、2026年の予稿から20文を無作為に選びました(1論文1文まで)。用例は、その論文が LLM を使ったことを意味するものではありません。

ほとんどは文法的に自然で、意味の通る使い方です。響きはやや硬く、英語の直訳のような印象を受けるものもあります。 「明示的に〇〇する」のように、「明示的に」を削っても意味がほとんど変わらない使い方も目につきました。

「設計」や「枠組み」の用例を見ていると、研究テーマの変化も混じっているようです。「設計」は「プロンプト設計」のような LLM 研究ならではの使い方が増えています。「枠組み」も、「〜を評価する枠組み」のように、評価や分析の仕組みそのものを提案する研究で使われる例が含まれます。

「整合」は、個人的にあまり馴染みのない言葉でした。出現率は2018年には1%未満で、その後少しずつ増え、2026年に一気に21%まで増えました。「実験結果が先行研究の知見と整合する/整合的である」のような使い方が多いようです。英語論文の “This finding aligns with …” や “is consistent with …” を日本語にした形なのかもしれません。

同義語との比較

この増加が、使う場面が増えたためなのか、同じ場面で選ぶ語が変わったためなのかを確かめるために、同義語の出現率と比較します。 単に、その意味の単語を使う場面が増えたのではなく、表現の選ばれ方が偏っているのであれば、同じ意味を持つ他の単語の頻度は減っているはずです。 そこで、用例を見て置き換えられると判断した同義語と比べてみました。

取り上げた語と、似た意味の平易な語の出現率

どちらの組も、2026年に増減がきれいに逆になっています。「同じ」と「同一」、「一つ」と「単一」は多くの場面で置き換えられる語です。使う文脈が増えたのではなく、どちらを選ぶかのバランスが LLM のクセで変わったのでしょう。

ただし、8語のうち、ほかの語では同義語がはっきりしないためか、相反する出現率のパターンは見られませんでした(たとえば「整合」と「一致」など)。

おわりに

自然言語処理分野の日本語論文を分析したところ、2026年の予稿で、LLM の使用の影響と見られる語彙選択の変化が見られました。LLM は2023年ごろから活用できる状況でしたが、論文執筆に本格的に使えるほど性能が上がったり、インターフェイスが整ったのは2025年ごろからだったという印象があります。2026年の変化は、その実感とも合います。

余力があれば、今回注目した表現が、どの LLM のクセなのかも調査したかったのですが… ChatGPT、Claude、Gemini などに、ダミーの論文を執筆させ、単語頻度を数えるという実験を考えましたが、うまい論文の生成方法や API 料金を考えて断念しました。 各種 LLM のクセに詳しい方は教えてください。

ちなみに、「AI 執筆が増えている!けしからん!」というつもりは毛頭なく、校正やレビューなどのチェック、データのまとめなどの情報処理には大いに活用すべきだと思います。

一方で、自分で文章を書く過程で「あ、この主張をするためには、この実験を追加しなきゃ」と気付いたり、研究テーマへの理解が深まったりすることもあります。個人的には、書きたい内容を好きな粒度やスタイルで殴り書きし、清書やチェックを LLM に任せるくらいが、コントロールのしやすさと時間効率のバランスが良いと感じています。

次の言語処理学会は、2027年3月@福岡です。新しい研究の知見はもちろん、論文の言葉づかいがどう変わるのかも楽しみです。

Footnotes

  1. 1本の論文で何回使っても1回と数えます。前年か当年に20本以上の論文で使われた語だけを対象にし、数字を含む語は除きました。ランキングの表示からは、「的」「点」のような1文字の語も除いています。表記ゆれ(「わかる」と「分かる」など)はまとめて数えています。 ↩