計量文献学による解析、Ｋ特性値、筆者判定～『ハードナッツ』第４回

昨日の、暗号ラブレター解読その他に続いて、今日は本題の「計量文献学」

にチャレンジしてみよう。残念ながら時間が無いので、あまり詳しい記事は書

けないが、この程度でも十分意味はあると思う。

『ハードナッツ！～数学ｇｉｒｌの恋する事件簿～』第４回、「ラブレターと企業恐

喝テロ」。冒頭のタイトル表示の後、数学ガールの難波くるみ（橋本愛）はラ

ブレター執筆に行き詰まり、書棚の本を手に取る。『計量文献学　文章の数学

的解析と真贋判定』（川原崎健司）。検索しても出て来ないから、単なる架空の

テキストだろう。似たような本ならいくつかあったが、メジャーではなさそうだ。

そこで簡単に解析＝分析されたのは、くるみ独特の文章で、２つの文からなる。

　　　世界中の誰も気付いてはいないけれど、

　　　この世の中を動かしているのはいくつかの数式だ。

　　　絵画や彫刻、音楽、そして文学の世界だって

　　　例外ではない。

　　　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　　☆

最初の分析は、センテンス（文）の長さで、句読点も含んでた。最初の文が

４１文字、次の文が２７文字だから、

　　　　（文の長さの平均）＝（４１＋２７）／２＝３４　（文字）

一般的な文字式は、それぞれの文の長さをｘ i、文の数をｎとして、和の記号

Σ（シグマ）を使えば、こんな感じになる。画面の右下にあった式を少し書き直

したものだ。くるみの文章の場合だと、ｘ₁＝４１、ｘ₂＝２７、ｎ＝２、とすればいい。

　　　　（ｘの平均）＝Σｘ i　（ １≦ i ≦ｎ）／ｎ

続いて、形容詞の使用頻度。句読点も含めて４１個の単語・記号の内、形容詞

は１個（最後の「ない」）だから、

　　　　（形容詞の使用頻度）＝１／４１＝０．０２４３９０・・・≒２．４３％

端数を四捨五入すれば２．４４％だが、なぜか切り捨てで２．４３％となってた。

一般的な文字式は、使用頻度を統計的な確率（ｐｒｏｂａｂｉｌｉｔｙ）と見て、使用数

をｋ個、全体をｎ個とすれば、　ｐ＝ｋ／ｎ　。簡単すぎるが、画面に映ってたの

で一応、書き添えとこう。

　　　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　　☆

さらに、読点（、）の打ち方。全部で３回使ってる内、助詞の後（「けれど、」）

が１回だから、１／３＝３３．３％。名詞の後（「彫刻、音楽、」）が２回だから、

２／３＝６６．７％。今度は普通に、端数は四捨五入になってる。

最後に、助詞の使い方。助詞が全部で１５回（ホントは１４回）使われてる内、

「の」は４回だから、４／１５＝２６．６７％。「は」は３回だから、３／１５＝２０％。

「て」は２回だから、２／１５＝１３．３％。これまた四捨五入。

ちなみに画面では、「例外では」の「で」を助詞扱いしてたが、本当は助動詞

（「だ」の連用形）のはず。この場合、助詞は全部で１４回になるから、上の

パーセント計算は違ってくる。エンドロールをチェックすると、「計量文献考

証」として、村上征勝、小田淳一という名前があった。ミスなのか、独自の国

語文法的主張なのかは不明。

　　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　　☆

こうした様々な数字データを使うと、『源氏物語』を書いたのが紫式部なのか、

あるいは、シェークスピアの作品は一人で書いたのか、あるいはフランシス・

ベーコンらの作品がまざってるのか、そういった筆者判定、あるいは真贋判定

が出来るとされてるようだ。その精度は知らないが、ネット上の情報がかなり

少ないことを見ても、今現在それほどの精度とは認められてないのだろう。

真贋判定や偽装を見破る作業に使う場合は、あくまで単なる学問的研究の試

みの一つとか、参考程度のものだと思う。人力で行うと、かなり手間がかかる

のも気になる所。ただ、面白い統計的分析ではあるし、コンピューターの時代

にもあってる。データベースとソフトを使えば一瞬で終了するような作業なのだ。

なお、くるみのレポートだと、この種の分析は「品詞出現率　ｗｏｒｄ　ｆｒｅｑｕｅｎｃｙ」

とか、「ＰＣＡ＝主成分分析（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）」と書かれて

た。積分の式まであったが、今の所、解読できてない。

　　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　　☆　

ここまでは基本的に簡単な話だが、「Ｋ特性」（ｃｈａｒａｃｔｅｒｉｓｔｉｃ　Ｋ）はちょっ

と面倒で、今回の中では一番のハードナッツ（難関）だろう。と言っても、たか

が高校２年の教科書レベルの知識で十分間に合う。

英国の統計学者ユール（Ｕｄｎｙ　Ｙｕｌｅ）が開発した道具的概念の中で、一番

有名なものとの事。特性といっても、計算で求める１つの値だから、Ｋ特性値

という呼び方もあるようだ。

この言葉自体がドラマで出たのは中盤。くるみが初めて伴田に計量文献学

を説明した時だった。「同じ単語を繰返し使ってしまう割合」という簡単な説明

で、画面には下のデータが並んでた。この右側に、Ｋ特性と書かれてたのだ。

あらかじめ言っておくと、これはＫ特性の定義とはかなり違ってる。ただ、雰囲

気とかイメージだけでも感じ取って欲しいという意味だろう。

　　　　　　　　　　くるみ　　　　一般平均

　　　　世界中　　９％　　　　　　３％

　　　　世の中　　８％　　　　　　４％

　　　　数式　　　１４％　　　　　１％

　　　　例外　　　　６％　　　　　２％　

一般平均で、「世界中」という単語を文章全体の３％も使うとは思えないが、

要するに、くるみの使用頻度が一般より多くて偏ってる、と言いたいのだろう。

これはパーセントだが、全体の単語をのべ１００コ（同じ単語の重複も含む）と

するなら、次のように使用回数で書き直せる。

　　　　　　　　　　くるみ　　　　一般平均

　　　　世界中　　９回　　　　　　３回

　　　　世の中　　８回　　　　　　４回

　　　　数式　　　１４回　　　　　１回

　　　　例外　　　６回　　　　　　２回

さて、こうしたデータの表全体でも、くるみの特徴やこだわりは出てるが、もっ

と単純化して、たった１つの値で表すものがＫ特性なのだ。その計算と効果

を示すために、私が作った簡単な具体例を見てみよう。

　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　☆　

仮に、小学２年生のＡ君が次のような文章を日記に書いたとする。実際には

もっと、ひらがなが多いと思うが、見づらいので漢字を使っとこう。

　　僕は遊園地に行った。遊園地にタケシがいたので、僕は一緒に遊んだ。

これは文法的に問題ないが、明らかにくどくて下手な文章だろう。理由の一

つは、短い文章の中に、「僕」と「遊園地」が２回ずつ使われてるからだ。それ

は、次のようなＢ君のスッキリした文章と比べれば、ハッキリする。

　　　僕が遊園地に行くと、タケシもいたので、一緒に遊んだ。

　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　　☆

では、２人の文章のＫ特性をそれぞれ計算して、比べてみよう。まず、Ａ君。

のべ単語数は、「僕、は、遊園地、に、行っ、た。遊園地、に、タケシ、が、い、

た、の、で、僕、は、一緒、に、遊ん、だ」で２０個。この内、「で」は「だ」の活用

だから、同じ種類の単語とみなすことにしよう。３個の「に」も、同じ種類として

おく。すると、単語の使用回数の分布は次のようにまとめられる。

　　　　１回使った語の数　　７コ　（行っ、タケシ、が、い、の、一緒、遊ん）

　　　　２回　　　　　　　　　　　５コ　（僕、遊園地、は、た、で＝だ）

　　　　３回　　　　　　　　　　　１コ　（に）

∴　（Ａ君のＫ特性）＝｛（１²×７＋２²×５＋３²×１）ー２０｝×１００００／２０² 

　　　　　　　　　　　　＝４００

本質的には、小カッコ（　）の中だけで、言葉の集中度の目安になる。ただ、

２０を引くことで、全て１回しか使わなかった時には０になるようにしてある。

１００００倍するのは、単に数字を分かりやすくするためで、小数に慣れてる

理系の感覚だと、ほとんど意味はない。分母に２０²があるのは、のべ語数

が多いと分子が当然大きくなるから、その調整（正規化）のためだ。

　　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　　☆　

続いて、Ｂ君。のべ単語数は、「僕、が、遊園地、に、行く、と、タケシ、も、

い、た、の、で、一緒、に、遊ん、だ」で１６個。

　　　１回使った語　　１２コ　（僕、が、遊園地、行く、と、タケシ、も、い、た、の、

　　　　　　　　　　　　　　　　　　一緒、遊ん）

　　　２回　　　　　　　　２コ　に　で＝だ

　　　∴　（Ｂ君のＫ特性）＝｛（１²×１２＋２²×２）－１６｝×１００００／１６² 

　　　　　　　　　　　　　　　＝１５６．２５　　　

　　　∴　（Ａ君のＫ特性　４００）　＞　（Ｂ君のＫ特性　１５６．２５）　

よって、値がハッキリ小さいＢ君の方が、単語が多様。つまり、語彙（ボキャブ

ラリー）が多いという判定になる。どれだけ差があれば統計的に有意なのか

は、別に考える必要があるが、どうせハッキリした差（数割以上とか）がある

時でないと使えない概念だから、あまり気にしなくていいだろう。

　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　　☆

ちなみに、すべての単語が１回しか使われてない場合は、Ｋ特性は最小値 

０になる。これが最小値であることの証明は、後述する一般的なΣ（シグマ）

の式を使えば簡単だ。

逆に、「好き、好き、好き」のように１つの単語だけを繰り返す場合は、

　　　（Ｋ特性）＝｛３²×１－３｝×１００００／３²＝６６６６．６・・・

で、巨大な値になってしまう。

「好き、好き、好き・・・・・・」と、１つの単語を無限に（ｎ回）繰り返した場合、

　　　（Ｋ特性の極限値）＝ｌｉｍ｛（ｎ²－ｎ）×１００００／ｎ²｝

　　　　　　　　　　　　　　　＝ｌｉｍ（１００００－１００００／ｎ）

　　　　　　　　　　　　　　　＝１００００　　（ｎ→∞）

これが最大値であることの証明は、とりあえず省略。なお、一般的な式を書

くと、ｍを回数、ｆ（ｍ）をｍ回使った語数として、

　　Ｋ＝〔Σ｛ｍ²×ｆ（ｍ）｝－Σ｛ｍ×ｆ（ｍ）｝〕×１００００ ／ 〔Σ｛ｍ×ｆ（ｍ）｝〕²

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（　１≦ｍ≦（ｍの最大値）　）

ややこしく見えるが、Σ｛ｍ×ｆ（ｍ）｝は単に、のべ語数を表す式だから、実は

単純だ。のべ語数をＳ₁、もう一つのΣをＳ₂、１００００を１０⁴として書き直せば、

　　　Ｋ＝１０⁴ ｛（Ｓ₂－Ｓ₁）／Ｓ₁ ²｝

これこそ、くるみが４つの文章を分析した時、黒板の左下に書いてた式なのだ。

一見、１番目と２番目と４番目が同一犯人のもののようだが、解析してみると、

２番目と３番目と４番目が同じ人物（実は社長）の文章だという話になってた。

　　　　　　　　　　☆　　　　　　　　　　☆　　　　　　　　　　☆

実際には、人力で長い文章を大量に扱うのは大変だから、ソフトを使ったりす

るようだ。人力で数万個（！）もの述べ語数を調べたｐｄｆファイルもあったが、

その努力には感心するものの、他人による確認がほとんど不可能になるだろ

う。たとえ同じ参照文献を利用するにせよ、不要な手間がかかり過ぎるのだ。

むしろ、共通のソフトやデータベースを利用する方が、知識の共有や双方向

的伝達、発展のためには便利だと思う。もちろん、著作権や個人情報保護に

注意した上で。それでは、今回はこの辺で。。☆彡

ｃｆ．　トランプのポーカーの確率計算

　　　　　　　　　　～『ハードナッツ！～数学ｇｉｒｌの恋する事件簿～』第１回解説

　　　検査精度と難病の確率、落下速度、素因数分解の暗号

　　　　　　　　　　　　　　　　　　　　　～『ハードナッツ！～数学ｇｉｒｌ』第２回解説

　　　無理数を発見した弟子をピタゴラスが殺したという伝説の検証

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　～『ハードナッツ』第３回

　　　ピタゴラス音律と普通の十二平均律、周波数のズレなど～第３回

　　　ラブレターの換字式暗号＆数字の順列パスワード～第４回

　　　ハートマークと「ｉ　ＬＯＶＥ　ｕ」、愛の方程式～第５回

　　　「アッシェンフェルターのワイン方程式」の間違いと本物（原論文）～第５回

　　　特殊な違いの有無の判定（統計的推測、５％片側検定）～第６回

　　　変化点検出と外れ値、スコア（Ｓｃｏｒｅ）～第７回

　　　変化点検出とスコア、具体的な計算例～最終回

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（計　４４０３字）