読者です 読者をやめる 読者になる 読者になる

Bird's tech

23歳エンジニアのアウトプット

trigram作った

https://github.com/ygnmhdtt/trigram
ruby製です。

使い方

$ ruby trigram.rb dogura_magura.txt > output.txt

$ ruby trigram.rb test.txt

赤パジャマ青パジャマ黄パジャマ
かえるぴょこぴょこ3ぴょこぴょこ合わせてぴょこぴょこ6ぴょこぴょこ

結果↓

赤パジャマ青パジャマ黄パジャマ
かえるぴょこぴょこ3ぴょこぴょこ合わせてぴょこぴょこ6ぴょこぴょこ
[["ぴょこ", 8],
 ["こぴょ", 4],
 ["ょこぴ", 4],
 ["ジャマ", 3],
 ["パジャ", 3],
 ["わせて", 1],
 ["合わせ", 1],
 ["こ合わ", 1],
 ["ょこ合", 1],
 ["3ぴょ", 1],
 ["こ3ぴ", 1],
 ["ょこ3", 1],
 ["るぴょ", 1],
 ["えるぴ", 1],
 ["かえる", 1],
 ["黄パジ", 1],
 ["マ黄パ", 1],
 ["ャマ黄", 1],
 ["青パジ", 1],
 ["マ青パ", 1],
 ["ャマ青", 1],
 ["6ぴょ", 1],
 ["こ6ぴ", 1],
 ["ょこ6", 1],
 ["てぴょ", 1],
 ["せてぴ", 1],
 ["赤パジ", 1]]

検索エンジン?とかにも?使われているらしい?

青空文庫で試す

青空文庫 「ドグラ・マグラ」夢野久作

[["ている", 1652],
 ["、その", 935],
 ["ました", 880],
 ["ってい", 821],
 ["という", 773],
 ["して、", 768],
 ["………", 727],
 ["った。", 672],
 ["してい", 601],
 ["した。", 544],
 ["。……", 525],
 ["なって", 509],
 ["ように", 503],
 ["ような", 500],
 ["座いま", 487],
 ["御座い", 487],

なるほどという感じ
ちょっと下↓

["林博士", 246],
 ["若林博", 246],
 ["たもの", 243],
 ["博士は", 242],
 ["チャカ", 240],
 ["精神病", 239],
 ["てしま", 239],
 ["て来る", 238],
 ["ある。", 236],
 ["だから", 235],
 ["カポコ", 230],
 ["ャカポ", 230],
 ["しまし", 230],
 ["なかっ", 229],

予想通りで良かった