こんにちは！志學舎高幡教室の野澤です。
 
みなさんは文章を読むとき何を考えていますか？「起承転結」や「因果関係」など文章構成は様々です。コンピュータも同様に、文章を認識するときにいくつかの規則にしたがって認識しています。今回はAIが言葉を理解するために使われる「自然言語処理」について書かせていただきます。
 
「自然言語」とは私たちが普段使っている日本語や英語のことを示します。ここでは、プログラミング言語とは異なると認識してください。コンピュータはプログラミング言語などの機械語を通して情報を認識しています。そして、コンピュータは通常は数値しか扱うことができません。さて、コンピュータはどのように日本語などの自然言語を理解しているのでしょうか？
 
ざっくり答えると、ある法則に従って日本語などにも数値を与えて認識しています。では、どのように数値を与えているのでしょうか？自然言語処理では「特徴量」と呼ばれるものをそれぞれの単語に与えることで数値化しています。その中で今回は「特徴量」のつけ方として有名な「TF処理」と呼ばれるものを紹介します。
 
Term Frequency処理と書かれるTF処理は、「より多く出現する単語は、より重要である」という直感をもとに数値化する手法です。
 
これは、国語の文章を読むときの考えにとても似ています。繰り返し用いられる言葉はその文章での「キーワード」になることが多く、その文章を読むうえでとても大切です。また、反復練習はその内容を定着させるために行うことが多いです。
 
このように、私たちの「大切なことは繰り返しやった方がいい」という感覚的な判断をAIも行っています。基本的にAIなどの機械は不要なものはプログラムとして組み込まれていません。そのような機械ですら「繰り返されているもの」は重要であると認識しています。
 
これは普段の勉強にも生かせると思いませんか？繰り返し出てくるものは重要であり、重要なものは繰り返し取り組む。コンピュータの考え方を参考にすることは、思考の幅が広がることにつながるので、プログラミングなどを通して教養を深めていってください！