私たちの研究室では、英語の入試問題などを題材にして機械読解技術の精度向上に取り組んでいます。最新の深層学習（ディープラーニング）手法を用いることで、従来の単語レベルの解析から文章レベルへの解析が可能となり、読解精度が向上しました。
英語の入試問題において、日本で最も受験者の多かった大学入試センター試験を対象に、特に、「意見要旨把握問題」と呼ばれる、長文テキストに書かれている、発言者の意見を要約する問題を使って評価しました。右の例では、リーダーとはどうあるべきか、について話し合われていて、参加者の一人が、リーダーの資質について自分の意見を数文にわたって述べています。問題では、この意見について正しく要約した短い文を適切に選択する必要があります。入試問題であるため、選択肢は巧みに言い換えられており、単純な単語マッチングなどの手法では正しく解くことはできない問題になっています。
本研究で用いている機械読解器の全体構成の概要を左図に示します。機械読解器は多数のパラメータを持つニューラルネットワークによって構成され、それらのパラメータは深層学習によって自動的に学習されます。 問題本文および設問の文章は、単語分割された後、大規模言語表現モデルを介して単語の意味ベクトル列に変換され、ニューラルネットの入力となります。問題本文の単語列と設問文の単語列でどの部分が正解の選択肢を解答するのに寄与しているかを学習し、各パラメータを決定します。また、重要な関係性がアテンションとして記憶されます。 |
ニューラルネットを使った認識では、機械がどの部分に重きをおいて認識しているかを把握することが難しいことが多いです。しかし、上記のアテンションに注目すると、機械がどの部分を重要だと認識して読解を行っているか把握することができます。右図は上記の例におけるアテンションを可視化したもので、濃い赤色ほど、その単語を重視して読解を行っていることを示しています。このことから、適切に読解を行って正解が得られていることが推察されます。
深層学習をはじめとする機械学習手法の発展、高速な並列計算を実現するハードウェア技術の進歩などにより、画像認識や音声認識をはじめとする高精度なメディア認識技術が実現してきています。言葉を扱う言語処理においても、ニューラルネットを使った認識技術が発展し、これまでには実現困難とみられていた、文脈を考慮した高精度な意味解析の研究が進んできています。また、インターネットやSNSの発展とともに増大しているオンラインテキストを有効に活用する技術が社会から求められています。
ロボットや計算機が人間の代わりに膨大なテキストの内容を読み解き、人間の社会活動に役立てることを目的としています。単語単位、文単位ではなく、よりまとまった文章の内容の高精度な解析を目指しています。
弁護士事務所における過去の判例検索、顧客からのクレームの分析、SNSにおける発言の動向など、テキスト情報の解析に関わる幅広い分野の用途が考えられます。
深層学習を用いた機械読解を行うことで、これまでの単語の共起をベースにした手法に比べて、より長い文章で、文脈を捉えた読解が可能になっています。また、機械がどの部分を重視しているかについて、可視化することも可能になっています。
高精度な機械読解を行うためには、読解対象のテキストについての膨大なデータが必要になることが多く、そのデータが実際に手軽に入手できるのかも問題になります。また、より少ないデータによって、より高精度に学習を行う手法も求められています。また、グラフ、表、図を含んだようなテキストについても、どのように扱えば適切な学習が行えるかは必ずしも明らかになっておらず、技術的な課題となっています。
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2021 智と技術の見本市.
