また,各手法で有意差を調べるために両側検定のt検定を行った.5個のテーマキーワードにおいて,各被験者が各手法で役に立つと判断した単語の個数と,見やすくなっていると判断した部分の個数を比較した. 5人の被験者が5つのネットワークを評価した結果で検定を行っているため25対のデータで有意差検定を行った.ここで,有意水準は5%である.結果を表4.8に示す.
テーマキーワード | 従来手法 | TF-IDF合計値法 | TF-IDF最大値法 |
産業構造 | 5.8 | 7.8 | 4.6 |
安全保障 | 9 | 10.8 | 6.2 |
5G | 6 | 4.6 | 4 |
独立 | 7.8 | 7.6 | 7.2 |
遺跡 | 12.4 | 12.6 | 12.2 |
平均値 | 8.2 | 8.7 | 6.8 |
テーマキーワード | 従来手法 | TF-IDF合計値法 | TF-IDF最大値法 |
産業構造 | 2.2 | 3.6 | 2.8 |
安全保障 | 1.2 | 3.2 | 2.8 |
5G | 1.2 | 1.8 | 1 |
独立 | 5.4 | 5.4 | 5.6 |
遺跡 | 2.4 | 5.2 | 5 |
平均値 | 2.5 | 3.8 | 3.4 |
テーマキーワード | 従来手法 | TF-IDF合計値法 | TF-IDF最大値法 |
産業構造 | 56 | 48 | 40 |
安全保障 | 28 | 35 | 25 |
5G | 32 | 40 | 20 |
独立 | 67 | 69 | 57 |
遺跡 | 39 | 46 | 48 |
平均値 | 44 | 48 | 38 |
従来手法と合計値法 | 従来手法と最大値法 | 合計値法と最大値法 | |
役に立つ単語の個数 | 0.40 | 0.01 | 0.01 |
見やすい部分の個数 | 0.002 | 0.02 | 0.07 |
表4.5より,役に立つ単語の個数の平均は,従来手法の8.2個に対して,TF-IDF合計値法が8.7個とほぼ同数であった.しかし,TF-IDF最大値法は6.8個と下回った.また,表4.8より,役に立つ単語の個数では,従来手法とTF-IDF最大値法の間,TF-IDF合計値法とTF-IDF最大値法の間で有意差があった. 表4.6より,見やすい部分の個数の平均は,従来手法が2.5個であるのに対して,TF-IDF合計値法が3.8個,TF-IDF最大値法が3.4個といずれも上回った.さらに,表4.8より,見やすい部分の個数では,従来手法とTF-IDF合計値法の間,従来手法とTF-IDF最大値法の間で有意差があった. この結果より,4.1節の実験同様,TF-IDF合計値法が見やすさの観点からもっともよい方法であると考える.
4.1節の実験同様,本実験の評価方法では,ネットワークの出現単語数が多いほど有利になると考えたので,各ネットワークに出現している単語数を数えた. 表4.7より,被験者実験で使用したネットワークの出現単語の平均は,従来手法が44個,TF-IDF合計値法が48個,TF-IDF最大値法が38個とTF-IDF合計値法が最も多く,TF-IDF最大値法は他の2つの手法と比べて少し単語数が少なかった.
また,評価の一例としてテーマキーワードを「産業構造」として構築したネットワークを図4.4から図4.6に示す. 従来手法によるネットワークを図4.4に,TF-IDF合計値法を用いたネットワークを図4.5に,TF-IDF最大値法を用いたネットワークを図4.6にそれぞれ示す. また,それぞれの図の下にそのネットワークにおいて被験者が役に立つと判断した単語と,似た意味の単語が並び見やすくなっていると判断した部分の一部を列挙している.
役に立つと判断された単語は,いずれの手法でも企業名が多く,産業構造の根幹をなしている企業がネットワークに出現していることが分かった. また,図4.4の従来手法では,独占といった社会的にも重大な問題がネットワークに出現していた.図4.6のTF-IDF最大値法では,国保(国民健康保険)やデフレという単語が役に立つ単語として挙げられており,日常生活に関する情報もネットワークから読み取ることができた.
一方,見やすくなったと判断された部分は,いずれの手法でも,国名が隣り合って出現している箇所を,見やすくなっていると判断している場合が多かった. また,提案手法の中でも図4.5のTF-IDF合計値法は具体的な企業名がまとまっているところが見やすくなっていると判断された.
8#8
役に立つ単語:ヤフー,トヨタ,ベンチャー,プラットフォーマー,独占 見やすくなっている部分:中国と深セン,北京と海南 |
9#9
役に立つ単語:ヤフー,グーグル,トヨタ,アマゾン,日産自動車,ウーバーテクノロジーズ 見やすくなっている部分:中国と日本,ヤフーとグーグルとアップル,銀行と地銀 |
10#10
役に立つ単語:デフレ,プラットフォーマー,トヨタ,ファンド,国保 見やすくなっている部分:中国と日本,プラットフォーマーとベンチャー |