分析方法と論文記載用情報

指定語を含む箇所を文書横断で探し、前後の文脈を確認します。

方法

検索語に一致する箇所を、改行・句点・またはその両方で区切った範囲から抽出します。

指定条件

検索語、区切り方法

結果

ファイル名、行、前文脈、ヒット語、後文脈。KWIC表としてCSV出力できます。

文書をタグや順序で整理し、文書群の構成と変化を確認します。

方法

文書に付けたタグ、文字数、並び順を一覧と集計で表示します。並び順は時系列順として振り直せます。

指定条件

タグによる絞り込み、並び順（時系列順 / 文書名 / タグ）。

結果

タグ別の文書数・文字数、文書長の分布、特に長い文書、文書一覧。

同じ種類の保存済み分析結果を2つ選び、項目ごとの差や比率を確認します。

方法

2つの結果に共通する項目と片方だけにある項目を揃え、値の増減や相対値を計算します。同じプロジェクトの別結果と、異なるプロジェクトの結果のどちらも選べます。

対象

頻度分析、TF-IDF、N-gram、N-gramの周辺語、関係パターン分析。

結果

共通項目、片方だけにある項目、増減、差、比率。関係パターン分析ではヒット文書や代表例も比較できます。

語ごとの出現回数を数え、文書群全体と文書別の頻度を確認します。

方法

形態素解析後の語を単位として出現回数を合計します。空白や改行は集計対象から除外します。

指定条件

画面上は標準設定で実行。表示時に品詞・除外語・文書列を切り替えできます。

結果

SURFACE、LEMMA、品詞、総頻度、文書別頻度。

各文書に特徴的な語を重みづけします。

方法

文書ごとの語の出現をもとに TF-IDF を計算します。語の形は SURFACE または LEMMA を選べます。

指定条件

語の形（SURFACE / LEMMA）

前提

文書が2件以上必要です。

TF-IDFで表した語の使われ方をもとに、内容が近い文書を探します。

方法

文書ごとのTF-IDFベクトル間のコサイン類似度を計算します。樹形図ではコサイン距離とグループ間の平均を使って文書をまとめます。

前提

文書が2件以上あり、現在の文書を対象にしたTF-IDFが完了している必要があります。

結果

基準文書に近い順の一覧、上位文書どうしの類似度表、似た文書がまとまる順序を示す樹形図。

連続して出てくる語のまとまりを抽出し、特徴的な表現を確認します。

方法

N個の連続する語を1つの単位として数えます。たとえば N=2 は2語の並びを数えます。

指定条件

N の値（2〜5）、語の形（SURFACE / LEMMA）

前提

先に頻度分析を完了している必要があります。

注目語の前後に現れる語を集計し、語同士の結びつきを調べます。

方法

注目語の前後 N 語に出る語を数え、MI と T-score を算出します。

指定条件

注目語、前後何語まで見るか（1〜5）、語の形（SURFACE / LEMMA）

指標

MI は共起の相対的な強さ、T-score は出現回数を考慮した結びつきの強さを表します。

頻度分析やN-gramなどの結果をもとに、概要、注目語、仮説、追加調査の観点を文章化します。

主な入力

対象語プリセット、参照する分析結果、対象文書の概要。

利用上の注意

統計値そのものではなく、結果を読むための補助情報として扱ってください。

記載方法

論文では、非AI分析の結果と、AIによる要約・解釈支援を分けて記載することをおすすめします。

補助パラメータ

既定の推論モデルは amazon.nova-lite-v1:0。 temperature=0.1、出力上限（max_tokens）は標準520、詳細900です。 頻度分析を基礎材料とし、複数文書ではTF-IDF、N-gram、関係パターン分析、N-gramの周辺語も参照します。 注目語候補は最大8件、頻度の根拠行は上位30行を使います。

プロジェクト内文書をもとに質問し、関連箇所を参照しながら回答を確認できます。

主な入力

質問文、対象プロジェクト、必要に応じて参照する分析結果。

利用上の注意

回答は文書確認の補助です。重要な引用や主張は、元文書と分析結果で確認してください。

記載方法

研究で使った場合は、AIチャットを探索的な補助として用いたことを明記してください。

補助パラメータ

既定モードは bedrock_rag_v1、埋め込みモデルは amazon.titan-embed-text-v2:0、 推論モデルは amazon.nova-lite-v1:0。 文書は800文字ごとに分割し、前後120文字を重ねます。 1文書あたり最大200分割、準備時の1文書上限は200,000文字です。 回答では根拠候補を最大5件使い、質問文は最大1,200文字、回答は標準設定で最大900文字・9行に整えます。

文書の内容をベクトル化し、近い文書同士をグループ化します。

方法

文書ベクトルを作成し、K-means で分類します。グループ名、要約、分類理由はAIが補助的に生成します。

指定条件

グループ数の決め方（自動 / 手動）、手動時のグループ数。利用には文書10件以上が必要です。

記載方法

分類結果を使う場合は、グループ数の決め方、文書数、AI生成の要約を利用した範囲を明記してください。

補助パラメータ

既定の埋め込みモデルは amazon.titan-embed-text-v2:0、要約モデルは amazon.nova-lite-v1:0。 各文書は先頭2,000文字をベクトル化に使います。 自動グループ数はK-meansで候補を比較して選び、手動時は2〜20件かつ文書数の半数以下に丸めます。 K-meansと2次元配置の乱数の種は42、K-meansの初期化回数は10です。 グループ説明は代表文書を最大6件使い、要約生成はtemperature=0、max_tokens=500です。

文脈を踏まえて、文書内の感情と判定理由を確認します。

主な入力

対象文書の本文と、判定単位（段落 / 改行）。

方法

外部のAIモデルを使い、14種類の感情、感情スコア、判定の確からしさ、理由を出します。

利用上の注意

AIクレジットを使用します。重要な判定は、理由と原文を見比べて確認してください。