分析方法と論文記載用情報

指定語を含む箇所を文書横断で探し、前後の文脈を確認します。

方法

検索語に一致する箇所を、改行・句点・またはその両方で区切った範囲から抽出します。

指定条件

検索語、区切り方法

結果

ファイル名、行、前文脈、ヒット語、後文脈。KWIC表としてCSV出力できます。

語ごとの出現回数を数え、文書群全体と文書別の頻度を確認します。

方法

形態素解析後の語を単位として出現回数を合計します。空白や改行は集計対象から除外します。

指定条件

画面上は標準設定で実行。表示時に品詞・除外語・文書列を切り替えできます。

結果

SURFACE、LEMMA、品詞、総頻度、文書別頻度。

各文書に特徴的な語を重みづけします。

方法

文書ごとの語の出現をもとに TF-IDF を計算します。語の形は SURFACE または LEMMA を選べます。

指定条件

語の形（SURFACE / LEMMA）

前提

文書が2件以上必要です。

連続して出てくる語のまとまりを抽出し、特徴的な表現を確認します。

方法

N個の連続する語を1つの単位として数えます。たとえば N=2 は2語の並びを数えます。

指定条件

N の値（2〜5）、語の形（SURFACE / LEMMA）

前提

先に頻度分析を完了している必要があります。

注目語の前後に現れる語を集計し、語同士の結びつきを調べます。

方法

注目語の前後 N 語に出る語を数え、MI と T-score を算出します。

指定条件

注目語、前後何語まで見るか（1〜5）、語の形（SURFACE / LEMMA）

指標

MI は共起の相対的な強さ、T-score は出現回数を考慮した結びつきの強さを表します。

頻度分析やN-Gramなどの結果をもとに、概要、注目語、仮説、追加調査の観点を文章化します。

主な入力

対象語プリセット、参照する分析結果、対象文書の概要。

利用上の注意

統計値そのものではなく、結果を読むための補助情報として扱ってください。

記載方法

論文では、非AI分析の結果と、AIによる要約・解釈支援を分けて記載することをおすすめします。

補助パラメータ

既定の推論モデルは anthropic.claude-3-5-sonnet-20240620-v1:0。 temperature=0.1、出力上限（max_tokens）は標準520、詳細900です。 頻度分析を基礎材料とし、複数文書ではTF-IDF、N-Gram、パターン分析、共起分析も参照します。 注目語候補は最大8件、頻度の根拠行は上位30行を使います。

プロジェクト内文書をもとに質問し、関連箇所を参照しながら回答を確認できます。

主な入力

質問文、対象プロジェクト、必要に応じて参照する分析結果。

利用上の注意

回答は文書確認の補助です。重要な引用や主張は、元文書と分析結果で確認してください。

記載方法

研究で使った場合は、AIチャットを探索的な補助として用いたことを明記してください。

補助パラメータ

既定モードは bedrock_rag_v1、埋め込みモデルは amazon.titan-embed-text-v2:0、 推論モデルは anthropic.claude-3-5-sonnet-20240620-v1:0。 文書は800文字ごとに分割し、前後120文字を重ねます。 1文書あたり最大200分割、準備時の1文書上限は200,000文字です。 回答では根拠候補を最大5件使い、質問文は最大1,200文字、回答は標準設定で最大900文字・9行に整えます。

文書の内容をベクトル化し、近い文書同士をグループ化します。

方法

文書ベクトルを作成し、K-means で分類します。グループ名、要約、分類理由はAIが補助的に生成します。

指定条件

グループ数の決め方（自動 / 手動）、手動時のグループ数。利用には文書10件以上が必要です。

記載方法

分類結果を使う場合は、グループ数の決め方、文書数、AI生成の要約を利用した範囲を明記してください。

補助パラメータ

既定の埋め込みモデルは amazon.titan-embed-text-v2:0、要約モデルは anthropic.claude-3-5-sonnet-20240620-v1:0。 各文書は先頭2,000文字をベクトル化に使います。 自動グループ数はK-meansで候補を比較して選び、手動時は2〜20件かつ文書数の半数以下に丸めます。 K-meansと2次元配置の乱数の種は42、K-meansの初期化回数は10です。 グループ説明は代表文書を最大6件使い、要約生成はtemperature=0、max_tokens=500です。