5.2.1.20.17. テキスト分割¶
テキストを指定のサイズに分割するためのタスクです。
5.2.1.20.17.1. プロパティ¶
| 項目名 | 必須/任意 | 型 | 初期値 | 説明 |
|---|---|---|---|---|
| 分割手法 | 必須 | pulldown | RECURSIVE_CHUNKING | RECURSIVE_CHUNKING ： 再帰的チャンキングによるテキスト分割を行います。
|
5.2.1.20.17.2. 入力値¶
im_splitText <object> *
├─ text <string> *
├─ chunkSize <integer>
└─ options <object>
└─ recursiveParams <object>
├─ chunkOverlap <integer>
└─ separators <string[]>
| 項目名 | 必須/任意 | 型 | 配列/リスト | 説明 |
|---|---|---|---|---|
| im_splitText | 必須 | object | なし | - |
| text | 必須 | string | なし | 分割するテキストを指定してください。
|
| chunkSize | 任意 | integer | なし | テキストを分割する最大サイズ（文字数）を指定してください。
デフォルトは 4000 です。
|
| options | 任意 | object | なし | - |
| recursiveParams | 任意 | object | なし | 再帰的チャンキングによる分割処理を行う際のパラメータを指定してください。
※分割手法で「RECURSIVE_CHUNKING」を指定している場合のみ使用します。
|
| chunkOverlap | 任意 | integer | なし | 区切り文字でテキストを分割できなかった場合に、テキストを重複させる文字数（0～）を指定してください。
デフォルトは 200 です。
|
| separators | 任意 | string | リスト | テキストを分割する際に使用する区切り文字を指定してください。
デフォルトは [“\n\n”（改行2回）, “\n”（改行）, ” “（半角スペース）, “”（区切り文字なし）] です。
|
コラム
分割手法について
- 再帰的チャンキング
- テキストを指定された区切り文字を使用して最大サイズ以内に分割する手法です。separators に指定された区切り文字を先頭から順に使用し、最大サイズに収まるまで再帰的に分割を繰り返します。区切り文字で最大サイズ以内に分割できなかった場合は最大サイズで分割し、次の分割は chunkOverlap に指定された文字数だけ前の位置から開始します。