データ接続と統合Pipeline Builder ExpressionsROUGE スコア

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

ROUGE スコア

サポート対象：バッチ

予測テキストと対象テキストの ROUGE 適合率、再現率、および F 値を計算します。テキストは小文字に変換され、ASCII の英字と数字のみが比較されます。それ以外のすべての文字は単語の区切りとして扱われます。いずれかの入力が null の場合、またはスコア計算機のサイズ制限を超えるなど、テキストのスコアを計算できない場合は null を返します。

式のカテゴリー： 距離測定、文字列

引数

予測： 評価する機械生成テキスト。
Expression<String>
ROUGE の種類： テキストの比較に使用する ROUGE の種類。
Enum<ROUGE-1, ROUGE-2, ROUGE-3, ROUGE-L, ROUGE-Lsum, ROUGE-Lsum (detected sentences)>
対象： 比較基準となる参照テキスト。
Expression<String>
任意 ステマーを使用： 比較する前に単語の語幹を抽出します。
Literal<Boolean>

出力タイプ： Struct<precision, recall, fmeasure>

例

例1：基本ケース

説明： 小文字に変換した後、ASCII の英字と数字のみが比較されます。それ以外の文字は単語を区切ります。トークンを含まないテキストのスコアは、入力が同一であってもゼロになります。

引数の値：

予測： prediction
ROUGE の種類： rouge1
対象： target
ステマーを使用： null

prediction	target	出力
你好	你好	{ fmeasure: 0.0, precision: 0.0, recall: 0.0, }
cat你好dog	cat dog	{ fmeasure: 1.0, precision: 1.0, recall: 1.0, }
CAT 42	cat 42	{ fmeasure: 1.0, precision: 1.0, recall: 1.0, }
空の文字列	空の文字列	{ fmeasure: 0.0, precision: 0.0, recall: 0.0, }

例2：基本ケース

説明： ROUGE-2 は、隣接する単語のペア間の重複を測定します。

引数の値：

予測： prediction
ROUGE の種類： rouge2
対象： target
ステマーを使用： null

prediction	target	出力
the cat sat	the cat slept	{ fmeasure: 0.5, precision: 0.5, recall: 0.5, }

例3：基本ケース

引数の値：

予測： prediction
ROUGE の種類： rouge1
対象： target
ステマーを使用： null

prediction	target	出力
the cat sat	the cat sat	{ fmeasure: 1.0, precision: 1.0, recall: 1.0, }

例4：基本ケース

説明： ROUGE-L は、同じ順序で現れる最長の単語列を測定します。

引数の値：

予測： prediction
ROUGE の種類： rouge_l
対象： target
ステマーを使用： null

prediction	target	出力
cat sat	sat cat	{ fmeasure: 0.5, precision: 0.5, recall: 0.5, }

例5：基本ケース

説明： ROUGE-Lsum は改行を使用して文を区切ります。句読点だけでは文を分割しません。

引数の値：

予測： prediction
ROUGE の種類： rouge_lsum
対象： target
ステマーを使用： null

prediction	target	出力
cat sat. dog ran.	dog ran. cat sat.	{ fmeasure: 1.0, precision: 1.0, recall: 1.0, }
cat sat. dog ran.	dog ran. cat sat.	{ fmeasure: 0.5, precision: 0.5, recall: 0.5, }

例6：基本ケース

説明： ROUGE-1 は、個々の単語間の重複を測定します。

引数の値：

予測： prediction
ROUGE の種類： rouge1
対象： target
ステマーを使用： null

prediction	target	出力
the cat sat	the cat slept	{ fmeasure: 0.6666666666666666, precision: 0.6666666666666666, recall: 0.6666666666666666, }

例7：基本ケース

説明： 語幹を抽出することで、関連する語形を一致させることができます。

引数の値：

予測： prediction
ROUGE の種類： rouge1
対象： target
ステマーを使用： true

prediction	target	出力
cars	car	{ fmeasure: 1.0, precision: 1.0, recall: 1.0, }

例8：基本ケース

説明： ROUGE-Lsum sentences は文の境界を自動的に検出し、文の並べ替えに対してペナルティを課さずに、文単位の一致を比較します。

引数の値：

予測： prediction
ROUGE の種類： rouge_lsum_sentences
対象： target
ステマーを使用： null

prediction	target	出力
The dog ran. The cat sat.	The cat sat. The dog ran.	{ fmeasure: 1.0, precision: 1.0, recall: 1.0, }
Cat sat. Dog ran.	Dog ran. Cat sat.	{ fmeasure: 1.0, precision: 1.0, recall: 1.0, }

例9：基本ケース

説明： ROUGE-3 は、隣接する3語のグループ間の重複を測定します。

引数の値：

予測： prediction
ROUGE の種類： rouge3
対象： target
ステマーを使用： null

prediction	target	出力
the cat sat down	the cat sat still	{ fmeasure: 0.5, precision: 0.5, recall: 0.5, }
the cat	the cat	{ fmeasure: 0.0, precision: 0.0, recall: 0.0, }

例10：null のケース

説明： いずれかの入力が null の場合、ROUGE スコアの出力全体が null になります。

引数の値：

予測： prediction
ROUGE の種類： rouge1
対象： target
ステマーを使用： null

prediction	target	出力
null	target	null
prediction	null	null
null	null	null