同义词和词干化

在 Elasticsearch 中，同义词和词干化是文本分析中的重要功能，有助于提高搜索的相关性和准确性。它们分别通过处理同义词和词根形式来改进文本的索引和搜索能力。

1. 同义词处理

同义词处理可以将不同的词汇映射到相同的词项，从而使得包含这些同义词的搜索查询能够匹配到同一组文档。

配置同义词过滤器

同义词过滤器用于定义同义词映射。以下是一个配置同义词过滤器的示例：

PUT /my-index
{
  "settings": {
    "analysis": {
      "filter": {
        "synonym_filter": {
          "type": "synonym",
          "synonyms": [
            "quick, fast",
            "jumps, leaps",
            "car, automobile"
          ]
        }
      }
    }
  }
}

在这个示例中：

type: "synonym" 表示定义一个同义词过滤器。
synonyms 是一个包含同义词对的列表。例如，“quick”和“fast”被认为是同义词，“car”和“automobile”也是同义词。

应用同义词过滤器

要在索引中使用同义词过滤器，需要将其应用到一个分析器中。例如：

PUT /my-index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["lowercase", "synonym_filter"]
        }
      },
      "filter": {
        "synonym_filter": {
          "type": "synonym",
          "synonyms": [
            "quick, fast",
            "jumps, leaps",
            "car, automobile"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "text": {
        "type": "text",
        "analyzer": "custom_analyzer"
      }
    }
  }
}

在这个示例中，custom_analyzer 使用了 synonym_filter 来处理同义词。

2. 词干化

词干化是将词汇还原到其基本形式（词干），以提高搜索的匹配度。例如，“running”被还原为“run”，“flies”被还原为“fli”。

配置词干化过滤器

词干化过滤器用于将词汇还原为词干。以下是一个配置词干化过滤器的示例：

PUT /my-index
{
  "settings": {
    "analysis": {
      "filter": {
        "stemmer_filter": {
          "type": "porter_stem"  // 使用 Porter 词干算法
        }
      }
    }
  }
}

在这个示例中：

type: "porter_stem" 表示使用 Porter 词干算法进行词干化。

应用词干化过滤器

要在索引中使用词干化过滤器，需要将其应用到一个分析器中。例如：

PUT /my-index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["lowercase", "stemmer_filter"]
        }
      },
      "filter": {
        "stemmer_filter": {
          "type": "porter_stem"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "text": {
        "type": "text",
        "analyzer": "custom_analyzer"
      }
    }
  }
}

在这个示例中，custom_analyzer 使用了 stemmer_filter 来进行词干化处理。

总结

同义词处理：通过同义词过滤器将不同的词汇映射到相同的词项，以提高搜索的相关性。
词干化：通过词干化过滤器将词汇还原到其基本形式，以提高搜索的匹配度。

这两种功能可以结合使用，以增强文本搜索的灵活性和准确性。