1. 简介

TF-IDF（Term Frequency-Inverse Document Frequency）是一种在信息检索和文本挖掘中广泛使用的统计方法，用于评估一个词在一个文档中的重要性。它结合了两个关键概念：词频（Term Frequency, TF）和逆文档频率（Inverse Document Frequency, IDF）。

2. 词频 (Term Frequency, TF)

定义：词频是指某个词在文档中出现的次数。为了防止文档长度对结果的影响，通常会将词频进行归一化处理。

公式：
\[ \text{TF}(t, d) = \frac{\text{词t在文档d中出现的次数}}{\text{文档d中所有词的总数}} \]

例如，如果词 apple 在文档 d 中出现了5次，而文档 d 总共有100个词，那么 apple 的TF值为：
\[ \text{TF}(apple, d) = \frac{5}{100} = 0.05 \]

3. 逆文档频率 (Inverse Document Frequency, IDF)

定义：逆文档频率衡量了一个词在整个文档集合中的普遍重要性。如果一个词在很多文档中都出现，那么它的IDF值会较低；反之，如果一个词只在少数文档中出现，那么它的IDF值会较高。

公式：
\[ \text{IDF}(t) = \log\left(\frac{\text{总文档数}}{\text{包含词t的文档数} + 1}\right) \]

其中，加1是为了防止分母为零的情况。

例如，假设总文档数为1000，词 apple 出现在100个文档中，那么 apple 的IDF值为：
\[ \text{IDF}(apple) = \log\left(\frac{1000}{100 + 1}\right) = \log(9.90099) \approx 0.996 \]

4. TF-IDF

定义：TF-IDF是词频和逆文档频率的乘积，用来表示一个词在文档中的重要性。

标准公式：
\[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \text{IDF}(t) \]

5. 公式推导

综合上述两个部分，TF-IDF的完整公式如下：

\[ \text{TF-IDF}(t, d) = \left( \frac{\text{词t在文档d中出现的次数}}{\text{文档d中所有词的总数}} \right) \times \log\left(\frac{\text{总文档数}}{\text{包含词t的文档数} + 1}\right) \]

5.1  示例

假设我们有一个文档集合，总共有1000个文档。考虑以下情况：

• 文档 d 中有100个词。
• 词 apple 在文档 d 中出现了5次。
• 词 apple 出现在100个文档中。

计算 apple 在文档 d 中的TF-IDF值：

• 计算TF
  \[ \text{TF}(apple, d) = \frac{5}{100} = 0.05 \]
• 计算IDF
  \[ \text{IDF}(apple) = \log\left(\frac{1000}{100 + 1}\right) = \log(9.90099) \approx 0.996 \]
• 计算TF-IDF
  \[ \text{TF-IDF}(apple, d) = 0.05 \times 0.996 \approx 0.0498 \]

6. 变体和优化

虽然上面介绍的是标准的TF-IDF公式，但在实际应用中，可能会有一些变体和优化：

• 平滑处理: 为了防止IDF值过高，有时会在IDF公式中添加一个小常数 \( k \)：
  \[ \text{IDF}(t) = \log\left(\frac{\text{总文档数}}{\text{包含词t的文档数} + k}\right) \]
  常见的 \( k \) 值是1。
• 不同的对数底数: 有些实现使用自然对数（以 \( e \) 为底），而有些使用以10或2为底的对数。选择不同的底数会影响IDF值的具体数值，但不会改变其相对大小。
• 词频归一化: 除了简单的频率外，还可以使用其他方式来归一化词频，例如平方根归一化：
  \[ \text{TF}(t, d) = \sqrt{\frac{\text{词t在文档d中出现的次数}}{\text{文档d中所有词的总数}}} \]

7. 应用

TF-IDF广泛应用于各种文本分析任务，包括但不限于：

信息检索：提高搜索结果的相关性。
文本分类：识别文档的主题或类别。
关键词提取：找出文档中的重要词汇。
文档相似度计算：比较不同文档之间的相似度。

 

本站文章除单独注明外均为原创，本文链接https://bowmanjin.com/992，未经允许请勿转载。