使用 TF-IDF 和余弦相似度计算文本相似度

07 Feb, 2024
- CODE

在文本挖掘和信息检索领域，衡量两个文本的相似度是一个非常重要的任务。本文将介绍如何使用 TF-IDF（词频-逆文档频率）和余弦相似度来计算文本的相似度。

1. TF-IDF 介绍

TF-IDF（Term Frequency-Inverse Document Frequency）是一种统计方法，用于评估一个词语在一个文档或一个文档集合中的重要程度。TF-IDF 的值随着一个词语在文档中出现的次数成正比，但同时会随着它在整个文档集合中的出现频率成反比。

1.1 词频（Term Frequency, TF）

词频表示某个词语在文档中出现的次数。计算公式为：

TF(t, d) = \frac{f(t, d)}{N(d)}

其中，(f(t, d)) 表示词语 (t) 在文档 (d) 中出现的次数，(N(d)) 表示文档 (d) 中的总词数。

1.2 逆文档频率（Inverse Document Frequency, IDF）

逆文档频率表示某个词语在整个文档集合中出现的频率。计算公式为：

IDF(t, D) = \log \frac{N}{1 + |d \in D: t \in d|}

其中，(N) 表示文档集合中的文档总数，(|d \in D: t \in d|) 表示包含词语 (t) 的文档数量。

1.3 TF-IDF 计算

将词频和逆文档频率相乘，得到词语在文档中的 TF-IDF 值：

$TF-IDF(t, d, D) = TF(t, d) \times IDF(t, D)$

2. 余弦相似度

余弦相似度（Cosine Similarity）用于衡量两个向量之间的相似度，通过计算它们夹角的余弦值来表示。对于两个向量 (A) 和 (B)，计算公式为：

\text{Cosine Similarity} = \frac{A \cdot B}{\|A\| \|B\|}

其中，(A \cdot B) 表示向量的点积，(|A|) 和 (|B|) 分别表示向量的模。

3. 使用 Python 进行 TF-IDF 和余弦相似度计算

下面是一个使用 Python 和 scikit-learn 库进行 TF-IDF 向量化和余弦相似度计算的示例：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 示例文档集合
documents = [
    "今天天气很好",
    "我们去公园散步",
    "天气预报说今天有雨",
    "出去玩需要带伞"
]

# 创建 TF-IDF 向量化器
vectorizer = TfidfVectorizer()

# 计算 TF-IDF 值并将文档转换为向量
tfidf_matrix = vectorizer.fit_transform(documents)

# 打印每个文档的 TF-IDF 向量
print("TF-IDF 矩阵：")
print(tfidf_matrix.toarray())

# 计算余弦相似度
cosine_sim = cosine_similarity(tfidf_matrix)

# 打印余弦相似度矩阵
print("余弦相似度矩阵：")
print(cosine_sim)

4. 解释结果

上面的代码首先将文档集合转换为 TF-IDF 矩阵，每一行代表一个文档的 TF-IDF 向量。然后，计算这些向量之间的余弦相似度，得到一个相似度矩阵，其中的每个值表示两个文档之间的相似度。

TF-IDF 矩阵: 表示每个文档的词语在文档中的重要程度。
余弦相似度矩阵: 表示每两个文档之间的相似度值，取值范围为 [0, 1]，值越大表示两个文档越相似。

结论

通过本文的介绍，我们了解了 TF-IDF 和余弦相似度的基本原理，并学习了如何使用 Python 进行具体实现。这些技术在文本分类、聚类和检索等任务中具有广泛应用。希望本文对你理解和应用这些技术有所帮助！

这篇博客可以记录下来，以便以后复习和与他人分享。如果有任何问题或需要进一步的帮助，请随时联系！

#Python