R语言社区主题检测算法应用案例
拓端tecdat 发布于 5 月 8 日
原文链接：http://tecdat.cn/?p=5658
使用R检测相关主题的社区
创建主题网络
我通过分析抽象文本和共同作者社交网络来研究社会科学、计算机和信息学方面的出版物。
我遇到的一个问题是：如何衡量主题之间的关系（相关性）？我想创建一个连接类似主题的网络可视化，并帮助用户更轻松地浏览大量主题。
数据准备
我们的第一步是加载LDA输出的主题矩阵。LDA有两个输出：词主题矩阵和文档主题矩阵。
作为加载文件的替代方法，您可以使用topicmodels包lda函数的输出来创建单词主题和文档主题矩阵。
# 加载到作者主题矩阵中，第一列是单词 author.topic <- read.csv("./author_topics.csv", stringsAsFactors = F) # 加载到单词-主题矩阵中，第一列是单词 top.words <- word.topics\[order(-word.topic\[,i\])\] name$topic_name\[i\] <- paste(top.words\[1:5\], collapse = " + ") } # 重命名主题 colnames(author.topic) <- c("author\_name",name$topic\_name)
与摘要是文档的标准LDA不同，我运行了一个“以作者为中心”的LDA，其中所有作者的摘要被合并并被视为每个作者的一个文档。这是因为我的最终目标是使用主题建模作为信息检索过程来确定研究人员的专业知识。
创建静态网络
在下一步中，我使用每个主题的单词概率之间的相关性创建一个网络。
首先，我决定只保留具有显着相关性（20％+相关性）的关系（边）。我使用20％，因为它对100个观察维基百科的样本具有0.05的统计显着性水平。
cor_threshold <- .2 接下来，我们使用相关矩阵来创建igraph数据结构，删除所有具有小于20％最小阈值相关性的边。 library(igraph) 让我们绘制一个简单的igraph网络。 par(mar=c(0, 0, 3, 0))y30") title( cex.main=.8)
每个数字代表一个主题，每个主题都有编号以识别它。
使用社区检测，特别是igraph中的标签传播算法来确定网络中的群集。
clp <- cluster\_label\_prop(graph) class(clp)
社区检测发现了13个社区，以及每个孤立主题的多个社区（即没有任何联系的主题）。
与我最初的观察结果类似，该算法找到了我们在第一个图中识别的三个主要聚类，但也添加了其他较小的聚类，这些聚类似乎不适合三个主要聚类中的任何一个。
V(graph)$community <- clp$membership V(graph)$degree <- degree(graph, v = V(graph))
动态可视化
在本节中，我们将使用visNetwork允许R中的交互式网络图的包。
首先，让我们调用库并运行visIgraph一个交互式网络，但是使用igraph图形设置在igraph结构（图形）上运行。
我们需要有关网络的更多详细信息。
我们通过创建visNetwork数据结构，然后将列表分成两个数据帧：节点和边。
data <- toVisNetworkData(graph)nodes <- data\[\[1\]\]
删除没有连接的节点（主题）（度= 0）。
nodes <- nodes\[nodes$degree != 0,\]
让我们添加颜色和其他网络参数来改善我们的网络。
library(RColorBrewer) col <- brewer.pal(12, "Set3")\[as.factor(nodes$community)\] nodes$shape <- "dot"s$betweenness))+.2)*20 # 节点大小 nodes$color.highlight.background <- "orange"
最后，让我们用交互式图表创建我们的网络。您可以使用鼠标滚轮进行缩放。
visNetwork(nodes, edges) %>%visOptions(highlightNearest = TRUE, selectedBy = "community", nodesIdSelection = TRUE)
首先，有两个下拉菜单。第一个下拉列表允许您按名称查找任何主题（按单词概率排名前五个单词）。
第二个下拉列表突出显示了我们算法中检测到的社区。
最大的三个似乎是：
计算（灰色，簇4） 社交（绿蓝，簇1） 健康（黄色，簇2）检测到的较小社区有什么独特之处？你能解释一下吗？
拓端数据
拓端tecdat
拓端(http://tecdat.cn )创立于2016年，自成立以来，就定位为提供专业的数据分析与数据挖掘服务的提供商，致力于充分挖掘数据的价值，为客户定制个性化的数据解决方案与行业报告等。
0 条评论
拓端tecdat
拓端(http://tecdat.cn )创立于2016年，自成立以来，就定位为提供专业的数据分析与数据挖掘服务的提供商，致力于充分挖掘数据的价值，为客户定制个性化的数据解决方案与行业报告等。
宣传栏
目录
原文链接：http://tecdat.cn/?p=5658
使用R检测相关主题的社区
创建主题网络
我通过分析抽象文本和共同作者社交网络来研究社会科学、计算机和信息学方面的出版物。
我遇到的一个问题是：如何衡量主题之间的关系（相关性）？我想创建一个连接类似主题的网络可视化，并帮助用户更轻松地浏览大量主题。
数据准备
我们的第一步是加载LDA输出的主题矩阵。LDA有两个输出：词主题矩阵和文档主题矩阵。
作为加载文件的替代方法，您可以使用topicmodels包lda函数的输出来创建单词主题和文档主题矩阵。
# 加载到作者主题矩阵中，第一列是单词 author.topic <- read.csv("./author_topics.csv", stringsAsFactors = F) # 加载到单词-主题矩阵中，第一列是单词 top.words <- word.topics\[order(-word.topic\[,i\])\] name$topic_name\[i\] <- paste(top.words\[1:5\], collapse = " + ") } # 重命名主题 colnames(author.topic) <- c("author\_name",name$topic\_name)
与摘要是文档的标准LDA不同，我运行了一个“以作者为中心”的LDA，其中所有作者的摘要被合并并被视为每个作者的一个文档。这是因为我的最终目标是使用主题建模作为信息检索过程来确定研究人员的专业知识。
创建静态网络
在下一步中，我使用每个主题的单词概率之间的相关性创建一个网络。
首先，我决定只保留具有显着相关性（20％+相关性）的关系（边）。我使用20％，因为它对100个观察维基百科的样本具有0.05的统计显着性水平。
cor_threshold <- .2 接下来，我们使用相关矩阵来创建igraph数据结构，删除所有具有小于20％最小阈值相关性的边。 library(igraph) 让我们绘制一个简单的igraph网络。 par(mar=c(0, 0, 3, 0))y30") title( cex.main=.8)
每个数字代表一个主题，每个主题都有编号以识别它。
使用社区检测，特别是igraph中的标签传播算法来确定网络中的群集。
clp <- cluster\_label\_prop(graph) class(clp)
社区检测发现了13个社区，以及每个孤立主题的多个社区（即没有任何联系的主题）。
与我最初的观察结果类似，该算法找到了我们在第一个图中识别的三个主要聚类，但也添加了其他较小的聚类，这些聚类似乎不适合三个主要聚类中的任何一个。
V(graph)$community <- clp$membership V(graph)$degree <- degree(graph, v = V(graph))
动态可视化
在本节中，我们将使用visNetwork允许R中的交互式网络图的包。
首先，让我们调用库并运行visIgraph一个交互式网络，但是使用igraph图形设置在igraph结构（图形）上运行。
我们需要有关网络的更多详细信息。
我们通过创建visNetwork数据结构，然后将列表分成两个数据帧：节点和边。
data <- toVisNetworkData(graph)nodes <- data\[\[1\]\]
删除没有连接的节点（主题）（度= 0）。
nodes <- nodes\[nodes$degree != 0,\]
让我们添加颜色和其他网络参数来改善我们的网络。
library(RColorBrewer) col <- brewer.pal(12, "Set3")\[as.factor(nodes$community)\] nodes$shape <- "dot"s$betweenness))+.2)*20 # 节点大小 nodes$color.highlight.background <- "orange"
最后，让我们用交互式图表创建我们的网络。您可以使用鼠标滚轮进行缩放。
visNetwork(nodes, edges) %>%visOptions(highlightNearest = TRUE, selectedBy = "community", nodesIdSelection = TRUE)
首先，有两个下拉菜单。第一个下拉列表允许您按名称查找任何主题（按单词概率排名前五个单词）。
第二个下拉列表突出显示了我们算法中检测到的社区。
最大的三个似乎是：
计算（灰色，簇4） 社交（绿蓝，簇1） 健康（黄色，簇2）检测到的较小社区有什么独特之处？你能解释一下吗？
