Python主题建模LDA模型、t-SNE 降维聚类、词云可视化文本挖掘新闻组数据集|附代码数据

import matplotlib.pyplot as plt

# NLTK停止词
fom nlt.copus imort stowods
sop_wrds = stowords.wrds('chinse')
复制代码

# 导入数据集

d = f.oc[dftargt_name.in([so.relion.chritan], 'ec.sot.okey', 'ak.piticmdast' 'rec.oorcyces']) , :]
prin(f.hpe) #> (2361, 3)
df.(
复制代码

def snds(seecs):
    for setees in sntces:
        sent = r.sub('\S*@\S*\s?', '', sent) # 删除电子邮件
        snt = re.sb('\s+', '', sent) # 移除换行字符
        set = re.sb("\'", "", sent) # 删除单引号
        set = geim.uls.smplprerss(str(sent), deacc=True) 

# 转换为列表
data = df.cnt.lus.tolist()
复制代码

# 建立大词和三词模型
bigrm = endl.Pres(dta_ords, mncnt=5, thrshl=100) # 更高的阈值会减少短语。
tigam = genm.del.Prses(bga[dtawors], thrhld=100)  
bigm_od = gsim.molpss.Pasr(bgrm)
tigrmod = genm.mos.pres.hrser(tigam)

 # 在终端运行一次

    ""删除止损词，形成大词、三词和词组""
    texts = [[wor fo wrd in sipeeproe(tr(dc)) 
     [iram_od[oc] for doc in txts]
    tets = [rirammod[igrmmod[dc]] for dc in tets]
    tetout = []
    np = scy.oad('en', dial=['解析器', 'ner'])
    for set in txs:
        dc = np(" ".join(sn)) 
        tex_.ppd([tknlea_ fr toen in oc if toenpo_ in aowed_ots])
    # 在词法化之后，再一次删除停止词


atady = roe_os(daa_ds) # 处理过的文本数据!
复制代码

# 创建字典
id2od = copoDciary(dta_eay)

# 创建语料库。术语文档频率
crpus = [i2wod.o2bow(ext) for txt in daa_ey]

# 建立LDA模型
Lal(copus=copus,
                                           id2wrd=id2wrd,
                                           nu_tpic=4, 
                                           radom_ate=100,
                                           updaeeery=1,
                                           chnsie=10,
                                           pas=10。
                                           alha='symmetric',
                                           iteatos=100,
                                           prdics=True)

(ldampcs())
复制代码

    # 启动输出
    se_tpcf = p.Dataame()

    # 获取每个文档中的主要话题
    for i, ro_isin enate(ldmoel[crps]):
        rw = rw_s0] if lamoel.pe_wortopis else rowlis            
        row = soed(ow, ky=laba x: (x[1]), evre=True)
        # 获取每个文档的主导主题、perc贡献和关键词
        for j, (toicum, pr_pic) in enate(row):
            if j == 0: # => 主导话题
                wp = ldel.shotoic(topic_num)
 

    # 在输出的最后添加原始文本


deeos = fratcs(lodel=damoe, copus=crpus, tets=dary)

# 格式化
topic = os.retidex()
复制代码

# 显示设置，在列中显示更多的字符

for i, grp in serpd:
    senlet = pd.cnct([senlet, 
                                             gp.srtes(['Peion'], asng=Fase).hed(1)] 
                                            ais=0)

# 重置索引    
seet.resex(drp=True, inlce=True)

# 格式化
senllet.couns = ['Toum', "TopCorib", "Kywrds", "rsa xt"]

# 显示
sencoet.head(10)
复制代码

# 绘图
plt.fiue(fe=(6,7), dpi=60)


plt.xtcs(nplic(0,00,9))
复制代码

import sebon as sns
fig.titat()
fig.sbts_juo0.90)
plt.xticks(np.lisa(0,00,9))
plt.sow()
复制代码

# 1. 每个主题中前N个词的词云
from matplotlib import pyplot as plt
from worcloud mport WrCloud,STOPWODS



clod = WordClud(stopwds=stp_ords,
                  barounolr='white',
                 
                  reer_oronal=1.0)


plt.sow()
复制代码

tops = l_mdl.swtcs(foatd=Fase)
    

# 绘制主题关键词的字数和权重图
fig, as = pltuls(2, 2, fiiz=（16,10）, sey=rue, di=160)
fig.tigh_lyut_pad=2)    
plt.shw()
复制代码

# 对N个句子进行着色的句子


      for i, ax in eumate(xes):
            cour = corp[i-1] 。
            topprcs, wrdits, wrdihius = lda[copr]
            wodoac = [(lmod2word[wd], tpic[0]) or w, tpc in odid_opcs]    
            
            # 绘制矩形区域
            tpcred = soted(tpps, key= x: (x[1]), rvese=True)

            word_pos = 0.06
           

    plt.subdt(wsace=0, hsace=0)
  
    plt.show()
复制代码

# 对N个句子进行着色
    主导话题 = []
    话题百分比 = []
    for i, crp in euete(opu_el):
        topcs, wordics, wrlues = moel[crp]
        dopic = soted(torcs, key = lmda x: x[1], reerse=Tue)[0][0] 。

doics, toages = topent(mol=lda, copus=crus,en=-)            

# 每个文档中主导话题的分布

dfc = dh_dc.t_frme(ame='cunt').eeinex()

# 按实际权重计算的总主题分布
topweig = pd.DaaFae([dct(t) for t in toges] )


# 每个主题的前三个关键词
 [(i, tpic) for i, tocs in lda.shcs(fted=Flse) 
                                 for j, (tic, wt) in eae(toic)if j < 3)
复制代码

from mtpltli.tiker import ucFattr

# 绘图
fig, (ax1, ax2) = pl.supot(1, 2)

# 按主要议题分布的议题
ax1.bar(data=df_dc)


# 按主题权重的主题分布
ax2.ar(x='iex', hegh='cout', dat=dfoc, with=.5, 

plt.sow()
复制代码

# 获取话题权重和主导话题 ------------

# 获取主题权重
for i, row_list:
    tophts.apd([w for i, w in rost[0]] )

# 主题权重的数组    
arr = pd.Dame(tohts).fna(0).vales

# 保持良好的分离点（可选）
rr = ar[p.aax(rr) > 0.35] 。

# 每个文档中的主要议题编号
to_n = np.agax(rr, ais=1)

# tSNE降维
tsel = TSE(n=2, vre=1, rae=0, ae=.99, int='pca')
tlda = tsl.frm(arr)

# 使用Bokeh绘制主题集群图
oueook()
n_tics = 4
m
plot.scatter(xda[:,])
复制代码

pyLDvis.enaok()
复制代码