init

20231219-Cong/.idea/.gitignore

@@ -0,0 +1,8 @@
+# 默认忽略的文件
+/shelf/
+/workspace.xml
+# 基于编辑器的 HTTP 客户端请求
+/httpRequests/
+# Datasource local storage ignored files
+/dataSources/
+/dataSources.local.xml

20231219-Cong/.idea/20231220 Cong.iml

@@ -0,0 +1,8 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<module type="PYTHON_MODULE" version="4">
+  <component name="NewModuleRootManager">
+    <content url="file://$MODULE_DIR$" />
+    <orderEntry type="jdk" jdkName="crawler" jdkType="Python SDK" />
+    <orderEntry type="sourceFolder" forTests="false" />
+  </component>
+</module>

20231219-Cong/.idea/inspectionProfiles/Project_Default.xml

@@ -0,0 +1,70 @@
+<component name="InspectionProjectProfileManager">
+  <profile version="1.0">
+    <option name="myName" value="Project Default" />
+    <inspection_tool class="Eslint" enabled="true" level="WARNING" enabled_by_default="true" />
+    <inspection_tool class="PyPackageRequirementsInspection" enabled="true" level="WARNING" enabled_by_default="true">
+      <option name="ignoredPackages">
+        <value>
+          <list size="40">
+            <item index="0" class="java.lang.String" itemvalue="mysqlclient" />
+            <item index="1" class="java.lang.String" itemvalue="tiktoken" />
+            <item index="2" class="java.lang.String" itemvalue="PyJWT" />
+            <item index="3" class="java.lang.String" itemvalue="greenlet" />
+            <item index="4" class="java.lang.String" itemvalue="mypy-extensions" />
+            <item index="5" class="java.lang.String" itemvalue="python-dotenv" />
+            <item index="6" class="java.lang.String" itemvalue="astroid" />
+            <item index="7" class="java.lang.String" itemvalue="feedparser" />
+            <item index="8" class="java.lang.String" itemvalue="requests-oauthlib" />
+            <item index="9" class="java.lang.String" itemvalue="docx2txt" />
+            <item index="10" class="java.lang.String" itemvalue="tomlkit" />
+            <item index="11" class="java.lang.String" itemvalue="djangorestframework-simplejwt" />
+            <item index="12" class="java.lang.String" itemvalue="langchain" />
+            <item index="13" class="java.lang.String" itemvalue="certifi" />
+            <item index="14" class="java.lang.String" itemvalue="arxiv" />
+            <item index="15" class="java.lang.String" itemvalue="djangorestframework" />
+            <item index="16" class="java.lang.String" itemvalue="PyMuPDF" />
+            <item index="17" class="java.lang.String" itemvalue="pydantic" />
+            <item index="18" class="java.lang.String" itemvalue="dj-database-url" />
+            <item index="19" class="java.lang.String" itemvalue="django-simpleui" />
+            <item index="20" class="java.lang.String" itemvalue="wrapt" />
+            <item index="21" class="java.lang.String" itemvalue="cryptography" />
+            <item index="22" class="java.lang.String" itemvalue="pypdf" />
+            <item index="23" class="java.lang.String" itemvalue="dj-rest-auth" />
+            <item index="24" class="java.lang.String" itemvalue="attrs" />
+            <item index="25" class="java.lang.String" itemvalue="lazy-object-proxy" />
+            <item index="26" class="java.lang.String" itemvalue="openai" />
+            <item index="27" class="java.lang.String" itemvalue="regex" />
+            <item index="28" class="java.lang.String" itemvalue="platformdirs" />
+            <item index="29" class="java.lang.String" itemvalue="typing-inspect" />
+            <item index="30" class="java.lang.String" itemvalue="Django" />
+            <item index="31" class="java.lang.String" itemvalue="pylint" />
+            <item index="32" class="java.lang.String" itemvalue="charset-normalizer" />
+            <item index="33" class="java.lang.String" itemvalue="aiohttp" />
+            <item index="34" class="java.lang.String" itemvalue="multidict" />
+            <item index="35" class="java.lang.String" itemvalue="django-allauth" />
+            <item index="36" class="java.lang.String" itemvalue="isort" />
+            <item index="37" class="java.lang.String" itemvalue="yarl" />
+            <item index="38" class="java.lang.String" itemvalue="pytz" />
+            <item index="39" class="java.lang.String" itemvalue="aiosignal" />
+          </list>
+        </value>
+      </option>
+    </inspection_tool>
+    <inspection_tool class="PyPep8NamingInspection" enabled="true" level="WEAK WARNING" enabled_by_default="true">
+      <option name="ignoredErrors">
+        <list>
+          <option value="N802" />
+          <option value="N806" />
+          <option value="N801" />
+        </list>
+      </option>
+    </inspection_tool>
+    <inspection_tool class="PyUnresolvedReferencesInspection" enabled="true" level="WARNING" enabled_by_default="true">
+      <option name="ignoredIdentifiers">
+        <list>
+          <option value="PyQt5.QtWidgets.clicked.*" />
+        </list>
+      </option>
+    </inspection_tool>
+  </profile>
+</component>

20231219-Cong/.idea/inspectionProfiles/profiles_settings.xml

@@ -0,0 +1,6 @@
+<component name="InspectionProjectProfileManager">
+  <settings>
+    <option name="USE_PROJECT_PROFILE" value="false" />
+    <version value="1.0" />
+  </settings>
+</component>

20231219-Cong/.idea/misc.xml

@@ -0,0 +1,7 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="Black">
+    <option name="sdkName" value="Python 3.9 (Warbler)" />
+  </component>
+  <component name="ProjectRootManager" version="2" project-jdk-name="crawler" project-jdk-type="Python SDK" />
+</project>

20231219-Cong/.idea/modules.xml

@@ -0,0 +1,8 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="ProjectModuleManager">
+    <modules>
+      <module fileurl="file://$PROJECT_DIR$/.idea/20231220 Cong.iml" filepath="$PROJECT_DIR$/.idea/20231220 Cong.iml" />
+    </modules>
+  </component>
+</project>

20231219-Cong/.idea/vcs.xml

@@ -0,0 +1,6 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="VcsDirectoryMappings">
+    <mapping directory="$PROJECT_DIR$/.." vcs="Git" />
+  </component>
+</project>

20231219-Cong/1.get_links.py

@@ -0,0 +1,124 @@
+import time
+
+import selenium.common.exceptions
+from selenium import webdriver
+from bs4 import BeautifulSoup
+import pandas as pd
+
+# 创建一个Chrome浏览器实例
+driver = webdriver.Chrome(executable_path=r'/Users/fallcity/Vvvvv/Coding/tools/chromedriver')
+
+df = pd.DataFrame(columns=['站点', '标题', '链接'], )
+
+
+# 重庆市人民政府
+def get_all_links_cq():
+    url = 'https://www.cq.gov.cn/cqgovsearch/search.html?searchWord=%E6%99%BA%E6%85%A7%E7%A4%BE%E5%8C%BA&tenantId=7&configTenantId=&dataTypeId=7&sign=d46b7b1d-937f-4c52-e9af-0dbac183bf18&areaCode='
+    driver.get(url)
+    time.sleep(2)
+    times = 1
+    while times <= 15:
+        try:
+            print(f"正在爬取重庆市人民政府相关文本 第{times}页")
+            next_page_btn = driver.find_element_by_class_name('layui-laypage-next')
+            page_source = driver.page_source
+            soup = BeautifulSoup(page_source, 'html.parser')
+            lst = soup.find(class_='basic_result_content')
+            links = lst.find_all('a')
+            for link in links:
+                df.loc[len(df)] = ['重庆市人民政府', link.text.strip(), link['href']]
+            print(links)
+            time.sleep(1)
+            next_page_btn.click()
+            time.sleep(1)
+            times += 1
+        except selenium.common.exceptions.NoSuchElementException or selenium.common.exceptions.TimeoutException:
+            break
+
+# 发改委
+def get_all_links_ndrc():
+    url = 'https://so.ndrc.gov.cn/s?qt=%E6%99%BA%E6%85%A7%E7%A4%BE%E5%8C%BA&siteCode=bm04000007&tab=all&toolsStatus=1'
+    driver.get(url)
+    time.sleep(2)
+    times = 1
+    while times <= 7:
+        print(f"正在爬取中华人民共和国国家发展和改革委员会相关文本 第{times}页")
+        next_page_btn = driver.find_elements_by_class_name('next')[-1]
+        page_source = driver.page_source
+        soup = BeautifulSoup(page_source, 'html.parser')
+        lst = soup.find(class_='content fl')
+        links = lst.find_all('a')
+        for link in links:
+            try:
+                if 'javascript' not in link['href']:
+                    df.loc[len(df)] = ['中华人民共和国国家发展和改革委员会', link.text.strip(), link['href']]
+            except KeyError:
+                pass
+        print(links)
+        next_page_btn.click()
+        time.sleep(1)
+        times += 1
+
+
+# 住建部
+def get_all_links_mohurd():
+    url = 'https://www.mohurd.gov.cn/ess/?ty=a&query=%E6%99%BA%E6%85%A7%E7%A4%BE%E5%8C%BA&ukl=&uka=&ukf=%E6%99%BA%E6%85%A7%E7%A4%BE%E5%8C%BA&ukt=&sl=&ts=&te=&upg=1'
+    driver.get(url)
+    time.sleep(2)
+    times = 1
+    while times <= 15:
+        try:
+            print(f"正在爬取中华人民共和国住房和城乡建设部相关文本 第{times}页")
+            next_page_btn = driver.find_element_by_class_name('next')
+            page_source = driver.page_source
+            soup = BeautifulSoup(page_source, 'html.parser')
+            lst = soup.find(class_='result-list')
+            links = lst.find_all('a')
+            for link in links:
+                try:
+                    if 'javascript' not in link['href']:
+                        df.loc[len(df)] = ['中华人民共和国住房和城乡建设部', link.text.strip(), link['href']]
+                except KeyError:
+                    pass
+            print(links)
+            next_page_btn.click()
+            time.sleep(1)
+            times += 1
+        except selenium.common.exceptions.NoSuchElementException:
+            break
+
+
+def get_all_links_gov():
+    url = 'https://sousuo.www.gov.cn/sousuo/search.shtml?code=17da70961a7&dataTypeId=107&searchWord=%E6%99%BA%E6%85%A7%E7%A4%BE%E5%8C%BA'
+    driver.get(url)
+    time.sleep(2)
+    times = 1
+    while times <= 3:
+        try:
+            print(f"正在爬取中华人民共和国中央人民政府相关文本 第{times}页")
+            next_page_btn = driver.find_element_by_class_name('next')
+            page_source = driver.page_source
+            soup = BeautifulSoup(page_source, 'html.parser')
+            lst = soup.find(class_='left js_basic_result_left')
+            links = lst.find_all('a')
+            for link in links:
+                try:
+                    if 'javascript' not in link['href'] and link['href'] != 'url':
+                        df.loc[len(df)] = ['中华人民共和国中央人民政府', link.text.strip(), link['href']]
+                except KeyError:
+                    pass
+            print(links)
+            next_page_btn.click()
+            time.sleep(1)
+            times += 1
+        except selenium.common.exceptions.NoSuchElementException:
+            break
+
+
+if __name__ == '__main__':
+    get_all_links_cq()
+    get_all_links_ndrc()
+    get_all_links_mohurd()
+    get_all_links_gov()
+    driver.quit()               # 安全退出
+    df.to_excel('智慧社区文本.xlsx', index=False)

20231219-Cong/2.crawler.py

@@ -0,0 +1,57 @@
+import time
+
+import pandas as pd
+import requests
+from bs4 import BeautifulSoup
+from selenium import webdriver
+
+driver = webdriver.Chrome(executable_path=r'/Users/fallcity/Vvvvv/Coding/tools/chromedriver')
+
+
+def crawl_website(site: str, url: str):
+    print(f"正在爬取 {site}: {url}")
+
+    driver.get(url)
+    page_source = driver.page_source
+    soup = BeautifulSoup(page_source, 'html.parser')
+
+    try:
+        if ".doc" in url:
+            return ""
+        elif site == '重庆市人民政府':
+            div = soup.find('div', class_='view TRS_UEDITOR trs_paper_default trs_word')
+            if div:
+                text = div.get_text(strip=True)
+                return text
+        elif site == '中华人民共和国国家发展和改革委员会':
+            div = soup.find('div', class_='TRS_Editor')
+            if div:
+                text = div.get_text(strip=True)
+                return text
+        elif site == '中华人民共和国住房和城乡建设部':
+            div = soup.find('div', class_='editor-content')
+            if div:
+                text = div.get_text(strip=True)
+                return text
+        elif site == '中华人民共和国中央人民政府':
+            div = soup.find('div', id='UCAP-CONTENT')
+            if div:
+                text = div.get_text(strip=True)
+                return text
+    except TimeoutError:
+        exit(1)
+
+
+if __name__ == '__main__':
+    df = pd.read_excel('智慧社区文本.xlsx', engine='openpyxl')
+    df['文本内容'] = ""
+    for index, row in df.iterrows():
+        # 调用get_text函数获取文本内容
+        text_content = crawl_website(row['站点'], row['链接'])
+        # 将文本内容填入'文本内容'列
+        df.at[index, '文本内容'] = text_content
+        # 休眠2秒
+        time.sleep(2)
+    df = df.drop_duplicates(subset=['文本内容'])
+    df.to_excel('智慧社区文本.xlsx', index=False)
+    driver.quit()

20231219-Cong/3.analyze.py

@@ -0,0 +1,54 @@
+import pandas as pd
+import jieba
+from collections import Counter
+import matplotlib.pyplot as plt
+import matplotlib
+from wordcloud import WordCloud
+
+# 设置字体 MAC
+matplotlib.rcParams['font.sans-serif'] = ['Arial Unicode MS']
+# 设置字体 Windows
+# matplotlib.rcParams['font.sans-serif'] = ['SimHei']
+matplotlib.rcParams['axes.unicode_minus'] = False  # 正确显示负号
+
+
+# 读取Excel文件
+df = pd.read_excel('智慧社区文本.xlsx')
+
+# 读取停用词表
+with open('stopwords.txt', 'r', encoding='utf-8') as f:
+    stop_words = set([line.strip() for line in f.readlines()])
+
+# 合并所有文本内容到一个字符串
+all_text = ' '.join(df['文本内容'].dropna())
+
+# 使用jieba进行中文分词
+words = jieba.cut(all_text)
+
+
+# 过滤停用词并统计词频
+filtered_words = [word for word in words if word not in stop_words and len(word) > 1]
+word_counts = Counter(filtered_words)
+
+# 可视化最常见的词
+most_common_words = word_counts.most_common(20)
+words, counts = zip(*most_common_words)
+
+plt.figure(figsize=(10, 8))
+plt.barh(words, counts)
+plt.xlabel('词频')
+plt.title('词频分析')
+plt.gca().invert_yaxis()  # 反转y轴，使得最高的条形图在上方
+plt.savefig('词频分析.png')
+plt.show()
+
+# 创建词云图
+wordcloud = WordCloud(font_path='苹方-简.ttf',width=800, height=600,
+                      background_color='white').generate_from_frequencies(word_counts)
+
+plt.figure(figsize=(10, 8))
+plt.imshow(wordcloud, interpolation='bilinear')
+plt.axis('off')  # 关闭坐标轴
+plt.title('词云图')
+plt.savefig('词云图.png')
+plt.show()

20231219-Cong/stopwords.txt

@@ -0,0 +1,748 @@
+$
+0
+1
+2
+3
+4
+5
+6
+7
+8
+9
+?
+_
+“
+”
+、
+。
+《
+》
+一
+一些
+一何
+一切
+一则
+一方面
+一旦
+一来
+一样
+一般
+一转眼
+万一
+上
+上下
+下
+不
+不仅
+不但
+不光
+不单
+不只
+不外乎
+不如
+不妨
+不尽
+不尽然
+不得
+不怕
+不惟
+不成
+不拘
+不料
+不是
+不比
+不然
+不特
+不独
+不管
+不至于
+不若
+不论
+不过
+不问
+与
+与其
+与其说
+与否
+与此同时
+且
+且不说
+且说
+两者
+个
+个别
+临
+为
+为了
+为什么
+为何
+为止
+为此
+为着
+乃
+乃至
+乃至于
+么
+之
+之一
+之所以
+之类
+乌乎
+乎
+乘
+也
+也好
+也罢
+了
+二来
+于
+于是
+于是乎
+云云
+云尔
+些
+亦
+人
+人们
+人家
+什么
+什么样
+今
+介于
+仍
+仍旧
+从
+从此
+从而
+他
+他人
+他们
+以
+以上
+以为
+以便
+以免
+以及
+以故
+以期
+以来
+以至
+以至于
+以致
+们
+任
+任何
+任凭
+似的
+但
+但凡
+但是
+何
+何以
+何况
+何处
+何时
+余外
+作为
+你
+你们
+使
+使得
+例如
+依
+依据
+依照
+便于
+俺
+俺们
+倘
+倘使
+倘或
+倘然
+倘若
+借
+假使
+假如
+假若
+傥然
+像
+儿
+先不先
+光是
+全体
+全部
+兮
+关于
+其
+其一
+其中
+其二
+其他
+其余
+其它
+其次
+具体地说
+具体说来
+兼之
+内
+再
+再其次
+再则
+再有
+再者
+再者说
+再说
+冒
+冲
+况且
+几
+几时
+凡
+凡是
+凭
+凭借
+出于
+出来
+分别
+则
+则甚
+别
+别人
+别处
+别是
+别的
+别管
+别说
+到
+前后
+前此
+前者
+加之
+加以
+即
+即令
+即使
+即便
+即如
+即或
+即若
+却
+去
+又
+又及
+及
+及其
+及至
+反之
+反而
+反过来
+反过来说
+受到
+另
+另一方面
+另外
+另悉
+只
+只当
+只怕
+只是
+只有
+只消
+只要
+只限
+叫
+叮咚
+可
+可以
+可是
+可见
+各
+各个
+各位
+各种
+各自
+同
+同时
+后
+后者
+向
+向使
+向着
+吓
+吗
+否则
+吧
+吧哒
+吱
+呀
+呃
+呕
+呗
+呜
+呜呼
+呢
+呵
+呵呵
+呸
+呼哧
+咋
+和
+咚
+咦
+咧
+咱
+咱们
+咳
+哇
+哈
+哈哈
+哉
+哎
+哎呀
+哎哟
+哗
+哟
+哦
+哩
+哪
+哪个
+哪些
+哪儿
+哪天
+哪年
+哪怕
+哪样
+哪边
+哪里
+哼
+哼唷
+唉
+唯有
+啊
+啐
+啥
+啦
+啪达
+啷当
+喂
+喏
+喔唷
+喽
+嗡
+嗡嗡
+嗬
+嗯
+嗳
+嘎
+嘎登
+嘘
+嘛
+嘻
+嘿
+嘿嘿
+因
+因为
+因了
+因此
+因着
+因而
+固然
+在
+在下
+在于
+地
+基于
+处在
+多
+多么
+多少
+大
+大家
+她
+她们
+好
+如
+如上
+如上所述
+如下
+如何
+如其
+如同
+如是
+如果
+如此
+如若
+始而
+孰料
+孰知
+宁
+宁可
+宁愿
+宁肯
+它
+它们
+对
+对于
+对待
+对方
+对比
+将
+小
+尔
+尔后
+尔尔
+尚且
+就
+就是
+就是了
+就是说
+就算
+就要
+尽
+尽管
+尽管如此
+岂但
+己
+已
+已矣
+巴
+巴巴
+并
+并且
+并非
+庶乎
+庶几
+开外
+开始
+归
+归齐
+当
+当地
+当然
+当着
+彼
+彼时
+彼此
+往
+待
+很
+得
+得了
+怎
+怎么
+怎么办
+怎么样
+怎奈
+怎样
+总之
+总的来看
+总的来说
+总的说来
+总而言之
+恰恰相反
+您
+惟其
+慢说
+我
+我们
+或
+或则
+或是
+或曰
+或者
+截至
+所
+所以
+所在
+所幸
+所有
+才
+才能
+打
+打从
+把
+抑或
+拿
+按
+按照
+换句话说
+换言之
+据
+据此
+接着
+故
+故此
+故而
+旁人
+无
+无宁
+无论
+既
+既往
+既是
+既然
+时候
+是
+是以
+是的
+曾
+替
+替代
+最
+有
+有些
+有关
+有及
+有时
+有的
+望
+朝
+朝着
+本
+本人
+本地
+本着
+本身
+来
+来着
+来自
+来说
+极了
+果然
+果真
+某
+某个
+某些
+某某
+根据
+欤
+正值
+正如
+正巧
+正是
+此
+此地
+此处
+此外
+此时
+此次
+此间
+毋宁
+每
+每当
+比
+比及
+比如
+比方
+没奈何
+沿
+沿着
+漫说
+焉
+然则
+然后
+然而
+照
+照着
+犹且
+犹自
+甚且
+甚么
+甚或
+甚而
+甚至
+甚至于
+用
+用来
+由
+由于
+由是
+由此
+由此可见
+的
+的确
+的话
+直到
+相对而言
+省得
+看
+眨眼
+着
+着呢
+矣
+矣乎
+矣哉
+离
+竟而
+第
+等
+等到
+等等
+简言之
+管
+类如
+紧接着
+纵
+纵令
+纵使
+纵然
+经
+经过
+结果
+给
+继之
+继后
+继而
+综上所述
+罢了
+者
+而
+而且
+而况
+而后
+而外
+而已
+而是
+而言
+能
+能否
+腾
+自
+自个儿
+自从
+自各儿
+自后
+自家
+自己
+自打
+自身
+至
+至于
+至今
+至若
+致
+般的
+若
+若夫
+若是
+若果 
+若非
+莫不然
+莫如
+莫若
+虽
+虽则
+虽然
+虽说
+被
+要
+要不
+要不是
+要不然
+要么
+要是
+譬喻
+譬如
+让
+许多
+论
+设使
+设或
+设若
+诚如
+诚然
+该
+说来
+诸
+诸位
+诸如
+谁
+谁人
+谁料
+谁知
+贼死
+赖以
+赶
+起
+起见
+趁
+趁着
+越是
+距
+跟
+较
+较之
+边
+过
+还
+还是
+还有
+还要
+这
+这一来
+这个
+这么
+这么些
+这么样
+这么点儿
+这些
+这会儿
+这儿
+这就是说
+这时
+这样
+这次
+这般
+这边
+这里
+进而
+连
+连同
+逐步
+通过
+遵循
+遵照
+那
+那个
+那么
+那么些
+那么样
+那些
+那会儿
+那儿
+那时
+那样
+那般
+那边
+那里
+都
+鄙人
+鉴于
+针对
+阿
+除
+除了
+除外
+除开
+除此之外
+除非
+随
+随后
+随时
+随着
+难道说
+非但
+非徒
+非特
+非独
+靠
+顺
+顺着
+首先
+！
+，
+：
+；
+？
+通讯员
+记者

20231220 Cong/2.crawler.py

@@ -0,0 +1,54 @@
+import time
+
+import pandas as pd
+import requests
+from bs4 import BeautifulSoup
+from selenium import webdriver
+
+driver = webdriver.Chrome(executable_path=r'/Users/fallcity/Vvvvv/Coding/tools/chromedriver')
+
+
+def crawl_website(site: str, url: str):
+    print(f"正在爬取 {site}: {url}")
+
+    driver.get(url)
+    page_source = driver.page_source
+    soup = BeautifulSoup(page_source, 'html.parser')
+
+    try:
+        if site == '重庆市人民政府':
+            div = soup.find('div', class_='view TRS_UEDITOR trs_paper_default trs_word')
+            if div:
+                text = div.get_text(strip=True)
+                return text
+        elif site == '中华人民共和国国家发展和改革委员会':
+            div = soup.find('div', class_='TRS_Editor')
+            if div:
+                text = div.get_text(strip=True)
+                return text
+        elif site == '中华人民共和国住房和城乡建设部':
+            div = soup.find('div', class_='editor-content')
+            if div:
+                text = div.get_text(strip=True)
+                return text
+        elif site == '中华人民共和国中央人民政府':
+            div = soup.find('div', id='UCAP-CONTENT')
+            if div:
+                text = div.get_text(strip=True)
+                return text
+    except TimeoutError:
+        exit(1)
+
+
+if __name__ == '__main__':
+    df = pd.read_excel('智慧社区文本.xlsx', engine='openpyxl')
+    df['文本内容'] = ""
+    for index, row in df.iterrows():
+        # 调用get_text函数获取文本内容
+        text_content = crawl_website(row['站点'], row['链接'])
+        # 将文本内容填入'文本内容'列
+        df.at[index, '文本内容'] = text_content
+        # 休眠2秒
+        time.sleep(2)
+    df.to_excel('updated_file.xlsx', index=False)
+    driver.quit()

20231220 Cong/stopwords.txt

@@ -0,0 +1,748 @@
+$
+0
+1
+2
+3
+4
+5
+6
+7
+8
+9
+?
+_
+“
+”
+、
+。
+《
+》
+一
+一些
+一何
+一切
+一则
+一方面
+一旦
+一来
+一样
+一般
+一转眼
+万一
+上
+上下
+下
+不
+不仅
+不但
+不光
+不单
+不只
+不外乎
+不如
+不妨
+不尽
+不尽然
+不得
+不怕
+不惟
+不成
+不拘
+不料
+不是
+不比
+不然
+不特
+不独
+不管
+不至于
+不若
+不论
+不过
+不问
+与
+与其
+与其说
+与否
+与此同时
+且
+且不说
+且说
+两者
+个
+个别
+临
+为
+为了
+为什么
+为何
+为止
+为此
+为着
+乃
+乃至
+乃至于
+么
+之
+之一
+之所以
+之类
+乌乎
+乎
+乘
+也
+也好
+也罢
+了
+二来
+于
+于是
+于是乎
+云云
+云尔
+些
+亦
+人
+人们
+人家
+什么
+什么样
+今
+介于
+仍
+仍旧
+从
+从此
+从而
+他
+他人
+他们
+以
+以上
+以为
+以便
+以免
+以及
+以故
+以期
+以来
+以至
+以至于
+以致
+们
+任
+任何
+任凭
+似的
+但
+但凡
+但是
+何
+何以
+何况
+何处
+何时
+余外
+作为
+你
+你们
+使
+使得
+例如
+依
+依据
+依照
+便于
+俺
+俺们
+倘
+倘使
+倘或
+倘然
+倘若
+借
+假使
+假如
+假若
+傥然
+像
+儿
+先不先
+光是
+全体
+全部
+兮
+关于
+其
+其一
+其中
+其二
+其他
+其余
+其它
+其次
+具体地说
+具体说来
+兼之
+内
+再
+再其次
+再则
+再有
+再者
+再者说
+再说
+冒
+冲
+况且
+几
+几时
+凡
+凡是
+凭
+凭借
+出于
+出来
+分别
+则
+则甚
+别
+别人
+别处
+别是
+别的
+别管
+别说
+到
+前后
+前此
+前者
+加之
+加以
+即
+即令
+即使
+即便
+即如
+即或
+即若
+却
+去
+又
+又及
+及
+及其
+及至
+反之
+反而
+反过来
+反过来说
+受到
+另
+另一方面
+另外
+另悉
+只
+只当
+只怕
+只是
+只有
+只消
+只要
+只限
+叫
+叮咚
+可
+可以
+可是
+可见
+各
+各个
+各位
+各种
+各自
+同
+同时
+后
+后者
+向
+向使
+向着
+吓
+吗
+否则
+吧
+吧哒
+吱
+呀
+呃
+呕
+呗
+呜
+呜呼
+呢
+呵
+呵呵
+呸
+呼哧
+咋
+和
+咚
+咦
+咧
+咱
+咱们
+咳
+哇
+哈
+哈哈
+哉
+哎
+哎呀
+哎哟
+哗
+哟
+哦
+哩
+哪
+哪个
+哪些
+哪儿
+哪天
+哪年
+哪怕
+哪样
+哪边
+哪里
+哼
+哼唷
+唉
+唯有
+啊
+啐
+啥
+啦
+啪达
+啷当
+喂
+喏
+喔唷
+喽
+嗡
+嗡嗡
+嗬
+嗯
+嗳
+嘎
+嘎登
+嘘
+嘛
+嘻
+嘿
+嘿嘿
+因
+因为
+因了
+因此
+因着
+因而
+固然
+在
+在下
+在于
+地
+基于
+处在
+多
+多么
+多少
+大
+大家
+她
+她们
+好
+如
+如上
+如上所述
+如下
+如何
+如其
+如同
+如是
+如果
+如此
+如若
+始而
+孰料
+孰知
+宁
+宁可
+宁愿
+宁肯
+它
+它们
+对
+对于
+对待
+对方
+对比
+将
+小
+尔
+尔后
+尔尔
+尚且
+就
+就是
+就是了
+就是说
+就算
+就要
+尽
+尽管
+尽管如此
+岂但
+己
+已
+已矣
+巴
+巴巴
+并
+并且
+并非
+庶乎
+庶几
+开外
+开始
+归
+归齐
+当
+当地
+当然
+当着
+彼
+彼时
+彼此
+往
+待
+很
+得
+得了
+怎
+怎么
+怎么办
+怎么样
+怎奈
+怎样
+总之
+总的来看
+总的来说
+总的说来
+总而言之
+恰恰相反
+您
+惟其
+慢说
+我
+我们
+或
+或则
+或是
+或曰
+或者
+截至
+所
+所以
+所在
+所幸
+所有
+才
+才能
+打
+打从
+把
+抑或
+拿
+按
+按照
+换句话说
+换言之
+据
+据此
+接着
+故
+故此
+故而
+旁人
+无
+无宁
+无论
+既
+既往
+既是
+既然
+时候
+是
+是以
+是的
+曾
+替
+替代
+最
+有
+有些
+有关
+有及
+有时
+有的
+望
+朝
+朝着
+本
+本人
+本地
+本着
+本身
+来
+来着
+来自
+来说
+极了
+果然
+果真
+某
+某个
+某些
+某某
+根据
+欤
+正值
+正如
+正巧
+正是
+此
+此地
+此处
+此外
+此时
+此次
+此间
+毋宁
+每
+每当
+比
+比及
+比如
+比方
+没奈何
+沿
+沿着
+漫说
+焉
+然则
+然后
+然而
+照
+照着
+犹且
+犹自
+甚且
+甚么
+甚或
+甚而
+甚至
+甚至于
+用
+用来
+由
+由于
+由是
+由此
+由此可见
+的
+的确
+的话
+直到
+相对而言
+省得
+看
+眨眼
+着
+着呢
+矣
+矣乎
+矣哉
+离
+竟而
+第
+等
+等到
+等等
+简言之
+管
+类如
+紧接着
+纵
+纵令
+纵使
+纵然
+经
+经过
+结果
+给
+继之
+继后
+继而
+综上所述
+罢了
+者
+而
+而且
+而况
+而后
+而外
+而已
+而是
+而言
+能
+能否
+腾
+自
+自个儿
+自从
+自各儿
+自后
+自家
+自己
+自打
+自身
+至
+至于
+至今
+至若
+致
+般的
+若
+若夫
+若是
+若果 
+若非
+莫不然
+莫如
+莫若
+虽
+虽则
+虽然
+虽说
+被
+要
+要不
+要不是
+要不然
+要么
+要是
+譬喻
+譬如
+让
+许多
+论
+设使
+设或
+设若
+诚如
+诚然
+该
+说来
+诸
+诸位
+诸如
+谁
+谁人
+谁料
+谁知
+贼死
+赖以
+赶
+起
+起见
+趁
+趁着
+越是
+距
+跟
+较
+较之
+边
+过
+还
+还是
+还有
+还要
+这
+这一来
+这个
+这么
+这么些
+这么样
+这么点儿
+这些
+这会儿
+这儿
+这就是说
+这时
+这样
+这次
+这般
+这边
+这里
+进而
+连
+连同
+逐步
+通过
+遵循
+遵照
+那
+那个
+那么
+那么些
+那么样
+那些
+那会儿
+那儿
+那时
+那样
+那般
+那边
+那里
+都
+鄙人
+鉴于
+针对
+阿
+除
+除了
+除外
+除开
+除此之外
+除非
+随
+随后
+随时
+随着
+难道说
+非但
+非徒
+非特
+非独
+靠
+顺
+顺着
+首先
+！
+，
+：
+；
+？
+通讯员
+记者

WechatBot/chatflow/package.json

@@ -66,6 +66,7 @@
     "wechaty-puppet-padlocal": "^1.11.13",
     "wechaty-puppet-service": "^1.19.8",
     "wechaty-puppet-wechat4u": "^1.13.15",
+    "wechaty-puppet-xp": "^1.12.7",
     "xlsx": "^0.18.5"
   },
   "devDependencies": {