from test_get_data.request import request_get
|
from test_get_data.url_help import Url
|
from test_get_data.login import *
|
|
from bs4 import BeautifulSoup as bs
|
import re #正则表达式
|
import time
|
|
import sys
|
sys.path.append('../../')
|
import src.core_modules.remove_duplicates_methods as rdm
|
|
now_date = time.strftime("%Y-%m-%d", time.localtime()) #获取当前年月日 #url编码年月日开始默认时间
|
now_date1 = time.strftime("%Y-%m", time.localtime())
|
month_begin=now_date1+'-01' #设置当前月份的开始
|
|
list_temp=[] #临时列表 全局变量
|
|
|
|
#-------------------------------------------------------------------------------------------------------------特殊的url
|
def get_OnePage_teshu(url,count=1): #抓取一页的数据,放入list_data中.urls为要访问的网页地址
|
global list_temp #使用全局变量
|
|
list_temp.clear() #清空临时表
|
|
r = request_get(url).text
|
soup = bs(r,'html.parser')
|
|
list=[] #创建列表来保存结果
|
|
# 找到所有的tr标签
|
rows = soup.find_all('tr')
|
|
# 提取表格中的数据
|
result = []
|
for row in rows:
|
data = []
|
cols = row.find_all('td')
|
for col in cols:
|
if col.find('div'):
|
# 如果td中包含div，则单独提取其内容
|
div_content = col.find('div').text.strip()
|
# data.append(col.find('td').text.strip())
|
# 返回元素的文本内容 搜索tag的直接子节点
|
td_content = ''.join(col.find_all(text=True, recursive=False)).strip()
|
data.append(td_content)
|
data.append(div_content)
|
else:
|
# 如果td中不包含div，则直接提取td的内容
|
td_content = col.text.strip()
|
data.append(td_content)
|
del (data[-2:])
|
del (data[2])
|
result.append(data)
|
# 删除表头
|
del (result[0])
|
# 打印提取的数据
|
print(result)
|
|
|
|
# for tag in tags: # 每个tag是一行
|
# element = tag.text # 获取<tr>标签内所有文本信息
|
# element = element.strip() # 将字符串首尾空格去除
|
# list1 = element.split(); # 以空格为分隔将字符串变为列表
|
|
# # del (list1[-2:]) #列表最后两个元素不需要,删除
|
# # print('删除特殊的后两个')
|
# # print(list1)
|
# list.append(list1)
|
# print(list)
|
|
# list_data=[]
|
# for i in list:
|
# list_data.append(merge(i)) #将尾日期数据合并成年月日 时分秒
|
# del list_data[0] #删除文字表头
|
# count=count-1 #删除了表头,总数据的行数减一
|
# #print(lt_isates_list(list_data)[:] #将所有数据复制给临时列表list_temp 是去除重复后的列表
|
# list_temp=list_data[:]
|
# return count
|
|
if __name__ == '__main__':
|
# 登录
|
login_fume_web()
|
u = Url()
|
urls = u.concatenate_url_with_condition('杨记齐齐哈尔烤肉','2023-10-01','2023-10-31',1)
|
for item in urls:
|
get_OnePage_teshu(item)
|
|
|
