def remove_duplicates_dev_info (origin_data) : """对写入设备信息表的数据去重 Args: origin_data (list): 爬取的原始数据 Returns: list: 已去除重复的数据 """ has_removed_dup_dev_info=[] for item in origin_data : if item[1:4] not in ( [x[1:4] for x in has_removed_dup_dev_info] ) : has_removed_dup_dev_info.append(item) return has_removed_dup_dev_info def remove_given_data_dev_info (wait_for_remove_list, sub_data ) : """wait_for_remove_list的元素[1:4]中包含sub_data,则删除该元素 Args: wait_for_remove_list (list): 原始列表,元素依然为list类型 sub_data (list): 指定子列表 Returns: temp: 删除后的数据 """ temp = [] for item in wait_for_remove_list : if item[1:4] != sub_data : temp.append(item) return temp # list_test1=['32','衡智远科技(深圳)有限公司', '馨远美食小镇(哈尼美食广场)','hengzhiyuan_64480047078091',''] # list_test2=['f','衡智远科技(深圳)有限公司', '馨远美食小镇(哈尼美食广场)','hengzhiyuan_64480047078091',''] # list_test3=['gf','衡智远科技(深圳)有限公司', '馨远美食小镇(哈尼美食广场)','hengzhiyuan_64480047078091',''] # list_test4=['ds','衡智远科技(深圳)有限公司', '馨远美食小镇(哈尼美食广场)','hengzhiyuan_64480047078091',''] # list_test5=['a','衡智远科技(深圳)有限公司', '馨远美食小镇(哈尼美食广场)','hengzhiyuan_64480047078091',''] # list_test6=['df','衡智远科技(深圳)有限公司', '馨远美食小镇(哈尼美食广场)','hengzhiyuan_64480047078091',''] # list_all=[] # list_all.append(list_test1) # list_all.append(list_test2) # list_all.append(list_test3) # list_all.append(list_test4) # list_all.append(list_test5) # list_all.append(list_test6) # print(remove_duplicates_dev_info(list_all))