Python爬取

zmc

2023-07-11 2a82e54a25143fd0149fd34d78eb743a0847b541

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
a  
܌Šdã@sdd
„Zdd„Z
dS)c
Cs6g}
|D](}|d
d…dd„|
Dƒ
v
r|
 |¡

q|
S)užå¯¹å†™å…¥è®¾å¤‡ä¿¡æ¯è¡¨çš„数据去重
 
    Args:
        origin_data (list): çˆ¬å–的原始数据
 
    Returns:
        list: å·²åŽ»é™¤é‡å¤çš„数据
    é
éc
Ssg|]}
|
dd
…‘qS)r
r©)Ú.0Ú
xrrúRd:\c++\VsCode\show-0621\show\chaobiao613\core_modules\remove_duplicates_methods.pyÚ
<listcomp>óz.remove_duplicates_dev_info.<locals>.<listcomp>©
Úappend)Zorigin_dataZhas_removed_dup_dev_infoÚitemrrrÚremove_duplicates_dev_info
s
    



rcCs,g}|D]}|d
d…|
kr| |¡

q|S)uúwait_for_remove_list的元素[1:4]中包含sub_data,则删除该元素
 
    Args:
        wait_for_remove_list (list): åŽŸå§‹åˆ—表,元素依然为list类型
        sub_data (list): æŒ‡å®šå­åˆ—表
 
    Returns:
        temp: åˆ é™¤åŽçš„数据
    r
rr    )Zwait_for_remove_listZsub_dataÚtemprrrrÚremove_given_data_dev_infos




rN)rrrrrrÚ<module>
s