first commit

riku

2024-01-10 a9e8e27e0503552b7b2a99c821da732175d4f071

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
U  
Sh8eDã@s<dd
lm
Z

ddlmZ
ddlmZ
eGdd„deƒƒ
ZdS)é)
ÚLogUtils)
Ú    DateUtils)
Ú    singletonc@sBeZ
dZd
Zddœ
dd„Zdd„Zdd    „Zdeeedœdd „Z    dS)ÚDataStatisticsu数据统计N)
Úreturnc


CsdS©
N©)
ÚselfrrúCE:\PycharmProject\fugitive_dust_new/src\analysis\data_statistics.pyÚ__init__
s
zDataStatistics.__init__cCs8i}|
D]*}||}||kr$g||<|| |¡

q|S)
u)按照给定的key, å¯¹åˆ—表进行分组)
Úappend)r    Ú    data_listZ    group_keyÚmapÚitemÚtyperrr
Ú data_grouping s





zDataStatistics.data_groupingcCsf| |
|¡}d
}d}| 
¡D],}t||ƒ
}|d|›d|›}||}qd|›|}t |¡

dS)u按照类型计数r
Úz, z: u获取数据总条数为:N)rÚkeysÚlenrÚinfo)r    r Ztype_keyrÚtotalrÚ
kÚsizerrr
Ú count_by_types








zDataStatistics.count_by_typeF)Údata_mapÚref_mapÚkeycs²i}d
}|
 ¡D]Œ}|
|}t
|‡f
dd„d}    d
}
||krp||}|    D]&}t |ˆ¡
} | |krf
qp|
d}
qH|    |
d…}t|ƒ
d
kr|||<|t|ƒ
}qt d|›¡

|S)u˜
        æŒ‰ç…§ç»™å®šçš„属性key, å¯¹æ¯ä¸€ç»„进行去重
 
        Args:
          data_map
          ref_map
          key
          reverse
        r
c

s|ˆSrr)
Ú
x©
rrr
Ú<lambda>3óz3DataStatistics.data_deduplication.<locals>.<lambda>ré
Nu0内存中去重完成！ å¯å†™å…¥æ•°æ®æ•°ä½: )rÚsortedrÚstr_to_timerrr)r    rrrÚreverseZ
total_listÚcountrÚd_listÚsorted_listÚindexÚ
nrÚ
tÚ
lrrr
Údata_deduplication$s&
 





z!DataStatistics.data_deduplication)
F)
Ú__name__Ú
__module__Ú__qualname__Ú__doc__rrrrÚstrr,rrrr
rs
 
 rN)Úutils.log_utilsrÚutils.date_utilsrÚdecorator.singletonrÚobjectrrrrr
Ú<module>
s