油烟在线监测数据爬取
blame | 历史 | 原始文档
zmc
2023-12-22 9fdbf60165db0400c2e8e6be2dc6e88138ac719a 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70

U  


­ý°dã@sBddlZddlZddlZddlZddlZddlmZmZmZm    Z    ddl


mmZ ddlmZddlmZejdd„ƒZejdd„ƒZejdd    „ƒZejd


d„ƒZejdd „ƒZejdddd„ƒZejdd„ƒZddddddddddejde  d¡d ejd!e  d¡d gZejed"d…d#d$d%„ƒZejed#d&d'„ƒZdS)(éN)Úis_ci_environmentÚis_platform_armÚis_platform_macÚis_platform_windows©Úread_csvcCs|ddddƒS)zPath to the tips datasetÚioÚdataÚcsvútips.csv©©ÚdatapathrrúOd:\z\workplace\vscode\pyvenv\venv\Lib\site-packages\pandas/tests/io/conftest.pyÚ    tips_filesrcCs|ddddƒS)zPath to a JSONL datasetrÚparserr    úitems.jsonlrr rrrÚ


jsonl_filesrcCst|ddddƒddS)z#DataFrame with the salaries datasetrrr    zsalaries.csvú    )Úseprr rrrÚsalaries_table!srcCs|ddddƒS)Nrr    Zfeatherzfeather-0_3_1.featherrr rrrÚfeather_file'srcCs:tƒrd}n"|dkrdn| d¡}d|›d}dd|iiS)    Nzhttp://localhost:5000/ÚmasterÚ5Úgwzhttp://127.0.0.1:555ú/Ú client_kwargsÚendpoint_url)rÚlstrip)Ú    worker_idÚurlrrrÚs3so,s


r!Úsession)Zscopec


csRt d¡t d¡t ¡*tj dd¡tj dd¡tƒrhtƒsTt    ƒsTt


ƒr`t d¡ndVnÜt d    ¡}tjd


ddt d ¡|dkr–dn| d¡}d|›}d|›d}t jt d|›¡t jt jdh}d}|dkr,z| |¡}|jrþWq,Wntk


rYnX|d8}t d¡qÜ|V| ¡W5QRXW5QRXdS)z


    Fixture for mocking S3 interaction.


 


    Sets up moto server in separate process locally


    Return url for motoserver/moto CI service


    Ús3fsÚboto3ZAWS_ACCESS_KEY_IDZ


foobar_keyZAWS_SECRET_ACCESS_KEYZ foobar_secretzOS3 tests do not have a corresponding service in Windows, macOS or ARM platformszhttp://localhost:5000ÚrequestsZmotoz1.3.14)Z


minversionZflaskrrrZ555zhttp://127.0.0.1:rzmoto_server s3 -p )ÚstdoutÚstderrér皙™™™™¹?N)ÚpytestZimportorskipÚtmZ!ensure_safe_environment_variablesÚosÚenvironÚ


setdefaultrrrrÚskiprÚ


subprocessÚPopenÚshlexÚsplitÚDEVNULLÚgetÚokÚ    ExceptionÚtimeÚsleepÚ    terminate)rr%Z endpoint_portZendpoint_uriÚprocÚtimeoutÚrrrrÚs3_base6sF


 


ÿ


 


 


ý


 


 


r>c#s¢ddl}ddl}d|fd|fd|dfd|dfd    |fd


|fg‰‡‡fdd„}d }|jd|d}|jd|d‰zˆj|dWntk


r’YnXzˆjdddWntk


rºYnXd}    ˆ ¡dsè|    dkrèt d¡|    d8}    qÀ||ƒ|dƒ|j     


¡|V|j    d|id}


z|


j|ddWntk


r@YnXz|


jdddWntk


rjYnXd}    ˆ ¡drž|    dkržt d¡|    d8}    qpdS)a0


    Sets up S3 bucket with contents


 


    The primary bucket name is "pandas-test". The following datasets


    are loaded.


 


    - tips.csv


    - tips.csv.gz


    - tips.csv.bz2


    - items.jsonl


 


    A private bucket "cant_get_it" is also created. The boto3 s3 resource


    is yielded by the fixture.


    rNz


tips#1.csvrztips.csv.gzú.gzztips.csv.bz2ú.bz2rzsimple_dataset.featherc


s8ˆD].\}}t|dƒ}ˆj|||dW5QRXqdS)NÚrb)ÚBucketZKeyZBody)ÚopenZ


put_object)Zbucket_nameZs3_keyÚ    file_nameÚf©ÚcliZ test_s3_filesrrÚadd_tips_files‘sz#s3_resource.<locals>.add_tips_fileszpandas-testÚs3)r)rBZcant_get_itÚprivate)rBZACLéZBucketsr)r)rT)Ú    recursive)r$r#ÚresourceÚclientZ create_bucketr7Zlist_bucketsr8r9ZS3FileSystemZclear_instance_cacheZrm)r>rrrr$r#rHZbucketÚconnr<rIrrFrÚs3_resourceusT


 


ú    


 


 


 


rP)z.no_compressN)ÚN)r?Úgzip)z.GZrR)r@Úbz2)z.BZ2rS)z.zipÚzip)z.ZIPrT)z.xzÚxz)z.XZrU)z.zstÚzstdZ    zstandard)Zmarks)z.ZSTrVé)ÚparamscCs|jS)N©Úparam©ÚrequestrrrÚcompression_formatÎsr]cCs


|jdS)NrrYr[rrrÚcompression_extÓsr^) r,r2r0r8r*Z pandas.compatrrrrZpandas.util._test_decoratorsÚutilZ_test_decoratorsÚtdZpandas._testingZ_testingr+Zpandas.io.parsersrZfixturerrrrr!r>rPrZZ


skip_if_noZ_compression_formats_paramsr]r^rrrrÚ<module>sN


 


 


 


 


    


 


>


Iô