U
|
ý°de9 ã @ s d dl Z d dlmZ d dlZd dlZd dlmZ d dlZd dlZ d dl
|
Z
|
d dl m Z d dl m mZ d dlZd dlmZ e
|
jdd Ze
|
jdeddfd dgfgd
|
d d ZG d d dZdd Zdd Z dd Z dd Z dd Z dd Z e
|
j! "dd d g¡d d Z#d d! Z$d"d# Z%d$d% Z&d&d' Z'd(d) Z(d*d+ Z)d,d- Z*d.d/ Z+d0d1 Z,d2d3 Z-e
|
j! "d4d5d6d7g¡d8d9 Z.d:d; Z/d<d= Z0dS )>é N)Údatetime)ÚPath)ÚEmptyDataErrorc C s | dddS )NÚioÚsasÚdata© )Údatapathr r úXd:\z\workplace\vscode\pyvenv\venv\Lib\site-packages\pandas/tests/io/sas/test_sas7bdat.pyÚdirpath s r é é é )Úparamsc C sÎ | j \}}tj |d| d¡}t |¡}tddd}tj|d dd}|| |d< tj|d dd}|| |d< t|j d D ]D} |j
|
d d
| f }
|
|
|
j t j kr| | |j
|
d d
| f t j¡¡ q||fS ) NZtest_sas7bdat_z.csvi¨ r ZColumn4Úd)ÚunitZColumn12)ÚparamÚosÚpathÚjoinÚpdÚread_csvr Z to_timedeltaÚrangeÚshapeÚilocÚdtypeÚnpÚint64ZisetitemÚastypeÚfloat64) Úrequestr ÚiÚtest_ixÚfnameÚdfÚepochÚt1Út2ÚkÚcolr r r
|
Ú data_test_ix s
|
|
$r* c @ s e Zd Zejjdd Zejjdd Zejjdd Zejjdd Z e
|
d ¡ejjd
|
d Z ejjej d d ¡ej dedd¡dd Zdd ZdS )Ú TestSAS7BDATc C sF |\}}|D ]4}t j |d| d¡}tj|dd}t ||¡ q d S ©NÚtestú .sas7bdatúutf-8©Úencoding)r r r r Úread_sasÚtmÚassert_frame_equal©Úselfr r* Údf0r" r( r# r$ r r r
|
Útest_from_file* s
|
zTestSAS7BDAT.test_from_filec
|
C s |\}}|D ]x}t j |d| d¡}t|d}| ¡ }W 5 Q R X t |¡} tj| dddd}
|
|
|
¡ } W 5 Q R X t j
|
| |dd q d S )
|
Nr- r. ÚrbÚsas7bdatTr/ ©ÚformatÚiteratorr1 F©Z check_exact) r r r ÚopenÚreadr ÚBytesIOr r2 r3 r4 ) r6 r r* r7 r" r( r# ÚfZbytsÚbufÚrdrr$ r r r
|
Útest_from_buffer2 s
|
ÿz TestSAS7BDAT.test_from_bufferc
|
C s |\}}|D ]}t j |d| d¡}tj|dddV}| d¡}t ||jdd
d d
f ¡ | d¡}t ||jdd
d d
f ¡ W 5 Q R X q d S )
|
Nr- r. Tr/ ©r= r1 r r é é ) r r r r r2 r@ r3 r4 r ) r6 r r* r7 r" r( r# rD r$ r r r
|
Útest_from_iterator@ s
|
|
z TestSAS7BDAT.test_from_iteratorc C sJ |\}}|D ]8}t tj |d| d¡}tj|dd}t ||¡ q d S r, )r r r r r r2 r3 r4 r5 r r r
|
Útest_path_pathlibK s
|
z TestSAS7BDAT.test_path_pathlibzpy.pathc C sV ddl m} |\}}|D ]8}|tj |d| d¡}tj|dd}t ||¡ qd S )Nr )Úlocalr- r. r/ r0 ) Zpy.pathrK r r r r r2 r3 r4 ) r6 r r* Z LocalPathr7 r" r( r# r$ r r r
|
Útest_path_localpathS s z TestSAS7BDAT.test_path_localpathÚ chunksize)rG rH é
|
é r( r é c C s` t j |d| d¡}tj||dd"}d}|D ]}||jd 7 }q0W 5 Q R X ||jks\td S )Nr- r. r/ )rM r1 r )r r r r r2 r Ú row_countÚAssertionError)r6 r r( rM r# rD ÚyÚxr r r
|
Útest_iterator_loop^ s z TestSAS7BDAT.test_iterator_loopc C sx t j |d¡}tj|dddd}| |jd ¡}W 5 Q R X tj|ddd}| |jd ¡}W 5 Q R X t ||¡ d S )Nútest1.sas7bdatr: Tr/ r; é rF ) r r r r r2 r@ rQ r3 r4 )r6 r r# rD Úd1Zd2r r r
|
Útest_iterator_read_too_muchj s ÿz(TestSAS7BDAT.test_iterator_read_too_muchN)Ú__name__Ú
|
__module__Ú __qualname__ÚpytestÚmarkZslowr8 rE rI rJ ÚtdZ
|
skip_if_norL Ú parametrizer rU rY r r r r
|
r+ ) s
|
|
|
|
|
r+ c
|
C sÊ | dddd}t |¡}t j|dd}|jD ]2}z|| j d¡||< W q, tk
|
r\ Y q,X q,t ||¡ ddlm } t
|
||d d
|
¡}| ¡ }W 5 Q R X t |j|jD ]\}} || ¡ ks¬tq¬d S ) Nr r r rV r/ r0 r )ÚSAS7BDATReaderF)Zconvert_header_text)r r2 ÚcolumnsÚstrÚdecodeÚAttributeErrorr3 r4 Zpandas.io.sas.sas7bdatra Ú
|
contextlibÚclosingr@ ÚziprR )
|
r r# Údf1Údf2r) ra rD Zdf3rT rS r r r
|
Útest_encoding_optionsw s
|
|
rk c C st | dddd}t j|ddd }|jdks.t| ¡ }W 5 Q R X t j|ddd}| ¡ }W 5 Q R X t ||¡ d S ) Nr r r rV ZinferT)r1 r= Úcp1252)r r2 Zinferred_encodingrR r@ r3 r4 )r r# Z
|
df1_readerri Z
|
df2_readerrj r r r
|
Útest_encoding_infer s rm c C sj | dddd}t j|dd}| dddd}t j|dgd }d
|
d d d g}|| tj¡||< t ||¡ d S )Nr r r zproductsales.sas7bdatr/ r0 zproductsales.csvZMONTH©Z parse_datesZACTUALZPREDICTZQUARTERZYEAR©r r2 r r r r r3 r4 )r r# r$ r7 Zvnr r r
|
Útest_productsales s rp c C sL | dddd}t |¡}| dddd}t |¡}| tj¡}t ||¡ d S )Nr r r ztest_12659.sas7bdatztest_12659.csvro ©r r# r$ r7 r r r
|
Ú
|
test_12659£ s
|
|
rr c C sP | dddd}t |¡}| dddd}t |¡}| tj¡}tj||dd d S )Nr r r zairline.sas7bdatz airline.csvFr> ro rq r r r
|
Ú test_airline¬ s
|
|
rs c C sr | dddd}t |¡}| dddd}t j|dddd d
|
gd }|jd d
d f j d ¡||jd < t ||¡ d S )Nr r r zdatetime.sas7bdatz datetime.csvZDate1ZDate2ÚDateTimeZ
|
DateTimeHiZTaiwrn rG Úus) r r2 r r ÚdtÚroundrb r3 r4 rq r r r
|
Útest_date_timeµ s
|
ÿ$rx ÚcolumnZWGTZCYLc C sD | dddd}t j|dd}|| }|| ¡ }tj||dd d S ) Nr r r z cars.sas7bdatúlatin-1r0 Tr> )r r2 rw r3 Zassert_series_equal)r ry r# r$ ÚresultÚexpectedr r r
|
Ú test_compact_numerical_values s
|
r} c C sH | dddd}t j|dd}| dddd}t j|dd}t ||¡ d S )Nr r r zmany_columns.sas7bdatrz r0 zmany_columns.csv©r r2 r r3 r4 rq r r r
|
Útest_many_columnsÐ s
|
r c C s0 | dddd}t j|dd}t|dks,td S )Nr r r zload_log.sas7bdatrz r0 i1 ©r r2 ÚlenrR ©r r# r$ r r r
|
Ú test_inconsistent_number_of_rowsÛ s r c C s6 | dddd}t jtdd t |¡ W 5 Q R X d S )Nr r r zzero_variables.sas7bdatz No columns to parse from file©Úmatch)r] Úraisesr r r2 )r r# r r r
|
Útest_zero_variablesâ s r c C sD | dddd}t |¡}t dddg¡jd d
}t ||¡ d S ) Nr r r zzero_rows.sas7bdatÚag ð?)Z
|
char_fieldZ num_fieldr )r r2 Ú DataFramer r3 r4 )r r# r{ r| r r r
|
Útest_zero_rowsé s
|
r c C s: | dddd}d}t jt|d t |¡ W 5 Q R X d S )Nr r r zcorrupt.sas7bdatz4'SAS7BDATReader' object has no attribute 'row_count'r )r] r re r r2 )r r# Úmsgr r r
|
Útest_corrupt_readñ s r c C sj t | tr*| jtt| jdd d dS t | trbtjj | d}|jtt|jdd d dS | S d S )Néýÿÿÿéè )Ú microsecond)Ztimestr)
|
Ú
|
isinstancer ÚreplaceÚintrw r rc ÚdateutilÚparserÚparse)ÚtsÚ_tsr r r
|
Úround_datetime_to_msú s
|
|
r c C s | dddd}t j|dd}| dd ¡}z|d j d
|
¡|d < W nJ t jjjjk
|
rh | t ¡}Y n& t
|
k
|
r |d t ¡|d < Y nX t j d d gd dgt dddddddt dddddddgddgt dddt dddgddd d d d gd }t ||¡ d S ) Nr r r úmax_sas_date.sas7bdatú
|
iso-8859-1r0 c S s t | tr| ¡ S | S ©N©r rc Úlstrip©rT r r r
|
Ú<lambda> ó z#test_max_sas_date.<locals>.<lambda>Údt_as_dtru ÚmaxÚnormalçßÿÿÊ`MBçïÿ ÝÜAé' é é é é; éX> iã é r ç qgFAç @Õ@©ÚtextÚ dt_as_floatr¡ Ú date_as_floatÚ date_as_dater° r± r² r³ ©rb )r r2 Úapplymaprv rw Ú_libsÚtslibsÚ np_datetimeÚOutOfBoundsDatetimer re Úapplyr r r3 r4 ©r r# r$ r| r r r
|
Útest_max_sas_date s* þø
|
õ r¼ c C sR dddddg}| dddd }g }t j|d
|
d d D ]}| d d ¡}z|d j d¡|d< W nJ t jjjjk
|
r | t ¡}Y n& t
|
k
|
r¤ |d t ¡|d< Y nX |j ddd | |¡ q0t jdgdgtdddddddgdgtdddgd|d t jd gd gt d ¡gd gt d!¡gd|d g}t||D ]\}}t ||¡ q6d S )"Nr° r± r¡ r² r³ r r r r r r )r1 rM c S s t | tr| ¡ S | S r r r r r r
|
r 1 r z,test_max_sas_date_iterator.<locals>.<lambda>ru T)ZinplaceZdropr¢ r¤ r¦ r§ r¨ r© rª r« r r¯ r´ r£ r¥ z2019-08-01 23:59:59.999r® z
|
2019-08-01)r r2 rµ rv rw r¶ r· r¸ r¹ r re rº Z reset_indexÚappendr r r Z
|
datetime64rh r3 r4 )r Z col_orderr# Úresultsr$ r| r{ r r r
|
Útest_max_sas_date_iterator' sD ûø
|
|
|
ûøõr¿ c C s` | dddd}t j|dd}t tddd t jgtddd d
|
d d d t jgd ¡}t ||¡ d S )Nr r r zdates_null.sas7bdatr/ r0 r¦ r§ r¨ r© rª iQ> )ZdatecolZ datetimecol)r r2 r r ZNaTr3 r4 r» r r r
|
Útest_null_dateU s
|
þþûÿ rÀ c C s, | dddd}t |¡}t|dks(td S )Nr r r ztest_meta2_page.sas7bdatr r r r r r
|
Útest_meta2_pageh s
|
rÁ z8test_file, override_offset, override_value, expected_msg)útest2.sas7bdaté½× é ú Out of bounds)r rà r zunknown control byte)ztest3.sas7bdatiÍ é¸ rÅ c C sf t | ddd|d}t| ¡ }W 5 Q R X |||< tjt|d tjt |¡dd W 5 Q R X dS ) z1Errors in RLE/RDC decompression should propagate.r r r r9 r r: )r< N)
|
r? Ú bytearrayr@ r] r Ú Exceptionr r2 r rA )r Z test_fileZoverride_offsetZoverride_valueZ expected_msgÚfdr r r r
|
Útest_rle_rdc_exceptionso s
|
rÊ c C sH | dddd}t j|dd}| dddd}t j|dd }t ||¡ d S )
|
Nr r r z0x40controlbyte.sas7bdatÚasciir0 z0x40controlbyte.csvÚobject)r r~ rq r r r
|
Útest_0x40_control_byte s
|
rÍ c C s2 | dddd}t tj|dd}|jdks.td S )Nr r r z 0x00controlbyte.sas7bdat.bz2éø* )rM )rÎ rW )Únextr r2 r rR r r r r
|
Útest_0x00_control_byte s rÐ )1rf r r r Úpathlibr Zdateutil.parserr Únumpyr r] Z pandas.errorsr Z pandas.util._test_decoratorsÚutilZ_test_decoratorsr_ Zpandasr Zpandas._testingZ_testingr3 Zfixturer r r* r+ rk rm rp rr rs rx r^ r` r} r r r r r r r¼ r¿ rÀ rÁ rÊ rÍ rÐ r r r r
|
Ú<module> sX
|
|
N
|
|
|
#.ýþ
|
|
