fume-manage-python.git

U  
H=®d6Yã@sÊdZddlZddlZddlZddlZddlZddlZddlZddlm    Z    ddl
mZmZddl mZddlmZmZddlmZddlmZdd    lmZdd
lmZddlmZddlmZdd lm Z ddl!m"Z"m#Z#ddl$m%Z%ddl&m'Z'm(Z(ddl)m*Z*m+Z+e%rddl,m-Z-ddl.m/Z/m0Z0m1Z1m2Z2m3Z3m4Z4m5Z5m6Z6m7Z7m8Z8ddl9Z:ddl;m<Z<ddl=m>Z>e:j?j@jAZBe2eCeCfZDe7dZEGddde4ZFe GeH¡ZIdQddZJeKedeJZLddZMddZNGd d!d!eOZPd"d#ZQGd$d%d%eOZRd&d'ZSd(d)ZTd*d+ZUd,d-ZVd.d/ZWd0d1ZXe Yd2ejZ¡Z[d3d4Z\d5d6Z]d7d8Z^Gd9d:d:e_Z`d;d<Zaead=d>ZbGd?d@d@e_ZcdRdAdBZddSdDdEZedTdFdGZfdHdIZgdUdKdLZhGdMdNdNe_ZiGdOdPdPe_ZjdS)VzM
The main purpose of this module is to expose LinkCollector.collect_links().
éN)ÚOrderedDict)Úhtml5libÚrequests)Úunescape)Ú
RetryErrorÚSSLError)Úparse)Úrequest)ÚNetworkConnectionError©ÚLink)ÚSearchScope)Úraise_for_status)ÚARCHIVE_EXTENSIONS)ÚpairwiseÚredact_auth_from_url)ÚMYPY_CHECK_RUNNING)Úpath_to_urlÚurl_to_path)Úis_urlÚvcs)ÚValues)
ÚCallableÚIterableÚListÚMutableMappingÚOptionalÚProtocolÚSequenceÚTupleÚTypeVarÚUnion)ÚResponse)Ú
PipSessionÚFc@seZdZdddZdS)ÚLruCacheNcCstdS©N)ÚNotImplementedError)ÚselfÚmaxsize©r*úTD:\z\workplace\VsCode\pyvenv\venv\Lib\site-packages\pip/_internal/index/collector.pyÚ__call__1szLruCache.__call__)N)Ú__name__Ú
__module__Ú__qualname__r,r*r*r*r+r%0sr%cCsdd}|S)NcSs|Sr&r*)Úfr*r*r+Ú_wrapper=sz noop_lru_cache.<locals>._wrapperr*)r)r1r*r*r+Únoop_lru_cache;sr2Ú    lru_cachecCs6tjD]*}| ¡ |¡r|t|dkr|SqdS)zgLook for VCS schemes in the URL.
 
    Returns the matched VCS scheme, or None if there's no match.
    z+:N)rÚschemesÚlowerÚ
startswithÚlen)ÚurlÚschemer*r*r+Ú_match_vcs_schemeFs
 
r:cCs(t|j}tD]}| |¡rdSqdS)z2Return whether the URL looks like an archive.
    TF)rÚfilenamerÚendswith)r8r;Úbad_extr*r*r+Ú_is_url_like_archiveRs
 
 
r>cseZdZfddZZS)Ú_NotHTMLcs"tt| ||¡||_||_dSr&)Úsuperr?Ú__init__Úcontent_typeÚrequest_desc)r(rBrC©Ú    __class__r*r+rA^sz_NotHTML.__init__)r-r.r/rAÚ __classcell__r*r*rDr+r?]sr?cCs.|j dd¡}| ¡ d¡s*t||jjdS)zCheck the Content-Type header to ensure the response contains HTML.
 
    Raises `_NotHTML` if the content type is not text/html.
    úContent-TypeÚú    text/htmlN)ÚheadersÚgetr5r6r?r    Úmethod)ÚresponserBr*r*r+Ú_ensure_html_headeresrNc@seZdZdS)Ú_NotHTTPN)r-r.r/r*r*r*r+rOpsrOcCsDt |¡\}}}}}|dkr"t|j|dd}t|t|dS)zÊSend a HEAD request to the URL, and ensure the response contains HTML.
 
    Raises `_NotHTTP` if the URL is not available for a HEAD request, or
    `_NotHTML` if the content type is not text/html.
    >ÚhttpÚhttpsT)Úallow_redirectsN)Úurllib_parseÚurlsplitrOÚheadrrN)r8Úsessionr9ÚnetlocÚpathÚqueryÚfragmentÚrespr*r*r+Ú_ensure_html_responsetsr\cCsLt|rt||dt dt|¡|j|dddd}t|t||S)aAccess an HTML page with GET, and return the response.
 
    This consists of three parts:
 
    1. If the URL looks suspiciously like an archive, send a HEAD first to
       check the Content-Type is HTML, to avoid downloading a large file.
       Raise `_NotHTTP` if the content type cannot be determined, or
       `_NotHTML` if it is not HTML.
    2. Actually perform the request. Raise HTTP exceptions on network failures.
    3. Check the Content-Type header to make sure we got HTML, and raise
       `_NotHTML` otherwise.
    ©rVzGetting page %srIz    max-age=0)ÚAcceptz Cache-Control)rJ)r>r\ÚloggerÚdebugrrKrrN)r8rVr[r*r*r+Ú_get_html_responsesñþracCs2|r.d|kr.t |d¡\}}d|kr.|dSdS)zBDetermine if we have any encoding information in our headers.
    rGÚcharsetN)ÚcgiÚparse_header)rJrBÚparamsr*r*r+Ú_get_encoding_from_headers¸s
rfcCs.| d¡D]}| d¡}|dk    r
|Sq
|S)aöDetermine the HTML document's base URL.
 
    This looks for a ``<base>`` tag in the HTML document. If present, its href
    attribute denotes the base URL of anchor tags in the document. If there is
    no such tag (or if it does not have a valid href attribute), the HTML
    file's URL is used as the base URL.
 
    :param document: An HTML document representation. The current
        implementation expects the result of ``html5lib.parse()``.
    :param page_url: The URL of the HTML document.
    z.//baseÚhrefN)ÚfindallrK)ÚdocumentÚpage_urlÚbasergr*r*r+Ú_determine_base_urlÃs
 
 
rlcCst t |¡¡S)zP
    Clean a "part" of a URL path (i.e. after splitting on "@" characters).
    )rSÚquoteÚunquote©Úpartr*r*r+Ú_clean_url_path_part×srqcCst t |¡¡S)z
    Clean the first part of a URL path that corresponds to a local
    filesystem path (i.e. the first part after splitting on "@" characters).
    )Úurllib_requestÚpathname2urlÚurl2pathnameror*r*r+Ú_clean_file_url_pathàsruz(@|%2F)cCs^|r
t}nt}t |¡}g}tt |dg¡D]$\}}| ||¡| | ¡¡q.d     |¡S)z*
    Clean the path portion of a URL.
    rH)
rurqÚ_reserved_chars_reÚsplitrÚ    itertoolsÚchainÚappendÚupperÚjoin)rXÚ is_local_pathÚ
clean_funcÚpartsÚ cleaned_partsÚto_cleanÚreservedr*r*r+Ú_clean_url_pathòs
rcCs2t |¡}|j}t|j|d}t |j|d¡S)z§
    Make sure a link is fully quoted.
    For example, if ' ' occurs in the URL, it will be replaced with "%20",
    and without double-quoting other characters.
    )r})rX)rSÚurlparserWrrXÚ
urlunparseÚ_replace)r8Úresultr}rXr*r*r+Ú_clean_link    s    
rcCsf| d¡}|sdStt ||¡}| d¡}|r8t|nd}| d¡}|rRt|}t||||d}|S)zJ
    Convert an anchor element in a simple repository page to a Link.
    rgNzdata-requires-pythonzdata-yanked)Ú
comes_fromÚrequires_pythonÚ yanked_reason)rKrrSÚurljoinrr)ÚanchorrjÚbase_urlrgr8Ú    pyrequirerÚlinkr*r*r+Ú_create_link_from_elements     
 
 
ürc@s$eZdZddZddZddZdS)ÚCacheablePageContentcCs|js
t||_dSr&)Úcache_link_parsingÚAssertionErrorÚpage)r(rr*r*r+rA:s
zCacheablePageContent.__init__cCst|t|o|jj|jjkSr&)Ú
isinstanceÚtyperr8)r(Úotherr*r*r+Ú__eq__?sÿzCacheablePageContent.__eq__cCst|jjSr&)Úhashrr8©r(r*r*r+Ú__hash__DszCacheablePageContent.__hash__N)r-r.r/rArrr*r*r*r+r9srcs2tddfddt ¡fdd}|S)zÒ
    Given a function that parses an Iterable[Link] from an HTMLPage, cache the
    function's result (keyed by CacheablePageContent), unless the HTMLPage
    `page` has `page.cache_link_parsing == False`.
    N)r)cst|jSr&)Úlistr)Úcacheable_page)Úfnr*r+ÚwrapperSsz'with_cached_html_pages.<locals>.wrappercs|jrt|St|Sr&)rrr)r©rr r*r+Úwrapper_wrapperXsz/with_cached_html_pages.<locals>.wrapper_wrapper)Ú
_lru_cacheÚ    functoolsÚwraps)rr¢r*r¡r+Úwith_cached_html_pagesIs
 
r¦ccsVtj|j|jdd}|j}t||}| d¡D]"}t|||d}|dkrJq.|Vq.dS)zP
    Parse an HTML document, and yield its anchor elements as Link objects.
    F)Útransport_encodingÚnamespaceHTMLElementsz.//a)rjrN)rrÚcontentÚencodingr8rlrhr)rrir8rrrr*r*r+Úparse_linksbs ý
ýr«c@s"eZdZdZdddZddZdS)    ÚHTMLPagez'Represents one page, along with its URLTcCs||_||_||_||_dS)am
        :param encoding: the encoding to decode the given content.
        :param url: the URL from which the HTML was downloaded.
        :param cache_link_parsing: whether links parsed from this page's url
                                   should be cached. PyPI index urls should
                                   have this set to False, for example.
        N)r©rªr8r)r(r©rªr8rr*r*r+rA~szHTMLPage.__init__cCs
t|jSr&)rr8rr*r*r+Ú__str__szHTMLPage.__str__N)T)r-r.r/Ú__doc__rArr*r*r*r+r¬{sû
r¬cCs|dkrtj}|d||dS)Nz%Could not fetch URL %s: %s - skipping)r_r`)rÚreasonÚmethr*r*r+Ú_handle_get_page_failsr±TcCst|j}t|j||j|dS)N)rªr8r)rfrJr¬r©r8)rMrrªr*r*r+Ú_make_html_page¢s
ür²c
 
Cs|dkrtd|j dd¡d}t|}|r@t d||¡dSt |¡\}}}}}}|dkrtj     
t |¡¡r|  d¡s|d7}t |d¡}t d    |¡zt||d
}WnFtk
rÎt d|¡Yn4tk
r}zt d||j|j¡W5d}~XYnþtk
r0}zt||W5d}~XYnÒtk
r\}zt||W5d}~XYn¦tk
r}z$d }    |    t|7}    t||    tjdW5d}~XYndtjk
rÒ}zt|d |¡W5d}~XYn0tjk
ròt|dYnXt||j dSdS)Nz?_get_html_page() missing 1 required keyword argument: 'session'ú#érzICannot look at %s URL %s because it does not support lookup as web pages.Úfileú/z
index.htmlz# file: URL is directory, getting %sr]z`Skipping page %s because it looks like an archive, and cannot be checked by a HTTP HEAD request.ziSkipping page %s because the %s request got Content-Type: %s.The only supported Content-Type is text/htmlz4There was a problem confirming the ssl certificate: )r°zconnection error: {}z    timed out©r)!Ú    TypeErrorr8rwr:r_ÚwarningrSrÚosrXÚisdirrrrtr<rr`rarOr?rCrBr
r±rrÚstrÚinforÚConnectionErrorÚformatÚTimeoutr²r)
rrVr8Ú
vcs_schemer9Ú_rXr[Úexcr¯r*r*r+Ú_get_html_page¬s`ÿÿ
þ
ý  ÿrÄcCstt |¡S)zQ
    Return a list of links, with duplicates removed and ordering preserved.
    )rrÚfromkeys)Úlinksr*r*r+Ú_remove_duplicate_linksåsrÇFcsúggfdd}|D]Ö}tj |¡}| d¡}|s<|rÐ|rF|}nt|}tj |¡r¬|rtj |¡}t |¡D]}|tj ||¡qtqÎ|r     |¡qÎt
 d|¡qðtj |¡rÂ||qðt
 d|¡qt |rä     |¡qt
 d|¡qfS)z
    Divide a list of locations into two groups: "files" (archives) and "urls."
 
    :return: A pair of lists (files, urls).
    cs8t|}tj|ddddkr* |¡n
 |¡dS)NF)ÚstrictrrI)rÚ    mimetypesÚ
guess_typerz)rXr8©ÚfilesÚurlsr*r+Ú    sort_pathùsz"group_locations.<locals>.sort_pathzfile:z(Path '%s' is ignored: it is a directory.z:Url '%s' is ignored: it is neither a file nor a directory.zQUrl '%s' is ignored. It is either a non-existing path or lacks a specific scheme.)rºrXÚexistsr6rr»ÚrealpathÚlistdirr|rzr_r¹Úisfiler)Ú    locationsÚ
expand_dirrÎr8r}Úis_file_urlrXÚitemr*rËr+Úgroup_locationsîsD
ÿ
þþr×c@seZdZdZddZdS)ÚCollectedLinksaä
    Encapsulates the return value of a call to LinkCollector.collect_links().
 
    The return value includes both URLs to project pages containing package
    links, as well as individual package Link objects collected from other
    sources.
 
    This info is stored separately as:
 
    (1) links from the configured file locations,
    (2) links from the configured find_links, and
    (3) urls to HTML project pages, as described by the PEP 503 simple
        repository API.
    cCs||_||_||_dS)zä
        :param files: Links from file locations.
        :param find_links: Links from find_links.
        :param project_urls: URLs to HTML project pages, as described by
            the PEP 503 simple repository API.
        N©rÌÚ
find_linksÚproject_urls)r(rÌrÚrÛr*r*r+rA:s zCollectedLinks.__init__N)r-r.r/r®rAr*r*r*r+rØ)srØc@sBeZdZdZddZedddZeddZd    d
Z    ddZ
d S)Ú LinkCollectorz³
    Responsible for collecting Link objects from all configured locations,
    making network requests as needed.
 
    The class's main method is its collect_links() method.
    cCs||_||_dSr&)Úsearch_scoperV)r(rVrÝr*r*r+rAUszLinkCollector.__init__FcCs`|jg|j}|jr8|s8t dd dd|D¡¡g}|jp@g}tj||d}t    ||d}|S)zÆ
        :param session: The Session to use to make requests.
        :param suppress_no_index: Whether to ignore the --no-index option
            when constructing the SearchScope object.
        zIgnoring indexes: %sú,css|]}t|VqdSr&)r©Ú.0r8r*r*r+Ú    <genexpr>jsz'LinkCollector.create.<locals>.<genexpr>)rÚÚ
index_urls)rVrÝ)
Ú    index_urlÚextra_index_urlsÚno_indexr_r`r|rÚr ÚcreaterÜ)ÚclsrVÚoptionsÚsuppress_no_indexrârÚrÝÚlink_collectorr*r*r+ræ^s"
þ
ÿÿzLinkCollector.createcCs|jjSr&)rÝrÚrr*r*r+rÚyszLinkCollector.find_linkscCst||jdS)z>
        Fetch an HTML page containing package links.
        r])rÄrV)r(Úlocationr*r*r+Ú
fetch_page~szLinkCollector.fetch_pagec sÔj}| |¡}t|\}}tjdd\}}ddt ||¡D}ddjD}    fddt dd|Dd    d|D¡D}
t|
}
d
 t|
|¡g}|
D]}|     d |¡¡q t
 d |¡¡t ||    |
d S)zFind all available links for the given project name.
 
        :return: All the Link objects (unfiltered), as a CollectedLinks object.
        T)rÔcSsg|]}t|qSr*rrßr*r*r+Ú
<listcomp>sz/LinkCollector.collect_links.<locals>.<listcomp>cSsg|]}t|dqS)z-frrßr*r*r+ríscsg|]}j |¡r|qSr*)rVÚis_secure_origin)ràrrr*r+rísúcss|]}t|ddVqdS)Fr·Nrrßr*r*r+rá sz.LinkCollector.collect_links.<locals>.<genexpr>css|]}t|VqdSr&rrßr*r*r+rá¡sz,{} location(s) to search for versions of {}:z* {}Ú
rÙ)rÝÚget_index_urls_locationsr×rÚrxryrÇr¿r7rzr_r`r|rØ) r(Úproject_namerÝÚindex_locationsÚindex_file_locÚ index_url_locÚfl_file_locÚ
fl_url_locÚ
file_linksÚfind_link_linksÚ url_locationsÚlinesrr*rr+Ú collect_linkss>
ÿ
 
ÿ
üÿ
ÿÿýzLinkCollector.collect_linksN)F)r-r.r/r®rAÚclassmethodræÚpropertyrÚrìrûr*r*r*r+rÜLs    
rÜ)N)N)T)N)F)kr®rcr¤rxÚloggingrÉrºÚreÚcollectionsrÚpip._vendorrrÚpip._vendor.distlib.compatrZpip._vendor.requests.exceptionsrrZpip._vendor.six.moves.urllibrrSr    rrÚpip._internal.exceptionsr
Úpip._internal.models.linkrÚ!pip._internal.models.search_scoper Úpip._internal.network.utilsrÚpip._internal.utils.filetypesrÚpip._internal.utils.miscrrÚpip._internal.utils.typingrÚpip._internal.utils.urlsrrÚpip._internal.vcsrrÚoptparserÚtypingrrrrrrrrr r!Úxml.etree.ElementTreeÚxmlZpip._vendor.requestsr"Úpip._internal.network.sessionr#ÚetreeÚElementTreeÚElementZHTMLElementr¼ZResponseHeadersr$r%Ú    getLoggerr-r_r2Úgetattrr£r:r>Ú    Exceptionr?rNrOr\rarfrlrqruÚcompileÚ
IGNORECASErvrrrÚobjectrr¦r«r¬r±r²rÄrÇr×rØrÜr*r*r*r+Ú<module>s~0
 
 
3     
ý
 
 
 
9    
;#