파이썬 파싱에서 요청 URL을 가져옵니다.

Scrapy의 parse () 함수에서 요청 URL을 어떻게 얻을 수 있습니까? start_urls 에 많은 URL이 있으며 그중 일부는 거미를 홈페이지로 리디렉션하고 결과적으로 빈 항목이 있습니다. 따라서 이러한 URL을 저장하려면 item [ 'start_url'] = request.url 과 같은 것이 필요합니다. BaseSpider를 사용하고 있습니다.

 

해결 방법

 

parse ()에 전달 된 'response'변수에는 원하는 정보가 있습니다. 아무것도 재정의 할 필요가 없습니다.

예. (편집 됨)

def parse(self, response):
    print "URL: " + response.request.url

 

참조 페이지 https://stackoverflow.com/questions/20081024