WinHTTP 썸네일형 리스트형 카카오맵 크롤링 데이터수집 - 실행하면 카카오맵이 하나 뜬다 - 검색하고자 하는 곳으로 지도를 찾아가서 - 좌상단 메뉴에 특정 검색어를 검색하면, 모든 결과가 엑셀에 저장된다 웹을 제어하는 방법은 다양하다. DOM, Selenium, WinHttp/XMLHttp, ... 논브라우징 방식인 WinHttp가 속도면에서 우수하고 때로는 사용자친화적인 브라우징이 필요할 때 Selenium을 자주 활용했지만 Selenium의 가장 치명적인 단점이 설치가 별도로 필요하다는 것. 그래서 배포에 피로감을 갖게했다. 하지만, AutoHotKey 전용 라이브러리인 Rufaydium을 활용하면 이 단점을 극복할 수 있다. https://github.com/Xeo786/Rufaydium-Webdriver GitHub - Xeo786/Rufaydium-.. 더보기 WinHttp를 이용한 엑셀에 크롤링데이터 구축 최근 최적화된 코드를 연구하다보니 실행속도 또한 관심이 많아졌다. 절차지향적인 코드보다 객체지향적인 코드를 활용하고, 리스트나 딕셔너리 등의 변수활용. 최대한 중복되지 않도록 함수를 활용하는 등 예전에 작성했던 코드들을 리팩토링해보고 있다. 크롤링도 주로 셀레니움을 많이 이용했었지만, 오..... 확실히 WinHttp 통신방식이 넌브라우징이라 그런가 속도면에서 아주 훌륭한 것 같다. 이제는 이 기술을 어떻게하면 유의미하게 사용할 수 있을지 고민해야될 단계인 것 같다. 더보기 이전 1 다음
