크롤링, 스크래핑 (2) 썸네일형 리스트형 웹사이트 크롤링 AWS EC2 Django 프로젝트에 적용 결과물 *본 게시물은 아래의 게시물에서 이어지는 게시물이다. https://dong5854.tistory.com/16 selenium과 bs4를 이용한 동적 웹사이트 크롤링 사용목적 우리가 개발중인 웹 페이지에 선박명을 입력받으면 선박의 위치를 지도에 나타내는 기능을 넣으려고 한다. 하지만 선박의 이름을 입력받아 선박의 위치를 알려주는 API서비스는 찾지 dong5854.tistory.com AWS EC2 인스턴스에 있는 Django 프로젝트에 위의 게시물에서 작성한 크롤링 프로그램을 합치는 작업을 했다. 작업을 성공적으로 마친 후에는 다음과 같은 결과가 나타났다. 크롤링과 기존시스템을 통해 성공적으로 작동을 한 경우는 첫 번째 사진처럼 결과가 나타나고 선박은 존재하지만 marinetraffic API에.. selenium과 bs4를 이용한 동적 웹사이트 크롤링 사용목적 우리가 개발중인 웹 페이지에 선박명을 입력받으면 선박의 위치를 지도에 나타내는 기능을 넣으려고 한다. 하지만 선박의 이름을 입력받아 선박의 위치를 알려주는 API서비스는 찾지 못했다. 이에 따라 우리가 사용하기로 정한 marinetraffic의 API는 mmsi나 imo 혹은 marinetraffic에서 정의한 shipid만을 parameter로 받아 선박의 위치 정보를 제공해 주기 때문에 선박의 이름을 입력하면 그것을 mmsi 혹은 imo로 변환 시켜 줄 방법이 필요했다. 이에 대한 해결방법으로 생각한 것이 포트미스의 호출부로 조회 서비스를 이용하는 거였다. 호출부호를 조회하는 것으로 사용되는 이 서비스는 선박명을 검색하면 IMO번호 또한 조회가 가능하여, 이 웹페이지에서 IMO번호를 가져와 .. 이전 1 다음
