크롤링을 할 때 셀레니움이 필요한지 확인하는 방법

크롤링을 할 때 셀레니움이 필요한지 확인하는 방법은 크게 두 가지가 있습니다.

 

자바스크립트 사용 중지

웹 브라우저의 개발자 도구에서 자바스크립트를 사용 중지하고 페이지를 확인하는 방법입니다. 자바스크립트가 사용 중지되면 웹 페이지의 동적인 요소가 모두 숨겨지고, 정적 요소만 표시됩니다. 따라서, 페이지의 내용을 정적 요소만으로 추출할 수 있다면 셀레니움이 필요하지 않습니다.

개발자 도구에서 자바스크립트 사용 중지 방법

크롬 브라우저의 경우 다음과 같은 방법으로 개발자 도구에서 자바스크립트 사용을 중지할 수 있습니다.

1. 크롬 브라우저에서 페이지를 열고, F12 키를 누릅니다.
2. 개발자 도구가 열리면,  환경설정을 선택합니다.
3. 디버거 항목의 자바스크립트 사용 중지(Disable JavaScript) 체크박스를 선택합니다.

자바스크립트 사용을 중지하면, 페이지의 내용이 다음과 같이 변경됩니다.

페이지의 내용을 정적 요소만으로 추출할 수 있다면 셀레니움이 필요하지 않습니다.

 

페이지 소스보기

웹 페이지의 소스 코드를 확인하여 셀레니움이 필요한지 확인하는 방법입니다. 페이지의 소스 코드를 확인하면 페이지에 사용된 HTML, CSS, 자바스크립트 코드를 확인할 수 있습니다.

페이지의 소스 코드를 확인하는 방법은 웹 브라우저마다 다릅니다.

크롬 브라우저의 경우 오른쪽 마우스 클릭을 한 후 페이지 소스 보기를 선택해 확인 할 수 있습니다.

페이지의 소스 코드를 확인하여 다음과 같은 요소가 있는지 확인합니다.

• 자바스크립트로 생성된 요소
• 스크롤바
• 팝업 창

이러한 요소가 있는 경우 셀레니움이 필요합니다. 이러한 요소는 자바스크립트로 제어되므로, 셀레니움을 사용하지 않고는 페이지의 내용을 추출할 수 없습니다.