About 구글 검색엔진 등록
검색엔진, 검색엔진 로봇, 그리고 robots.txt의 역할
인터넷에는 수많은 웹페이지들이 존재하고, 이 페이지들을 쉽고 빠르게 찾기 위해 검색엔진과 그것을 돕는 로봇들이 활동하고 있습니다. 또한 웹사이트 관리자들은 로봇들이 자신의 사이트를 어떻게 방문하고 정보를 수집할지를 관리할 수 있는 robots.txt 파일을 사용합니다.
검색엔진과 검색엔진 로봇이 하는 일
검색엔진은 인터넷에 있는 웹사이트를 검색하기 위한 프로그램으로, 사용자가 입력한 키워드에 맞는 결과를 보여줍니다. 검색엔진은 웹 페이지들을 자동으로 수집하고 분석하여 검색 결과를 생성하기 위해 검색 로봇을 사용합니다. 웹 크롤러로 불립니다. 웹 크롤러가 하는 작업을 ‘웹 크롤링’ 또는 ‘스파이더링’이라 부릅니다.
검색엔진 로봇(웹 크롤러 또는 스파이더)은 웹사이트를 순회하면서 정보를 자동으로 수집합니다. 이 정보들은 검색엔진의 데이터베이스에 저장되어, 사용자가 특정 키워드를 검색했을 때 해당하는 결과를 보여주는 데 사용됩니다.
웹사이트의 robots.txt의 역할
robots.txt 파일은 웹사이트의 루트 디렉토리에 배치되는 텍스트 파일로, 웹 크롤러가 사이트의 어떤 부분을 검색하거나 검색하지 말아야 할지 지시하는 역할을 합니다. robots.txt 파일에 어느 부분은 크롤링하고 특정 부분은 크롤링 하지 말아달라고 요청할 수도 있습니다. 검색엔진 로봇은 이 파일의 지시에 따라 해당 사이트를 크롤링하며, 이를 통해 사이트의 과부하를 막고 불필요한 컨텐츠의 색인화를 막는 기능도 가지고 있습니다.
검색엔진과 그 로봇들, 그리고 robots.txt 파일은 우리가 웹에서 원하는 정보를 쉽게 찾을 수 있게 해주는 중요한 역할을 수행하고 있습니다. 특히 로봇들은 웹의 방대한 정보를 체계적으로 수집하고 정리하는데 핵심적인 역할을 하고, robots.txt 파일은 사이트 관리자가 자신의 사이트를 어떻게 다룰지 좀 더 세밀하게 제어할 수 있게 도와줍니다.
검색엔진이 사이트맵 찾는 과정
검색엔진이 개별 홈페이지의 사이트맵을 찾는 방법
검색엔진은 웹사이트의 구조를 파악하고 콘텐츠를 체계적으로 수집하기 위해 사이트맵(sitemap)을 활용합니다. 사이트맵은 웹사이트의 여러 페이지와 관계성, 페이지의 최종 변경 정보 등을 포함한 XML 파일입니다. 이를 통해 검색엔진은 웹사이트를 보다 효율적으로 크롤링 할 수 있습니다.
사이트맵 위치
웹사이트의 루트 디렉토리에 있는 ‘sitemap.xml’을 통해 대부분의 경우 검색엔진은 자동으로 사이트맵을 찾습니다. 도메인 url 바로 밑에 파일을 놓으면 됩니다. 주소 표시줄에 /sitemap.xml을 추가하여 사이트맵에 접근할 수 있습니다.
웹사이트 소유자는 Google Search Console과 같은 웹마스터 도구를 사용하여 직접 사이트맵을 제출할 수도 있습니다. 이런 과정을 통해 특히 새로운 웹사이트의 경우, 검색엔진이 더 빠르게 사이트를 발견하고 색인화할 수 있도록 도와줍니다.
사이트맵 형식
XML 사이트맵은 검색엔진용으로 설계되었으며, 웹사이트의 모든 페이지 URL을 명시적으로 나열하여 검색엔진이 웹사이트를 크롤링하도록 돕습니다. XML 사이트맵은 페이지 간의 관계, 각 페이지의 업데이트 시간 등의 유용한 메타데이터도 제공할 수 있습니다.
사이트맵은 웹사이트와 검색엔진이 서로 원활하게 소통할 수 있는 방법 중 하나로, 웹사이트의 색인화를 돕고 SEO(검색 엔진 최적화)를 향상시키는 중요한 역할을 합니다.
검색엔진 구글 등록
사이트 소유권 확인
그럼, 본격적으로 대표 엔진인 구글에 사이트를 등록해서 검색엔진이 내 사이트를 크롤링 할 수 있도록 해보겠습니다. 구글 서치 콘솔 사이트에 들어가서 새로운 속성을 추가합니다.
HTML 태그를 복사를 합니다.
간단하게 코드를 넣기 위해 SEO 플러그인 Rank Math 플러그인을 이용해서 코드값을 넣어도 되고, Google Site Kit 플러그인을 이용하셔도 됩니다.
먼저, Rank Math로 설명을 드리면 관리자페이지 메뉴에서 [Rank Math] > [일반 설정] > [웹마스터 도구] > Google 검색 콘솔에 위에 복사한 코드를 붙여넣기 합니다.
워드프레스 관리자페이지에서 코드값을 넣고 저장을 하신 후에, 저장 후 다시 구글 서치콘솔에서 완료를 하셔야 정상적으로 등록이 됩니다.
구글 Site Kit 을 설치해서 연동하는 방법도 있습니다. 간단하게 구글 계정을 활성화해서 워드프레스와 연동 및 권한을 부여하면 쉽게 연결이 됩니다. 둘 중 꼭 하나의 방법만을 이용하시 길 바랍니다. 두 플러그인을 동시에 사용하면 충돌이 날 확률이 큽니다.
위와 같이 사이트의 소유권이 인증되었습니다.
사이트맵 제출
사이트맵을 등록해 보도록 하겠습니다. 구글 사이트맵도 Rank Math 플러그인을 이용하여 쉽게 등록할 수 있습니다. [Rank Math] > [사이트맵 설정] > [HTML 사이트맵] 에서 HTML 사이트맵 활성화를 시켜줍니다.
그 후, [일반] 탭으로 와서, 링크로 연결된 xml 파일을 클릭해서 정상적인지 확인을 해봅니다.
Rank Math에서 보여지는 사이트맵 URL에서 파일명과 확장자를 복사한 후, 구글 서치 콘솔의 Sitemaps으로 와서 새 사이트맵 추가에 넣어주고 난 후 제출 버튼을 클릭하면 잠시 후에 연동이 됩니다. 바로 연결 동작이 안 되면 최대 하루 정도는 기다려 봅니다.
사이트맵까지 잘 연동이 되었다면 구글 검색엔진에서 검색봇이 웹사이트의 사이트맵을 크롤링 하면서 검색색인을 만듭니다. 구글 사이트에서 새로운 글이 검색결과에 안 나온다면 수동으로 해당 글의 URL을 수동으로 색인 요청할 수 있습니다.
서치 콘솔에 들어가서 URL 검사 메뉴로 들어가서 [실제 URL 테스트]를 진행을 합니다.
테스트 진행 결과가 ‘URL이 Google에 등록되어 있음’라면 더 이상 색인 생성 요청하실 필요는 없고, 등록되지 않은 경우에 색인 생성 요청을 하시길 바랍니다.
마치며
이번 시간에는 구글 검색엔진에 웹사이트를 등록을 하고 사이트맵 연동을 통해 구글 검색로봇이 웹사이트의 데이터를 크롤링하도록 설정하는 방법에 대해서 알아봤습니다.