- SEO검색엔진 최적화페이지 색인 생성
Google 검색 결과 최적화를 위한 색인생성
구글 검색의 3 단계
구글 검색 엔진은 아래 3단계 작업을 통해 웹페이지를 검색 결과에 게재 할수 있도록 준비해 둔다. 이 과정에서 웹 사이트 소유자는 크롤링을 허용하거나 차단할 수 있고, 색인을 생성하거나 색인 생성을 차단할 수 있다.
크롤링
크롤러를 이용해 인터넷에서 찾은 페이지에서 텍스트, 이미지, 동영상을 다운로드 한다.
새로운 페이지는 구글이 방문한 페이지에서 링크를 통해 발견된다. 다른 방법으로는
사이트 소유자가 직접 google search console 에 sitemap 을 제출해 크롤링을 요청할 수 있다.
웹 사이트 소유자는 크롤링을 허용하거나 차단할 수 있다. 크롤링을 허용하기 위해서는 robot.txt 파일에 allow 규칙에 경로를 추가해야 한다. disallow 규칙에 추가된 경로는 크롤러가 접근하지 않는다.
구글은 크롤링이 허용되지 않는 경우에 페이지 콘텐츠의 색인을 생성할 수는 없지만, 여전히 URL의 색인을 생성할 수 있다. 즉, 페이지의 간략한 설명을 제공하는 스니펫 없이 URL만 검색 결과에 표시할 수 있다는 말이다.
해당 페이지의 색인생성을 허용하려면 index를 true로 한다. 이와 동시에 페이지 내의 링크를 따라가면서 크롤링을 허용하려면 follow를 true 로 한다. 이러한 설정은 meta 를 이용해 해당 페이지에 추가한다.
<meta name="robots" content="index,follow">크롤링은 최신버전 Chrome을 사용해 렌더링하고 자바스크립트도 실행한다. 서버에서 HTML을 모두 생성해서 클라이언트로 전송하는 SSR(Server Side Rendering)은 크롤러가 더 빠르게 동작하고 자바스크립트를 실행하지 않고도 크롤링이 완료되도록 할 수 있는 좋은 방법이다. 때문에 Next.js 의 SSR, SSG 기능을 활용하면 좋다. Next.js 등 프레임워크는 meta 태그를 추가하는 별도의 방법을 제공하기도 한다.
색인생성
구글은 크롤링 중 페이지에서 다운로드 받은 것을 분석해 Google 색인에 정보를 저장한다.
크롤링을 통해 페이지 내용을 파악하고, <Title> 요소 및 Alt 속성, 이미지, 동영상 등 텍스트 콘텐츠 및 핵심 콘텐츠 태그와 속성을 분석해서 색인화에 필요한 정보를 만든다.
최종적인 색인생성 단계에서 식별된 표준페이지와 해당 클러스터 정보를 구글 데이터베이스에 저장 한다. 클러스터란 아래 표준페이지 설명을 참고하면 된다.
검색결과 게재
사용자가 구글에서 검색을 하면 구글 데이터베이스에서 관련된 페이지나 클러스터의 정보를 반환한다.
색인 생성 허용 및 차단
<meta> 태그
<meta> 태그에 특별한 설정이 없으면 색인이 허용되고, noindex 규칙이 있으면 구글은 해당 페이지 전체를 구글검색 결과에서 제외한다. noindex 규칙이 있더라도 robots.txt 파일로 페이지가 차단되어 있는 경우 크롤러는 noindex 규칙을 확인하지 않으므로 검색 결과에 계속 표시될 수 있는데, 이런 경우는 크롤러가 접근 가능한 다른 페이지에서 제공하는 링크 중에 현재 페이지가 있는 경우 발생한다. 즉, noindex 규칙이 동작하려면 해당 패이지나 리소스가 robots.txt 로 차단되면 안된다는 점을 주의한다.
<meta name="robots" content="noindex">HTTP 응답헤더
HTTP 응답에 noindex 값을 가진 X-Robots-Tag HTTP 헤더가 반환되는 경우 페이지의 색인을 생성하지 않는다. 혹시나 나의 웹 페이지의 상태를 보고 싶으면 curl 명령을 사용해 X-Robots-Tag 설정이 있는지 확인하면 된다.
curl -I https://www.korean-lawyer.com/표준페이지
현재의 페이지가 인터넷의 다른 페이지와 중복인 경우에 그 중에서 대표가 되는 페이지로 검색 결과에 표시되는 페이지다. 구글은 인터넷상의 비슷한 콘텐츠 페이지를 그룹으로 묶는 클러스터링을 하고, 이 그룹을 대표하는 페이지를 선택한다. 해당 그룹의 나머지 페이지는 검색 조건에 특별한 조건이 추가되거나, 그룹 내의 특정 페이지를 찾는 상황에서 표준페이지를 대신해 검색 결과가 된다. 사이트 소유자는 선호하는 표준 URL 을 직접 지정할 수 있지만, 무조건 표준 URL로 선택되는 것이 아니라 구글의 힌트를 제공하는 것이라 보면된다. 즉, 표준 URL을 별도로 지정하지 않아도 구글은 알아서 식별한다.
표준 URL을 지정하는 방법은 3가지다.
- 리디렉션이 사이트에 존재하면 그 대상 페이지가 표준 URL로 선호된다는 의미다.
- 캐노니컬 링크를 명기하는 방법이 있다. 리디렉션과 같이 우선순위가 높다.
<link rel="canonical" href="https://example.com/examples" />- 마지막으로 선호도는 약하지만 sitemap에 포함된 URL들이다.
언어 및 국가별 페이지를 만든 경우 언어별로 표준페이지가 각각 존재하게 되는데, 이 페이지들 간에 rel="alternate"를 사용해서 서로 양방향 링크를 걸어야 한다.
(끝)