네이버 검색로봇 설정 (텍스트 파일 업로드 방식)

네이버 검색로봇이란?

robots.txt는 검색로봇에서 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하도록 하는 설정 방법이다. 예를 들어 특정 검색엔진 로봇에 수집을 허용할 수도 있고, 모든 검색엔진의 로봇에 대한 수집을 허용할 수 있으며, 또한 사이트 루트 페이지만 수집을 허용하거나 개인 정보 페이지와 같은 개인 정보가 담기 페이지는 비허용으로도 설정할 수 있다. 이 설정 방법은 일반 텍스트 파일로 작성하고 사이트의 루트 디렉터리에 robots.txt 형태의 파일로 저장해야 하며 robots.txt 파일 작성 시 로봇 배제 표준을 따라 작성해야 한다. 위 내용이 어렵다면 아래 내용을 따라 설정하면 어렵지 않으니 천천히 따라 해 보길 바란다.

 

 

 

 

 

네이버 검색로봇 설정 방법

네이버 서치어드바이저 접속 -> 웹 마스터 도구 클릭

 

 

등록한 사이트 클릭

만약 네이버 서치어드바이저에 사이트 등록을 안 하셨다면 사이트 등록을 참조해 먼저 진행하세요.

 

 

검증 클릭

 

 

robots.txt 클릭

 

 

User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: bingbot
Crawl-delay: 30

robots.txt 정보 전체 드래그 후 Ctrl + C 복사해 주세요.

 

 

 

 

윈도우 시작 클릭 -> 보조 프로그램 클릭 -> 메모장 열어주세요.

 

 

 

robotx.txt 정보에서 복사 한 내용 메모장에 Ctrl + V 붙여 넣기 하세요. 파일 이름은 robotx.txt으로 하고 찾기 쉬운 곳에 저장합니다.

 

 

 

티스토리 관리자 모드로 접속 -> 스킨 편집 클릭

 

 

 

html 편집 클릭

 

 

 

파일 업로드 클릭

 

 

 

 

추가 클릭

 

 

 

아까 저장한 robots.txt 파일 찾아서 업로드해주세요.

 

 

 

다시 네이버 서치어드바이저 접속 -> 웹 마스터 도구 -> 등록한 사이트 클릭 -> 검증 클릭 -> robots.txt 클릭해 검증 페이지로 이동하세요. robots.txt 검증 입력 락에 robots.txt 입력하세요.

 

 

 

 

'수집이 가능합니다.' 문구가 뜨면 설정이 정상으로 이루어진 것이니 확인하세요.