검색 엔진 로봇에게 주는 사이트 지도, robots.txt란?
블로그나 웹사이트를 운영하다 보면 어떤 페이지는 구글이나 네이버에 잘 나왔으면 좋겠고, 또 어떤 관리자 페이지는 검색 결과에서 숨기고 싶을 때가 있죠? 바로 이때 검색 엔진 로봇에게 '여기까지만 들어와!'라고 길을 안내해 주는 파일이 바로 robots.txt입니다.
📌 핵심 요약
robots.txt는 검색 엔진의 크롤링 범위를 제어하는 텍스트 파일이에요.
내 사이트의 루트 디렉토리에 위치하며, 구글봇(Googlebot)이나 예티(Yeti) 같은 로봇이 수집할 페이지와 제외할 페이지를 결정하는 아주 중요한 역할을 수행한답니다.
처음 설정할 때 실수하면 사이트 전체가 검색 결과에서 사라질 수도 있어서 긴장되시죠? 걱정 마세요. 오늘 저와 함께 하나씩 차근차근 알아보면 전혀 어렵지 않아요. SEO(검색엔진 최적화)의 기초 중의 기초, 지금 바로 시작해 볼까요?
robots.txt의 핵심 문법과 작성 규칙
robots.txt 파일을 만들기 위해서는 먼저 검색 로봇과 대화하는 전용 언어를 알아야 해요. 복잡해 보이지만 딱 세 가지만 기억하면 됩니다. 어떤 로봇인지(User-agent), 거부할지(Disallow), 허용할지(Allow)만 정해주면 끝이죠.
여기서 주의할 점은 경로를 설정할 때 상대 경로를 사용한다는 것이에요. 예를 들어 사이트 전체를 허용하고 싶다면 Disallow 뒤에 아무것도 적지 않거나, 특정 관리자 페이지를 막고 싶다면 Disallow: /admin/처럼 입력하면 돼요.
검색 로봇별 이름 확인하기 (구글 vs 네이버)
내 사이트에 방문하는 손님(로봇)들의 이름을 정확히 불러줘야 그들이 말을 잘 듣겠죠? 모든 로봇에게 동일한 규칙을 적용할 수도 있고, 구글이나 네이버에만 특별한 규칙을 줄 수도 있어요.
🅰️ 구글봇 (Googlebot)
전 세계 가장 영향력 있는 로봇이에요. 세부적으로는 이미지봇, 비디오봇 등이 있지만 보통 Googlebot으로 통칭해요.
🅱️ 예티 (Yeti)
네이버의 검색 로봇 이름이에요. 국내 트래픽을 잡고 싶다면 예티의 접근을 잘 열어두는 것이 핵심이겠죠?
만약 모든 로봇에게 차별 없이 대하고 싶다면 User-agent: 라고 적으면 됩니다. 별표()는 '모든'이라는 뜻을 가진 와일드카드 문자거든요. 참 쉽죠?
실전! robots.txt 파일 생성 및 업로드 3단계
자, 이제 이론을 배웠으니 실제로 파일을 만들어볼까요? 특별한 프로그램은 필요 없어요. 윈도우 메모장이나 맥의 텍스트 편집기만 있으면 3분 만에 뚝딱 만들 수 있습니다.
텍스트 파일 작성
메모장을 열고 원하는 규칙을 입력하세요. 예: User-agent: * (다음 줄) Disallow: /private/
파일 저장
반드시 파일 이름을 'robots.txt'로 저장해야 합니다. 대소문자 구분이 엄격하니 소문자로만 적어주세요.
루트 경로에 업로드
FTP 프로그램이나 호스팅 업체 관리 페이지를 통해 사이트의 최상단 폴더(public_html 등)에 올리세요.
💡 꼭 알아두세요
워드프레스 사용자는 'Yoast SEO'나 'Rank Math' 같은 플러그인을 쓰면 파일 업로드 없이 대시보드에서 바로 수정할 수 있어 편리해요!
가장 많이 하는 치명적인 실수와 주의사항
단 한 줄의 코드가 여러분의 블로그를 검색 미아로 만들 수도 있다는 사실, 알고 계셨나요? 초보 운영자들이 가장 많이 하는 실수 중 하나가 바로 모든 접근을 막아버리는 설정이에요.
⚠️ 주의사항: Disallow: / 의 공포
만약 'Disallow: /' 라고 적고 저장하면, 검색 엔진은 사이트 전체를 수집하지 않습니다. 검색 결과에서 완전히 사라지고 싶지 않다면 이 슬래시(/) 하나를 매우 신중하게 써야 해요.
또한, robots.txt는 보안 도구가 아니라는 점을 명심하세요. 누구나 yourdomain.com/robots.txt를 입력하면 이 파일을 볼 수 있거든요. 정말 중요한 비밀 페이지는 비밀번호를 걸거나 다른 보안 조치를 취해야지, robots.txt로 가린다고 해서 안전해지는 것은 아니랍니다.
설정 확인 및 최종 점검
모든 설정을 마쳤다면 이제 내 안내서가 잘 작동하는지 확인해 볼 차례입니다. 검색 엔진이 내 의도대로 정보를 가져가는지 테스트하는 도구들이 있거든요.
"구글 서치 콘솔의 'robots.txt 테스터'를 활용하면 오류 여부를 실시간으로 확인할 수 있습니다."
— Google Search Central 가이드
구글 서치 콘솔에 접속해 내 사이트를 등록한 후, '설정' 또는 구형 버전의 '테스터' 메뉴를 이용해 보세요. 작성한 코드를 붙여넣고 특정 URL을 테스트하면 '허용됨' 혹은 '차단됨' 결과가 바로 뜬답니다. 네이버 역시 웹마스터 도구(서치어드바이저)에서 검증 기능을 제공하니 꼭 활용해 보세요!
✅ 이렇게 하면 됩니다
파일 수정 후에는 반드시 '검색 로봇 수집 요청'을 통해 변경 사항을 빨리 인지하도록 도와주세요. 그래야 수정한 내용이 검색 결과에 빠르게 반영됩니다.
자주 묻는 질문
robots.txt 파일은 꼭 있어야 하나요?
필수는 아니지만, SEO와 효율적인 크롤링 예산 관리를 위해 강력히 권장됩니다. 파일이 없으면 로봇은 사이트 전체를 제한 없이 수집하려고 시도하며, 이는 서버 부하를 일으키거나 원치 않는 페이지가 노출되는 원인이 될 수 있습니다.
수정했는데 왜 네이버 검색 결과에 바로 반영이 안 되나요?
검색 로봇이 방문하여 파일을 다시 읽어가는 데 수일에서 수주가 걸릴 수 있습니다. 빠른 반영을 원하신다면 네이버 서치어드바이저의 '검증' 메뉴에서 robots.txt를 수집 요청하고, 구글 서치 콘솔에서도 색인 생성을 요청해 보세요.
티스토리 블로그도 robots.txt를 수정할 수 있나요?
아쉽게도 티스토리와 같은 가입형 블로그는 사용자가 직접 루트 디렉토리에 파일을 업로드할 수 없습니다. 대신 티스토리 자체에서 기본적으로 최적화된 robots.txt를 제공하고 있으니 큰 걱정은 하지 않으셔도 됩니다.
참고자료 및 링크
- Google 검색 센터: robots.txt 소개 구글 공식 문서로 robots.txt의 개념과 작동 원리를 상세히 설명합니다.
- 네이버 서치어드바이저: robots.txt 설정 가이드 네이버 검색 로봇 예티를 위한 최적의 설정 방법을 안내합니다.
