Home > 웹 칼럼 > 홈페이지에 모든 것

홈페이지에 모든 것

사이트맵 robots.txt 역할 — 검색 로봇에게 길을 알려주고 막을 곳을 정하는 두 파일입니다. 주식회사 도도컴즈

  • 관리자 (dodo0)
  • 2026-10-15 10:11:00
  • hit4
검색 노출 기초

사이트맵과 robots.txt는 왜 필요할까, 검색 로봇에게 길을 알려주는 두 파일

검색 로봇이 홈페이지를 어떻게 돌아다니는지 정하는 두 파일이 있습니다. 하나는 보여 줄 페이지 목록을 알려주는 사이트맵, 다른 하나는 보지 말아야 할 경로를 정하는 robots.txt입니다. 역할과 확인 방법, 흔한 실수를 정리했습니다.

작성 · 주식회사 도도컴즈발행 · 2026년 10월 15일
핵심 요약

사이트맵은 홈페이지의 주요 페이지 목록을 검색 로봇에게 전달하는 파일이고, robots.txt는 로봇이 수집해도 되는 경로와 막을 경로를 알려주는 텍스트 파일입니다. 두 파일은 검색 등록과 함께 쓰일 때 효과가 큽니다. 다만 파일이 있다고 순위가 바로 오르는 것은 아니며, 수집을 돕고 불필요한 수집을 막는 기초 장치라고 이해하는 것이 정확합니다.

📌 기준 — sitemaps.org 사이트맵 프로토콜 · 로봇 배제 표준(Robots Exclusion Protocol) · 네이버 서치어드바이저 안내

01사이트맵과 robots.txt란?

사이트맵(sitemap.xml)은 홈페이지 안에 있는 페이지 주소를 한곳에 모아 둔 목록입니다. 검색 로봇은 링크를 따라 페이지를 찾기도 하지만, 링크가 연결되지 않은 페이지는 놓치기 쉽습니다. 사이트맵은 "이런 페이지들이 있으니 확인해 달라"고 미리 알려 주는 안내도 역할을 합니다.

robots.txt는 홈페이지 최상위 주소 뒤에 붙여 여는 텍스트 파일입니다. 검색 로봇에게 어느 경로는 수집해도 되고, 어느 경로는 수집하지 말아 달라고 요청하는 규칙을 적어 둡니다. 법적 강제력이 있는 문서가 아니라 로봇이 따르도록 약속된 표준이라는 점을 알아 두시면 좋습니다.

흔한 오해: robots.txt에 적었다고 해서 검색 결과에서 완전히 사라지는 것은 아닙니다. 수집을 막는 것과 검색 결과에서 지우는 것은 다른 기능입니다. 비공개가 꼭 필요한 페이지라면 로그인 보호나 노index 설정을 함께 고려해야 합니다.

다음 표는 두 파일의 역할과 주의점을 비교한 것입니다.

구분 사이트맵 (sitemap.xml) robots.txt
핵심 역할 보여 줄 페이지 목록 전달 수집 가능 경로와 차단 경로 안내
확인 위치 주소 뒤 /sitemap.xml 주소 뒤 /robots.txt
주요 내용 페이지 주소, 최종 수정일 User-agent, Disallow, Allow, Sitemap 줄
주의점 404 페이지나 중복 주소가 들어가면 안 됨 전체 차단(Disallow: /)이 남으면 수집이 막힘
이런 고민이 있다면
  • 페이지는 많은데 검색 결과에 일부만 보입니다
  • 개발할 때 막아 둔 설정이 오픈 후에도 남아 있을지 모르겠습니다
  • 새로 추가한 진료 항목이나 상품 페이지가 늦게 반영됩니다
  • 제작사가 사이트맵을 만들었다고 했는데 실제로 열리는지 모릅니다
  • 관리자 페이지나 테스트 경로가 검색 로봇에게 열려 있는지 모릅니다
두 파일은 직접 열어 보는 것만으로도 기본 상태를 확인할 수 있습니다.

02도도컴즈 소개

주식회사 도도컴즈 제작 12년 · 온라인 마케팅 2013년~

도도컴즈는 2013년부터 병원과 기업의 홈페이지 제작과 온라인 마케팅을 함께 진행해 온 회사입니다. 페이지를 만드는 작업뿐 아니라 사이트맵과 수집 차단 설정처럼 눈에 잘 띄지 않는 부분도 제작 단계에서 함께 정리합니다. 전주우리병원과는 10년 이상 장기 계약을 유지하고 있으며, 병원과 기관, 기업의 홈페이지를 200곳 이상 제작했습니다. 상담은 모두 무료이며, 현재 설정을 먼저 확인한 뒤 필요한 부분만 정리해 드립니다.

2013년~ 마케팅제작 200곳+전 과정 전담모든 상담 무료

03두 파일을 점검하는 6단계

아래 순서대로 열어 보면 기본 상태를 파악할 수 있습니다. 파일을 직접 수정하기 전에 먼저 현재 상태를 기록해 두세요.

1
사이트맵 주소 열어 보기
홈페이지 주소 뒤에 /sitemap.xml을 붙여 엽니다. 목록이 보이면 파일은 존재하는 상태입니다. 화면이 404 오류라면 사이트맵이 없거나 주소가 다른 것이므로, 제작사에 위치를 확인하세요.
2
포함된 주소 점검
사이트맵에 실제로 보여 줄 페이지만 들어 있는지 확인합니다. 삭제된 페이지, 오류가 나는 주소, 같은 내용이 여러 주소로 중복된 항목이 있다면 정리 대상입니다.
3
robots.txt 열어 보기
주소 뒤에 /robots.txt를 붙여 엽니다. 텍스트 파일이 보이면 정상적으로 있는 상태입니다. 아무것도 나오지 않거나 오류가 뜬다면 파일이 없거나 서버 설정 문제일 수 있습니다.
4
차단 규칙 읽기
Disallow 뒤에 적힌 경로가 무엇인지 봅니다. 관리자 경로나 테스트 경로만 막혀 있다면 정상입니다. 반대로 Disallow: / 한 줄만 있다면 사이트 전체가 수집되지 않는 상태이므로 즉시 확인해야 합니다.
5
사이트맵 위치 연결
robots.txt 안에 Sitemap 줄로 사이트맵 주소를 적어 두면, 로봇이 두 파일을 한 번에 찾을 수 있습니다. 주소는 https로 시작하는 대표 주소와 같아야 합니다.
6
검색 등록 도구에서 확인
네이버 서치어드바이저에 사이트맵을 제출하고, 수집 오류 항목에 사이트맵이나 차단 관련 메시지가 있는지 확인합니다. 제출 후 반영 시점은 보장되지 않으므로 주기적으로 살펴보세요.

참고로 robots.txt의 기본 형태는 아래와 같습니다. 주소와 경로는 예시이므로, 실제 홈페이지의 구조에 맞게 바꿔 사용해야 합니다.

User-agent: * Disallow: /admin/ Disallow: /test/ Sitemap: https://example.com/sitemap.xml

다음 표는 점검 항목별 정상 상태와 문제 신호를 정리한 것입니다.

점검 항목 정상 상태 문제 신호
사이트맵 파일 주소를 열면 페이지 목록이 보임 404 오류 또는 빈 화면
사이트맵 내용 주요 페이지만 정확한 주소로 포함 삭제된 주소, 중복 주소 포함
robots.txt 파일 텍스트 규칙이 보임 파일이 없거나 오류 발생
차단 규칙 관리자, 테스트 경로만 차단 Disallow: / 전체 차단이 남아 있음

04실제로 자주 보이는 상황 6가지

아래 사례는 두 파일을 점검할 때 흔히 마주치는 상황을 정리한 예시이며, 실제 고객의 결과 수치가 아닙니다.

오픈 후에도 남은 전체 차단 제작 중 넣어 둔 전체 차단 규칙이 그대로 남아, 검색 로봇이 사이트를 읽지 못하는 상황입니다. 규칙을 지우고 수집 요청을 다시 보내는 것이 첫 단계입니다.
사이트맵에 404 주소 포함 삭제한 진료 항목이 사이트맵에 그대로 남아 오류 주소가 쌓이는 경우입니다. 페이지를 지울 때는 사이트맵도 함께 갱신해야 합니다.
관리자 경로 노출 관리자 로그인 주소가 로봇에게 열려 있어 검색 결과에 보이는 상황입니다. 해당 경로를 차단하고, 필요하다면 보호 설정을 함께 적용합니다.
도메인 변경 후 혼선 옛 주소의 사이트맵과 robots.txt가 그대로 남아 새 주소와 맞지 않는 경우입니다. 새 주소 기준으로 두 파일을 다시 작성합니다.
상품, 진료 항목이 많은 사이트 페이지 수가 많은데 사이트맵이 한 번도 갱신되지 않아 일부만 수집되는 상황입니다. 자동 생성 여부를 확인하고 주기를 정합니다.
테스트 페이지 방치 확인용으로 만든 임시 페이지가 사이트맵에 포함되어 검색에 노출될 위험이 있는 경우입니다. 임시 페이지는 목록에서 제외하고 삭제합니다.
공통점: 두 파일은 한 번 만들고 끝나는 것이 아니라, 페이지가 바뀔 때마다 함께 점검해야 제 역할을 합니다.
이런 상태라면 점검을 미루지 마십시오
  • robots.txt에 Disallow: / 한 줄만 있는 것을 발견했습니다
  • 사이트맵 주소가 404 오류 화면으로 연결됩니다
  • 페이지를 삭제한 뒤 사이트맵을 한 번도 갱신하지 않았습니다
  • 병원 홈페이지라서 진료 정보가 정확하게 노출되는지 확인이 필요합니다
두 파일은 수정이 간단한 대신, 잘못 두면 사이트 전체에 영향을 줄 수 있으니 확인 후 변경하세요.

05사이트맵과 robots.txt 관리 체크리스트

두 파일을 지속적으로 관리하기 위해 아래 항목을 정기적으로 확인하세요.

  • 홈페이지를 열고 /sitemap.xml과 /robots.txt가 정상적으로 보이는지 확인합니다.
  • 페이지를 추가하거나 삭제할 때마다 사이트맵이 함께 갱신되는지 확인합니다.
  • robots.txt에는 관리자, 테스트 경로만 차단하고 전체 차단은 남기지 않습니다.
  • robots.txt 안의 Sitemap 줄이 실제 사이트맵 주소와 같은지 확인합니다.
  • 사이트맵에 404 응답이나 중복 주소가 없는지 월 1회 살펴봅니다.
  • 임시 페이지나 테스트 페이지는 공개 전에 차단하고, 사용 후에는 삭제합니다.
  • 파일을 수정하기 전에 현재 내용을 복사해 두어, 문제가 생기면 되돌릴 수 있게 합니다.
  • 제작사나 관리자가 바뀌면 두 파일의 위치와 수정 권한을 인수인계 목록에 적어 둡니다.
 
사이트맵과 로봇파일안내

06자주 묻는 질문

Q사이트맵은 꼭 있어야 하나요?
필수는 아닙니다. 페이지 수가 적고 서로 링크가 잘 연결되어 있다면 없어도 수집될 수 있습니다. 다만 페이지가 많거나 새 페이지를 자주 추가하는 사이트라면, 사이트맵이 있는 편이 반영이 훨씬 안정적입니다.
Qrobots.txt로 페이지를 검색에서 완전히 숨길 수 있나요?
수집을 막을 수는 있지만, 이미 검색 결과에 나온 내용을 즉시 지우는 기능은 아닙니다. 완전히 숨기고 싶다면 페이지 자체를 로그인으로 보호하거나, 검색 결과 제외 설정을 함께 적용해야 합니다.
Qrobots.txt 파일은 어디에 만들어야 하나요?
홈페이지의 최상위 주소에 있어야 합니다. 예를 들어 example.com이라면 example.com/robots.txt 주소로 열려야 합니다. 하위 폴더에 두면 로봇이 인식하지 못합니다.
Q사이트맵을 몇 개까지 만들 수 있나요?
페이지가 아주 많다면 여러 개의 사이트맵으로 나누고, 이를 묶은 사이트맵 목록을 제출하는 방식을 씁니다. 일반적인 병원이나 기업 홈페이지는 하나의 사이트맵으로 충분한 경우가 많습니다.
Q사이트맵에 모든 페이지를 넣으면 더 좋은가요?
그렇지 않습니다. 삭제된 페이지, 오류 페이지, 중복 페이지까지 넣으면 오히려 혼란이 생깁니다. 사용자에게 보여 줄 주요 페이지만 정확히 넣는 것이 좋습니다.
Qrobots.txt를 잘못 고치면 어떻게 되나요?
전체 차단 같은 잘못된 규칙이 들어가면 검색 로봇이 사이트를 수집하지 못할 수 있습니다. 그래서 수정 전 원본을 보관하고, 수정 후에는 주요 페이지가 정상 수집되는지 검색 등록 도구에서 확인해야 합니다.
Q사이트맵을 제출했는데 반영이 안 됩니다.
반영에는 시간이 걸릴 수 있고, 제출했다고 모든 페이지가 바로 노출되는 것은 아닙니다. 사이트맵 주소가 정상 응답하는지, 포함된 페이지에 오류가 없는지 먼저 확인하세요.
Q워드프레스를 쓰면 두 파일이 자동으로 생기나요?
사이트맵은 플러그인이나 설정으로 자동 생성되는 경우가 많습니다. robots.txt도 기본 파일이 있지만, 차단 규칙은 설정에 따라 달라지므로 직접 열어 확인하는 것이 안전합니다.
Q관리자 페이지는 어떻게 막나요?
robots.txt의 Disallow 규칙으로 수집 경로를 막는 것이 기본입니다. 다만 로그인 화면이 공개되어 있다면, 접근 제한과 보안 설정을 함께 적용하는 것이 더 안전합니다.
Q이 파일들을 직접 고쳐도 되나요?
내용을 이해하고 있다면 직접 수정할 수 있습니다. 다만 잘못된 전체 차단이나 주소 오류가 생기면 사이트 전체 노출에 영향을 줄 수 있으므로, 수정 전에 원본을 보관하고 확인 과정을 거치세요.
Q사이트맵과 robots.txt는 검색 순위를 올려주나요?
직접적인 순위 보장 장치는 아닙니다. 두 파일은 로봇이 페이지를 빠짐없이 찾고 불필요한 경로를 피하도록 돕는 기초 설정입니다. 순위는 페이지 내용과 꾸준한 운영이 함께 작용합니다.
Q이런 설정을 도도컴즈에 맡기면 뭐가 다른가요?
도도컴즈는 홈페이지 구조를 기준으로 사이트맵 범위와 차단 규칙을 함께 설계합니다. 오픈 전에는 설정 누락을 점검하고, 오픈 후에는 수집 오류를 정기적으로 확인합니다. 설정 하나가 사이트 전체에 미치는 영향을 고려해 필요한 부분만 정확하게 다룹니다.
홈페이지 검색 설정 | 함께 성장하는 마케팅, 도도컴즈
사이트맵과 robots.txt는 눈에 잘 띄지 않지만, 검색 로봇과 홈페이지가 만나는 첫 약속입니다. 두 파일을 한 번 열어 보는 것만으로도 큰 문제를 줄일 수 있습니다. 설정이 맞는지 확인이 필요하다면 편하게 문의해 주세요.
모든 상담 무료 · 1566-7344 (24시 010-9439-3648)
소개만 해도 매달 수당 — 도도파트너스 (가입비 0원 · 본인/가족 인정)
주식회사 도도컴즈 · 홈페이지 제작 정보
게시글 공유
출력
목록
next 다음글
내 홈페이지를 네이버에 검색되게 하는 첫 단계, 등록부터 시작하세요 — 홈페이지를 만들었는데 네이버에 안 보인다면 이 순서부터 확인하세요. 주식회사 도도컴즈

자주 묻는 질문

자주 묻는 질문 전체 보기 →