robots.txt 생성기 — 무료 및 비공개, 브라우저에서
사이트를 위한 유효한 robots.txt를 만드세요 — 즉시, 아무것도 업로드하지 않고.
이 도구는 브라우저 안에서 온전히 작동합니다. 파일은 절대 업로드되지 않으며 기기에 그대로 남습니다.
User-agent: * Disallow:
robots.txt 파일은 검색 엔진과 그 밖의 크롤러에게 사이트의 어느 부분을 방문해도 되는지 알려줍니다. 제대로 만드는 것이 중요합니다: 잘못된 규칙 하나가 사이트 전체를 Google에서 숨기거나, 색인에서 빼 두려던 페이지를 노출시킬 수 있습니다.
이 생성기는 입력하는 대로 파일을 만들므로, 각 규칙이 정확히 무슨 일을 하는지 볼 수 있습니다. 모든 처리는 브라우저에서 이루어지며 — 어떤 데이터도 어디로 전송되지 않습니다 — 마음에 들면 결과를 복사하거나 robots.txt로 다운로드할 수 있습니다.
robots.txt 생성기 사용 방법
- 규칙이 적용될 user-agent를 설정하세요(모든 크롤러에는 * 사용).
- Disallow할 경로를 추가하고, 필요하면 Allow할 경로도 추가하세요.
- 필요하면 crawl-delay와 sitemap URL을 추가하세요.
- 실시간 미리보기를 검토한 다음, 복사하거나 robots.txt로 다운로드하세요.
- 파일을 사이트 루트에 업로드하세요, 예: example.com/robots.txt.
자주 묻는 질문
업로드되거나 서버로 전송되는 것이 있나요?
아니요. robots.txt 텍스트는 입력하는 대로 전적으로 브라우저에서 만들어집니다. 입력하는 어떤 것도 업로드되거나 저장되거나 공유되지 않습니다.
robots.txt 파일을 어디에 두나요?
도메인 루트에 있어야 하며, https://yourdomain.com/robots.txt 에서 접근할 수 있어야 합니다. 크롤러는 하위 폴더에서는 찾지 않습니다.
"Disallow: /" 는 무슨 역할을 하나요?
슬래시 하나의 Disallow는 해당 user-agent에 대해 사이트 전체를 차단합니다. 모든 것이 크롤링되기를 원한다면 Disallow 경로를 비워 두거나 "Allow: /" 를 사용하세요.
robots.txt가 페이지를 Google에서 완전히 빼 주나요?
반드시 그렇지는 않습니다. 행동이 올바른 크롤러에게 어떤 경로를 가져오지 말라고 요청하지만, 차단된 URL도 다른 곳에서 링크되면 여전히 색인될 수 있습니다. 페이지를 검색 결과에서 확실히 빼려면 noindex 메타 태그나 HTTP 헤더를 사용하세요.
sitemap 줄을 추가해야 하나요?
선택 사항이지만 권장합니다. Sitemap 줄은 크롤러를 XML 사이트맵으로 안내해, 페이지를 더 빠르게 발견하도록 돕습니다.