도메인연결시리즈_6편 : robots.txt란? 👉 홈페이지 검색 최적화 필수 파일 설정법👉

🤖 robots.txt 설정으로

내 홈페이지 검색 최적화하기

 

홈페이지 주소가

https://myhomepage.com 이라고 가정해봅시다.
검색엔진이 우리 사이트를 찾아오면

가장 먼저 확인하는 파일이 바로 robots.txt 입니다.

📌 robots.txt의 역할

검색 로봇(구글봇, 네이버봇 등)에게
"어떤 경로는 허용할지,

어떤 경로는 차단할지" 알려주는 규칙서입니다.

✅ 기본 예시

User-agent: *
Allow: /

Sitemap: https://myhomepage.com/sitemap.xml
  

위와 같이 설정하면 모든 검색엔진이

전체 사이트를 크롤링할 수 있고,
sitemap.xml 파일 위치도 같이 안내할 수 있습니다.

🚀 장점

• 검색엔진이 사이트를 더 빠르고 정확하게 이해
• 불필요한 리소스 차단 → 크롤링 효율 ↑
• SEO 점수 향상

👉 반드시 루트 경로에 업로드해야 하며,
https://myhomepage.com/robots.txt 로 접속이 되어야 합니다.

🌟 다음 글에서는 sitemap.xml 작성법과 검색엔진 등록 방법을 다뤄볼게요!

🗺️ sitemap.xml로

홈페이지 검색 노출 강화

 

홈페이지 주소가

https://myhomepage.com 이라고 가정해봅시다.
이제 검색엔진이 사이트 구조를

더 잘 이해할 수 있도록 sitemap.xml을 만들어야 합니다.

📌 sitemap.xml 예시

  
    https://myhomepage.com/
    2025-08-18
    weekly
    1.0
  

  

🚀 검색엔진 등록 절차

작성한 sitemap.xml은 반드시
https://myhomepage.com/sitemap.xml

주소로 접근 가능해야 합니다.

✅ Google Search Console

1. 구글 서치 콘솔 접속
2. 도메인 등록 → 소유권 인증
3. Sitemap 제출 → 색인 요청

✅ 네이버 서치 어드바이저

1. 네이버 서치 어드바이저 접속
2. 웹마스터 도구 → 사이트 등록
3. Sitemap 제출 → 크롤링 요청

🌟 robots.txt와 sitemap.xml은 검색엔진 최적화(SEO) 기본 세트입니다.
이 두 가지만 제대로 세팅해도 검색 노출 효과가 훨씬 좋아져요!