robots.txt
robots.txt는 검색로봇(검색엔진 크롤러)에게 크롤러가 사이트에서 액세스 할 수 있는 URL를 알려주는 역할을 하는 파일로서, 웹페이지의 수집을 허용하거나 제한하는 국제 권고안이다. 이 파일은 어디까지나 국제 권고안이기 때문에 google혹은 naver등의 저명한 검색엔진이 아니라면 규칙을 준수하지 않을 수 있기 때문에 만약 외부에 노출을 허용하고 싶지 않은 컨텐츠의 경우에는 다른 방법을 이용하여 차단을 해야 한다.
robots.txt의 설정법과 같은 부분은 Naver과 google에서 자세한 가이드 알려주어 이를 따라 규칙을 준수하여 작성하면 된다.
Sitemap
사이트맵은 사이트에 있는 정보들의 관계에 대한 정보를 제공하는 파일로 검색엔진들은 이 파일을 읽어 사이트를 효과적으로 크롤링이 가능하게 해주는 역할을 한다. 사이트맵의 경우에는 작성가이드라인도 존재하며 자동생성해주는 사이트가 많기 때문에 이를 활용하면 더 손쉽게 작성할 수 있다.
robots.txt작성 가이드:
https://searchadvisor.naver.com/guide/seo-basic-robots
robots.txt 설정하기
robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. robots.txt 파일은 항상 사이트의 루트 디렉터리에 위치해야 하며 로봇 배제 표준을 따
searchadvisor.naver.com
https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ko
robots.txt 파일 만들기 및 제출 | Google 검색 센터 | Google Developers
robots.txt 파일은 사이트의 루트에 위치합니다. robots.txt 파일을 만들고 예를 확인하며 robots.txt 규칙을 확인하는 방법을 알아보세요.
developers.google.com
사이트맵 소개:
https://developers.google.com/search/docs/advanced/sitemaps/overview?hl=ko
사이트맵 알아보기 | 검색 센터 | Google Developers
사이트맵은 사이트에 있는 페이지, 동영상 및 기타 파일과 그 관계에 관한 정보를 제공하는 파일입니다. Google과 같은 검색엔진은 이 파일을 읽고 사이트를 더 효율적으로 크롤링합니다. 사이트
developers.google.com
'웹' 카테고리의 다른 글
| HTTPS와 SSL인증서 & 대칭키, 공개키(비대칭키) (0) | 2021.12.28 |
|---|---|
| 세션과 토큰 기반 인가(Authorization), JWT란? (0) | 2021.12.20 |
