รายงานสถิติการรวบรวมข้อมูล

รายงานสถิติการรวบรวมข้อมูลจะแสดงสถิติเกี่ยวกับประวัติการรวบรวมข้อมูลของ Google ในเว็บไซต์ของคุณ ตัวอย่างเช่น จำนวนคำขอที่ส่งเข้ามา เซิร์ฟเวอร์มีการตอบสนองอย่างไรและเมื่อใด รวมทั้งปัญหาเกี่ยวกับความพร้อมใช้งานที่พบ คุณใช้รายงานนี้ได้เพื่อดูว่า Google พบปัญหาการแสดงหน้าเว็บเมื่อรวบรวมข้อมูลเว็บไซต์หรือไม่

รายงานนี้มีไว้สำหรับผู้ใช้ขั้นสูง หากเว็บไซต์ของคุณมีหน้าเว็บไม่ถึง 1,000 หน้า คุณไม่น่าจะต้องใช้รายงานนี้หรือกังวลเกี่ยวกับรายละเอียดการรวบรวมข้อมูลในระดับนี้แต่อย่างใด

เปิดรายงานสถิติการรวบรวมข้อมูล

C<span/>rawl Budget and the Crawl Stats report - Google Search Console Training

คุณเข้าถึงรายงานสถิติการรวบรวมข้อมูลได้ใน Search Console โดยคลิก (การตั้งค่าพร็อพเพอร์ตี้) > สถิติการรวบรวมข้อมูล

เริ่มต้นใช้งาน

คุณควรทำความเข้าใจเกี่ยวกับข้อมูลต่อไปนี้ก่อนใช้รายงานนี้

• วิธีการทำงานของ Google Search
• หัวข้อผู้ใช้ขั้นสูง โดยเฉพาะอย่างยิ่งหัวข้อการรวบรวมข้อมูลและการจัดทำดัชนีและหัวข้อแผนผังเว็บไซต์
• หัวข้อต่างๆ เกี่ยวกับการจัดการสิทธิ์เข้าถึงเว็บไซต์ของคุณ ซึ่งรวมถึงการบล็อกด้วย robots.txt
• หากคุณมีเว็บไซต์ขนาดใหญ่ (มีหน้าเว็บหลายแสนหน้า) โปรดอ่านคำแนะนำเกี่ยวกับการจัดการและการแก้ปัญหางบประมาณในการรวบรวมข้อมูล

เกี่ยวกับข้อมูล

• URL ทั้งหมดที่แสดงและมีการนับเป็น URL จริงที่ Google ขอ ทั้งนี้ไม่มีการกำหนดข้อมูลให้แก่ Canonical URL เหมือนอย่างที่ทำในรายงานอื่นๆ บางส่วน
• หาก URL มีการเปลี่ยนเส้นทางฝั่งเซิร์ฟเวอร์ คำขอต่างๆ ในเชนการเปลี่ยนเส้นทางจะนับเป็นแต่ละคำขอแยกกัน ดังนั้น หากหน้า 1 เปลี่ยนเส้นทางไปยังหน้า 2 ซึ่งเปลี่ยนเส้นทางไปยังหน้า 3 หาก Google ขอหน้า 1 คุณจะเห็นคำขอสำหรับหน้า 1 (แสดง 301/302) หน้า 2 (แสดง 301/302) และหน้า 3 (ควรจะแสดง 200) แยกกัน โปรดทราบว่าจะมีการแสดงเฉพาะหน้าในโดเมนปัจจุบันเท่านั้น การตอบกลับด้วยการเปลี่ยนเส้นทางมีไว้สำหรับประเภทไฟล์ "ไฟล์ประเภทอื่น" แต่จะไม่นับรวมการเปลี่ยนเส้นทางฝั่งไคลเอ็นต์
• การรวบรวมข้อมูลที่มีการพิจารณาแต่ไม่ได้ดำเนินการเพราะมีการนับไฟล์ robots.txt ซึ่งไม่พร้อมใช้งานในผลรวมของการรวบรวมข้อมูล แต่รายงานอาจไม่มีรายละเอียดมากนักเกี่ยวกับการพยายามรวบรวมข้อมูลดังกล่าว ข้อมูลเพิ่มเติม
• ทรัพยากรและขอบเขต:
  • ข้อมูลทั้งหมดจะจำกัดเฉพาะที่อยู่ในโดเมนที่เลือกในปัจจุบันเท่านั้น จะไม่แสดงคำขอที่ส่งไปยังโดเมนอื่นๆ ซึ่งรวมถึงคำขอทรัพยากรในหน้า (เช่น รูปภาพ) ที่โฮสต์นอกพร็อพเพอร์ตี้นี้ ดังนั้น หากหน้า example.com/mypage มีรูปภาพ google.com/img.png คำขอ google.com/img.png จะไม่แสดงในรายงานสถิติการรวบรวมข้อมูลสำหรับพร็อพเพอร์ตี้ example.com
  • ในทํานองเดียวกัน คำขอที่ส่งไปยังโดเมนย่อยระดับเดียวกัน (เช่น en.example และ de.example) จะไม่แสดง ดังนั้น หากคุณกําลังดูรายงานสถิติการรวบรวมข้อมูลสำหรับ en.example ก็จะไม่เห็นคำขอรูปภาพใน de.example
  • อย่างไรก็ตาม คำขอที่ส่งระหว่างโดเมนย่อยต่างๆ จะดูได้จากโดเมนระดับบนสุด ตัวอย่างเช่น หากดูข้อมูลสำหรับ example.com คุณจะเห็นคำขอทั้งหมดที่ส่งไปที่ example.com, en.example, de.example.com และโดเมนย่อยอื่นๆ ที่อยู่ในระดับต่ำกว่า example.com
  • ในทางกลับกัน หากหน้าในโดเมนอื่นใช้ทรัพยากรของพร็อพเพอร์ตี้ของคุณ คุณอาจเห็นคำขอรวบรวมข้อมูลที่เชื่อมโยงกับหน้าโฮสต์นั้น แต่จะไม่เห็นบริบทที่บ่งบอกว่าระบบกำลังรวบรวมข้อมูลทรัพยากรนั้นเพราะมีการใช้งานจากหน้าในโดเมนอื่น (กล่าวคือ จะไม่เห็นว่ามีการรวบรวมข้อมูลรูปภาพ example.com/imageX.png เนื่องจากรูปภาพรวมอยู่ในหน้า anotherexample.com/mypage)
  • ข้อมูลที่รวบรวมจะมีทั้งกรณีที่ใช้โปรโตคอล HTTP และ HTTPS แม้ว่าจะเป็นการรวบรวมสำหรับพร็อพเพอร์ตี้ที่มีคำนำหน้าเป็น URL ก็ตาม ซึ่งหมายความว่ารายงานสถิติการรวบรวมข้อมูลสำหรับ http://example.com จะรวมคำขอที่ส่งไปยัง http://example.com และ https://example.com ด้วย อย่างไรก็ตาม URL ตัวอย่างสำหรับพร็อพเพอร์ตี้ที่มีคำนำหน้าเป็น URL จะจำกัดเฉพาะโปรโตคอลที่กําหนดไว้สำหรับพร็อพเพอร์ตี้ (HTTP หรือ HTTPS)

การไปยังส่วนต่างๆ ของรายงาน

คลิกรายการใดก็ได้ในตารางเพื่อดูมุมมองโดยละเอียดของรายการนั้นๆ ซึ่งรวมถึงรายการ URL ตัวอย่าง คลิก URL เพื่อดูรายละเอียดของคำขอรวบรวมข้อมูลที่เฉพาะเจาะจง ตัวอย่างเช่น ในตารางที่แสดงการตอบกลับที่จัดกลุ่มตามประเภท ให้คลิกแถว HTML เพื่อดูข้อมูลเกี่ยวกับการรวบรวมข้อมูลแบบสรุปรวมของหน้า HTML ทั้งหมดที่รวบรวมจากเว็บไซต์ รวมถึงรายละเอียดต่างๆ ของ URL ที่เลือกไว้เป็นตัวอย่าง เช่น เวลาในการรวบรวมข้อมูล โค้ดตอบกลับ ขนาดการตอบกลับ เป็นต้น

โฮสต์และโดเมนย่อย

หากพร็อพเพอร์ตี้ของคุณอยู่ในระดับโดเมน (example.com, http://example.com, https://m.example.com) และประกอบด้วยโดเมนย่อยตั้งแต่ 2 โดเมนขึ้นไป (เช่น fr.example.com และ de.example.com) คุณจะเห็นข้อมูลของโดเมนระดับบนสุด ซึ่งรวมโดเมนย่อยทั้งหมด หรือมีขอบเขตเป็นโดเมนย่อยโดเมนเดียวเท่านั้น

หากต้องการดูรายงานที่มีขอบเขตเป็นโดเมนย่อยที่เฉพาะเจาะจง ให้คลิกโดเมนย่อยนั้นในรายการโฮสต์ในหน้า Landing Page ของโดเมนระดับบนสุด ระบบจะแสดงเฉพาะโดเมนย่อย 20 อันดับแรกที่มีการเข้าชมสูงสุดในช่วง 90 วันที่ผ่านมาเท่านั้น

URL ตัวอย่าง

คุณคลิกรายการประเภทข้อมูลรายการใดก็ได้ที่จัดกลุ่มไว้ (การตอบกลับ ประเภทไฟล์ วัตถุประสงค์ ประเภท Googlebot) เพื่อดูรายการ URL ตัวอย่างของประเภทนั้นๆ

URL ตัวอย่างไม่ได้ครอบคลุมข้อมูลทั้งหมด แต่เป็นตัวอย่างที่เป็นตัวแทนข้อมูลเท่านั้น หากไม่เห็น URL ใดแสดงอยู่ ก็ไม่ได้หมายความว่าเราไม่ได้ขอ URL นั้น อาจมีการถ่วงน้ำหนักเพื่อหาจำนวนตัวอย่างในแต่ละวัน คุณจึงอาจพบว่าคำขอบางประเภทมีตัวอย่างมากกว่าประเภทอื่น คำขอทุกประเภทควรจะมีจำนวนตัวอย่างพอๆ กันเมื่อเวลาผ่านไป

คำขอรวบรวมข้อมูลทั้งหมด

จำนวนรวมของคำขอรวบรวมข้อมูลที่ส่งมาสำหรับ URL ในเว็บไซต์ ไม่ว่าจะสำเร็จหรือไม่ก็ตาม โดยนับรวมคำขอทรัพยากรที่หน้าเว็บใช้ในกรณีที่ทรัพยากรอยู่ในเว็บไซต์ของคุณ จะไม่นับรวมคำขอทรัพยากรที่โฮสต์ภายนอกเว็บไซต์ดังกล่าว คำขอที่ซ้ำสำหรับ URL เดียวกันจะมีการนับแต่ละรายการด้วย หากไฟล์ robots.txt ของคุณใช้งานได้ไม่เพียงพอ อาจเป็นเพราะมีการนับรวมการดึงข้อมูลที่อาจเกิดขึ้น

คําขอที่ไม่สําเร็จที่ถูกนับรวมมีดังต่อไปนี้

• การดึงข้อมูลที่ไม่เคยดำเนินการเพราะไฟล์ robots.txt ใช้งานได้ไม่เพียงพอ
• การดึงข้อมูลที่ไม่สําเร็จเนื่องจากปัญหาในการแปลง DNS
• การดึงข้อมูลที่ไม่สําเร็จเนื่องจากปัญหาในการเชื่อมต่อเซิร์ฟเวอร์
• การดึงข้อมูลที่ถูกละทิ้งเนื่องจากการวนรอบเมื่อเปลี่ยนเส้นทาง

ขนาดการดาวน์โหลดทั้งหมด

จำนวนไบต์ทั้งหมดที่ดาวน์โหลดจากเว็บไซต์ระหว่างการรวบรวมข้อมูลในระยะเวลาที่ระบุ หาก Google แคชทรัพยากรของหน้าเว็บที่มีหลายหน้าใช้อยู่ จะมีการขอทรัพยากรนั้นในครั้งแรกครั้งเดียว (เมื่อแคชทรัพยากรนั้น)

เวลาในการตอบกลับโดยเฉลี่ย

เวลาในการตอบกลับโดยเฉลี่ยสำหรับทรัพยากรทั้งหมดที่ดึงมาจากเว็บไซต์ในระยะเวลาที่ระบุ ทรัพยากรแต่ละรายการที่หน้าเว็บลิงก์อยู่จะนับเป็นการตอบกลับครั้งหนึ่งๆ แยกต่างหาก

สถานะโฮสต์

สถานะโฮสต์เป็นการอธิบายว่า Google พบปัญหาด้านความพร้อมใช้งานเมื่อพยายามรวบรวมข้อมูลเว็บไซต์หรือไม่ สถานะอาจมีค่าใดค่าหนึ่งต่อไปนี้

• 
  Google ไม่พบปัญหาสำคัญเกี่ยวกับความพร้อมใช้งานในการรวบรวมข้อมูลในเว็บไซต์ในช่วง 90 วันที่ผ่านมา เยี่ยมมาก คุณไม่ต้องทำสิ่งอื่นใดที่นี่
• 
  Google พบปัญหาสำคัญเกี่ยวกับความพร้อมใช้งานในการรวบรวมข้อมูลอย่างน้อย 1 รายการในช่วง 90 วันที่ผ่านมาในเว็บไซต์ แต่ปัญหานี้เกิดขึ้นมานานกว่า 1 สัปดาห์แล้ว ข้อผิดพลาดนี้อาจเป็นปัญหาที่เกิดขึ้นชั่วคราว หรือปัญหาอาจได้รับการแก้ไขไปแล้วก็ได้ คุณควรตรวจสอบตารางการตอบกลับเพื่อดูว่าปัญหาคืออะไรและตัดสินใจว่าจะต้องดําเนินการใดๆ หรือไม่
• 
  Google พบปัญหาสำคัญเกี่ยวกับความพร้อมใช้งานในการรวบรวมข้อมูลอย่างน้อย 1 รายการในสัปดาห์ที่ผ่านมาในเว็บไซต์ เนื่องจากข้อผิดพลาดนี้เพิ่งเกิดขึ้น คุณควรจะพยายามตรวจดูว่าปัญหานี้เป็นปัญหาที่เกิดขึ้นซ้ำหรือไม่ ให้ตรวจสอบตารางการตอบกลับเพื่อดูว่าปัญหาคืออะไรและตัดสินใจว่าต้องดำเนินการใดๆ หรือไม่

รายละเอียดสถานะโฮสต์

สถานะความพร้อมใช้งานของโฮสต์จะได้รับการประเมินในหมวดหมู่ต่อไปนี้ ข้อผิดพลาดสำคัญในหมวดหมู่ใดก็ตามอาจทำให้สถานะความพร้อมใช้งานด้อยลงได้ คลิกหมวดหมู่ในรายงานเพื่อดูรายละเอียดเพิ่มเติม

สำหรับแต่ละหมวดหมู่ คุณจะเห็นแผนภูมิของข้อมูลในการรวบรวมข้อมูลสำหรับระยะเวลานั้นๆ แผนภูมินี้มีเส้นประสีแดง หากเมตริกสูงกว่าเส้นประสำหรับหมวดหมู่นี้ (เช่น หากคำขอมีการแปลง DNS ที่ไม่สำเร็จเกิน 5% ในวันหนึ่งๆ) จะถือว่าเป็นปัญหาในหมวดหมู่นั้น และสถานะจะสะท้อนให้เห็นการอัปเดตล่าสุดของปัญหาล่าสุด

• การดึงข้อมูล robots.txt
  กราฟนี้แสดงอัตราความล้มเหลวในการขอ robots.txt ระหว่างการรวบรวมข้อมูล Google ขอไฟล์นี้อยู่บ่อยๆ และหากไม่ได้รับไฟล์ที่ถูกต้องกลับมา (อาจเป็นไฟล์ที่มีข้อมูลหรือว่างเปล่าก็ได้) หรือได้รับการตอบกลับ 404 (ไม่มีไฟล์อยู่) Google จะรวบรวมข้อมูลเว็บไซต์ช้าลงหรือหยุดรวบรวมจนกว่าจะได้รับการตอบกลับจาก robots.txt ที่ยอมรับได้ (ดูรายละเอียดที่ด้านล่าง)
• การแปลง DNS
  กราฟนี้แสดงเวลาที่เซิร์ฟเวอร์ DNS ไม่รู้จักชื่อโฮสต์ของคุณหรือไม่ตอบสนองระหว่างการรวบรวมข้อมูล หากคุณเห็นข้อผิดพลาด โปรดสอบถามผู้รับจดทะเบียนให้แน่ใจว่าเว็บไซต์มีการตั้งค่าอย่างถูกต้อง และเซิร์ฟเวอร์เชื่อมต่อกับอินเทอร์เน็ตอยู่
• การเชื่อมต่อของเซิร์ฟเวอร์
  กราฟนี้แสดงเวลาที่เซิร์ฟเวอร์ของคุณไม่ตอบสนองหรือไม่ให้การตอบกลับโดยสมบูรณ์สำหรับ URL หนึ่งๆ ระหว่างการรวบรวมข้อมูล ดูข้อมูลการแก้ไขข้อผิดพลาดเหล่านี้ในข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์

การตอบกลับในการรวบรวมข้อมูล

ตารางนี้แสดงการตอบกลับที่ Google ได้รับเมื่อรวบรวมข้อมูลเว็บไซต์ ซึ่งจัดกลุ่มตามประเภทการตอบกลับ โดยคิดเป็นเปอร์เซ็นต์ของการตอบกลับทั้งหมดในการรวบรวมข้อมูล ข้อมูลจะอิงตามจำนวนคำขอทั้งหมด ไม่ใช่ตาม URL ดังนั้นหาก Google ขอ URL ใดซ้ำ 2 ครั้งและได้รับข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์ (500) ในครั้งแรก และได้รับการตอบกลับ OK (200) ในครั้งที่ 2 จะถือว่าเป็นการตอบกลับที่มีข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์ 50% และไม่มีปัญหา 50%

โค้ดตอบกลับที่พบบ่อยรวมทั้งวิธีจัดการมีดังนี้

โค้ดตอบกลับที่ดี

หน้าเว็บเหล่านี้ใช้งานได้ดีและไม่ก่อให้เกิดปัญหาใดๆ

• OK (200): ในกรณีปกติ การตอบกลับส่วนใหญ่ควรเป็นการตอบกลับประเภท 200
• ย้ายถาวร (301): หน้าเว็บตอบกลับด้วย HTTP 301 หรือ 308 (ย้ายถาวร) ซึ่งอาจเป็นสิ่งที่คุณต้องการก็ได้
• ย้ายชั่วคราว (302): หน้าเว็บตอบกลับด้วย HTTP 302 หรือ 307 (ย้ายชั่วคราว) ซึ่งอาจเป็นสิ่งที่คุณต้องการก็ได้ หากมีการย้ายหน้านี้อย่างถาวร ให้เปลี่ยนเป็น 301
• ย้ายแล้ว (อื่นๆ): Meta Refresh
• ไม่มีการแก้ไข (304): หน้าเว็บไม่มีการเปลี่ยนแปลงนับตั้งแต่การขอทำการ Crawl ครั้งล่าสุด

โค้ดตอบกลับที่อาจจะดี

ถึงแม้การตอบกลับเหล่านี้จะเป็นการตอบกลับที่ดี แต่คุณควรตรวจสอบว่าเป็นสิ่งที่ต้องการจริงๆ

• ข้อผิดพลาดไม่พบ (404) อาจเกิดจากลิงก์เสียภายในเว็บไซต์หรือนอกเว็บไซต์ของคุณก็ได้ การแก้ไขข้อผิดพลาด 404 ทั้งหมดในเว็บไซต์ของคุณนั้นเป็นไปไม่ได้ ไม่คุ้มค่า หรือแม้กระทั่งไม่น่าทำ และการแสดง 404 กลับมานั้นมักเป็นเรื่องที่ถูกต้องอยู่แล้ว (เช่น หากหน้านั้นไม่มีอีกต่อไปแล้วจริงและไม่มีการนำหน้าอื่นมาใช้แทน) ดูว่าควรแก้ไขข้อผิดพลาด 404 หรือไม่ หรือแก้อย่างไร

โค้ดตอบกลับไม่ถูกต้อง

คุณควรแก้ไขหน้าที่แสดงข้อผิดพลาดเหล่านี้เพื่อปรับปรุงการรวบรวมข้อมูล

• robots.txt ไม่พร้อมใช้งาน: หากไฟล์ robots.txt ยังคงไม่พร้อมใช้งานเป็นเวลา 1 วัน Google จะหยุดรวบรวมข้อมูลชั่วคราวจนกว่าจะได้รับการตอบกลับที่ยอมรับได้เมื่อขอ robots.txt โปรดอย่าปิดบัง robots.txt จริงไม่ให้ Google เห็นหรือเปลี่ยนแปลงหน้า robots.txt ตาม User Agent
  การตอบกลับนี้ไม่เหมือนกับการแสดงข้อความ "ไม่พบ (404)" สําหรับไฟล์ robots.txt ซึ่งถือว่าเป็นการตอบกลับที่ดี ดูรายละเอียดเพิ่มเติมเกี่ยวกับ robots.txt
• ไม่ได้รับอนุญาต (401/407): คุณควรบล็อกหน้าเว็บเหล่านี้ไม่ให้มีการรวบรวมข้อมูลโดยใช้ robots.txt หรือตัดสินใจว่าควรจะเลิกบล็อกหรือไม่ หากหน้าเหล่านี้ไม่มีข้อมูลที่รักษาความปลอดภัยและคุณต้องการให้รวบรวมข้อมูลในหน้า คุณอาจพิจารณาย้ายข้อมูลไปยังหน้าเว็บที่ไม่มีการรักษาความปลอดภัย หรืออนุญาตให้ Googlebot เข้าถึงได้โดยไม่ต้องเข้าสู่ระบบ (แม้จะได้รับคำเตือนว่าอาจมีการปลอมแปลงเป็น Googlebot ก็ตาม ดังนั้นการอนุญาตให้ Googlebot เข้าถึงได้จะเป็นการนำการรักษาความปลอดภัยออกจากหน้าเว็บอย่างแท้จริง)
• ข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์ (5XX): ข้อผิดพลาดเหล่านี้จะทำให้ระบบแสดงคำเตือนเกี่ยวกับความพร้อมใช้งาน ควรแก้ไขข้อผิดพลาดดังกล่าวหากทำได้ แผนภูมิภาพขนาดย่อนี้แสดงเวลาโดยประมาณที่เกิดข้อผิดพลาดเหล่านี้ขึ้น คลิกเพื่อดูรายละเอียดเพิ่มเติมและเวลาที่แน่นอน ตรวจสอบให้ชัดเจนว่าปัญหาเหล่านี้เกิดขึ้นชั่วคราวหรือแสดงให้เห็นข้อผิดพลาดด้านความพร้อมใช้งานที่อยู่ลึกลงไปในเว็บไซต์ของคุณ หาก Google รวบรวมข้อมูลเว็บไซต์มากเกินไป คุณจะขอให้ใช้อัตราการรวบรวมข้อมูลที่ต่ำลงได้ หากเหตุการณ์นี้บ่งชี้ว่ามีปัญหาด้านความพร้อมใช้งานที่ร้ายแรง ให้อ่านเกี่ยวกับการรวบรวมข้อมูลที่เพิ่มสูงขึ้นมากอย่างฉับพลัน ดูข้อมูลการแก้ไขข้อผิดพลาดเหล่านี้ในข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์
• ข้อผิดพลาดอื่นๆ ของไคลเอ็นต์ (4XX): ข้อผิดพลาด 4XX (ฝั่งไคลเอ็นต์) แบบอื่นที่ไม่ได้ระบุไว้ที่นี่ ทางที่ดีคือแก้ไขปัญหาเหล่านี้เสีย
• DNS ไม่ตอบสนอง: เซิร์ฟเวอร์ DNS ของคุณไม่ตอบสนองต่อคำขอ URL ในเว็บไซต์
• ข้อผิดพลาด DNS: ข้อผิดพลาดเกี่ยวกับ DNS อีกแบบหนึ่งที่ไม่ได้ระบุไว้
• ข้อผิดพลาดในการดึงข้อมูล: ดึงข้อมูลจากหน้าเว็บไม่ได้เนื่องจากหมายเลขพอร์ตไม่ถูกต้อง ที่อยู่ IP ไม่ถูกต้อง หรือแยกวิเคราะห์การตอบกลับไม่ได้
• เข้าถึงหน้าเว็บไม่ได้: ข้อผิดพลาดอื่นในการดึงข้อมูลหน้าเว็บที่คำขอไม่เคยไปถึงเซิร์ฟเวอร์เลย เนื่องจากคำขอเหล่านี้ส่งไม่ถึงเซิร์ฟเวอร์ จึงไม่ปรากฏในบันทึกของคุณ
• หน้าเว็บหมดเวลา: การขอหน้าเว็บหมดเวลา
• ข้อผิดพลาดในการเปลี่ยนเส้นทาง: ข้อผิดพลาดในการขอเปลี่ยนเส้นทางแบบหนึ่ง เช่น การเปลี่ยนเส้นทางหลายครั้งเกินไป การเปลี่ยนเส้นทางที่ว่างเปล่า หรือการเปลี่ยนเส้นทางที่วนเป็นวงกลม
• ข้อผิดพลาดอื่นๆ: ข้อผิดพลาดอื่นที่จัดลงในหมวดหมู่ใดๆ ด้านบนไม่ได้

ประเภทไฟล์ที่มีการรวบรวมข้อมูล

ประเภทไฟล์ที่แสดงกลับมาแยกตามคำขอ ค่าเปอร์เซ็นต์สำหรับแต่ละประเภทคือเปอร์เซ็นต์การตอบกลับของประเภทนั้นๆ ไม่ใช่เปอร์เซ็นต์ของจำนวนไบต์ที่ดึงขึ้นมาของประเภทนั้นๆ

ค่าประเภทไฟล์ที่เป็นไปได้มีดังนี้

• HTML
• รูปภาพ
• วิดีโอ - หนึ่งในรูปแบบวิดีโอที่รองรับ
• JavaScript
• CSS
• PDF
• XML อื่นๆ - ไฟล์ XML ที่ไม่มี RSS, KML หรือรูปแบบอื่นที่สร้างจาก XML
• JSON
• การเผยแพร่ - ฟีด RSS หรือ Atom
• เสียง
• ข้อมูลทางภูมิศาสตร์ - KML หรือข้อมูลทางภูมิศาสตร์อื่นๆ
• ไฟล์ประเภทอื่น - ไม่มีการระบุไฟล์ประเภทอื่นที่นี่ การเปลี่ยนเส้นทางจะรวมอยู่ในการจัดกลุ่มนี้ด้วย
• ไม่รู้จัก (ไม่สำเร็จ) - หากคำขอไม่ประสบความสำเร็จ แสดงว่าระบบไม่รู้จักไฟล์ประเภทนั้น

วัตถุประสงค์ของการรวบรวมข้อมูล

• เพิ่งค้นพบ: Google ไม่เคยรวบรวมข้อมูลจาก URL ที่ขอนั้นมาก่อน
• รีเฟรช: การรวบรวมข้อมูลจากหน้าที่เคยรวบรวมแล้วอีกครั้ง

หากมีหน้าเว็บที่เปลี่ยนแปลงอย่างรวดเร็วและไม่มีการรวบรวมข้อมูลซ้ำบ่อยพอ ให้ตรวจสอบว่าหน้านั้นอยู่ในแผนผังเว็บไซต์แล้ว สำหรับหน้าเว็บที่มีการอัปเดตไม่เร็วเท่า คุณอาจต้องขอให้มีการรวบรวมข้อมูลซ้ำอย่างเฉพาะเจาะจง หากมีการเพิ่มเนื้อหาใหม่จำนวนมากหรือส่งแผนผังเว็บไซต์เมื่อเร็วๆ นี้ ตามหลักการแล้วคุณควรจะเห็นว่าการรวบรวมข้อมูลที่เพิ่งค้นพบในเว็บไซต์เพิ่มขึ้นมากอย่างฉับพลัน

ประเภท Googlebot

ประเภทของ User Agent ที่ใช้เพื่อสร้างคำขอรวบรวมข้อมูล Google มี User Agent จำนวนหนึ่งที่ทำการ Crawl ด้วยเหตุผลต่างอื่นและมีลักษณะการทำงานที่ต่างกัน

ค่าประเภท Googlebot ที่เป็นไปได้มีดังนี้

• สมาร์ทโฟน: Googlebot สำหรับสมาร์ทโฟน
• เดสก์ท็อป: Googlebot สำหรับเดสก์ท็อป
• รูปภาพ: Googlebot สำหรับรูปภาพ หากรูปภาพโหลดแบบทรัพยากรหน้าเว็บ การนับประเภท Googlebot จะนับเป็นการโหลดทรัพยากรหน้าเว็บ ไม่ใช่รูปภาพ
• วิดีโอ: Googlebot สำหรับวิดีโอ หากวิดีโอโหลดแบบทรัพยากรหน้าเว็บ การนับประเภท Googlebot จะนับเป็นการโหลดทรัพยากรของหน้าเว็บ ไม่ใช่วิดีโอ
• การโหลดทรัพยากรหน้าเว็บ: การดึงทรัพยากรที่หน้าเว็บใช้โดยเป็นการดึงสำรอง เมื่อรวบรวมข้อมูลหน้าเว็บนั้น Google จะดึงทรัพยากรที่ลิงก์ไว้ซึ่งมีความสำคัญ เช่น รูปภาพหรือไฟล์ CSS เพื่อแสดงผลหน้าเว็บก่อนที่จะพยายามจัดทำดัชนี นี่คือ User Agent ที่สร้างคำขอทรัพยากรเหล่านี้
• AdsBot: หนึ่งในโปรแกรมรวบรวมข้อมูล AdsBot หากคุณพบว่าคำขอเหล่านี้เพิ่มสูงขึ้นมากอย่างฉับพลัน ก็มีแนวโน้มว่าคุณเพิ่งสร้างเป้าหมายใหม่ขึ้นมาหลายรายการสำหรับโฆษณาบนเครือข่ายการค้นหาแบบไดนามิกในเว็บไซต์ โปรดดูทำไมอัตราการรวบรวมข้อมูลจึงพุ่งสูงขึ้น AdsBot รวบรวมข้อมูลจาก URL ทุก 2 สัปดาห์
• StoreBot: โปรแกรมรวบรวมข้อมูลเกี่ยวกับการเลือกซื้อผลิตภัณฑ์
• Agent ประเภทอื่นๆ: Crawler อื่นของ Google ที่ไม่ได้ระบุไว้ที่นี่

หากการ Crawl เพิ่มสูงขึ้นมากอย่างฉับพลัน ให้ตรวจสอบประเภท User Agent หากดูเหมือนว่าการเพิ่มสูงขึ้นอย่างฉับพลันนั้นเกิดจาก Crawler ของ AdsBot โปรดดูทำไมอัตราการ Crawl จึงพุ่งสูงขึ้น

การแก้ปัญหา

อัตราการรวบรวมข้อมูลสูงเกินไป

Googlebot มีอัลกอริทึมเพื่อป้องกันไม่ให้เว็บไซต์ทำงานหนักเกินไปในระหว่างการรวบรวมข้อมูล อย่างไรก็ตาม หากต้องจำกัดอัตราการรวบรวมข้อมูลไม่ว่าด้วยเหตุผลใด โปรดดูวิธีการที่นี่

ทำไมอัตราการรวบรวมข้อมูลจึงพุ่งสูงขึ้น

หากคุณใส่ข้อมูลใหม่จำนวนมากหรือมีข้อมูลที่มีประโยชน์จริงๆ ในเว็บไซต์ ก็อาจมีการรวบรวมข้อมูลในเว็บไซต์บ่อยกว่าที่คุณต้องการเล็กน้อย เช่น

• คุณเลิกบล็อกการรวบรวมข้อมูลในพื้นที่ขนาดใหญ่ของเว็บไซต์
• คุณเพิ่มส่วนใหม่ที่มีขนาดใหญ่ในเว็บไซต์
• คุณเพิ่มเป้าหมายใหม่จำนวนมากสำหรับโฆษณาบนเครือข่ายการค้นหาแบบไดนามิกโดยเพิ่มฟีดหน้าเว็บหรือกฎ URL_Equals ใหม่

อัตราการรวบรวมข้อมูลดูเหมือนจะต่ำเกินไป

คุณบอกให้ Google เพิ่มอัตราการ Crawl ไม่ได้ อย่างไรก็ตาม คุณสามารถดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีจัดการการ Crawl สำหรับเว็บไซต์ขนาดใหญ่มากหรือเว็บไซต์ที่อัปเดตบ่อย

สำหรับเว็บไซต์ขนาดเล็กหรือขนาดกลาง หากคุณพบว่า Google ไม่ได้รวบรวมข้อมูลทั้งหมดในเว็บไซต์ ให้ลองอัปเดตแผนผังเว็บไซต์ และตรวจสอบว่าคุณไม่ได้บล็อกหน้าเว็บใดๆ ไว้

ทำไมอัตราการรวบรวมข้อมูลจึงลดลง

ปกติแล้ว อัตราการรวบรวมข้อมูลของ Google ควรจะค่อนข้างคงที่ในช่วง 1 หรือ 2 สัปดาห์ หากคุณเห็นการลดลงทันทีทันใด โปรดดูสาเหตุบางประการที่อาจเป็นไปได้ต่อไปนี้

• หากคุณได้เพิ่มกฎใหม่ (หรือกฎที่กว้างมาก) ใน robots.txt ให้ตรวจสอบว่าคุณบล็อกเฉพาะทรัพยากรที่จำเป็นต้องบล็อกเท่านั้น และหาก Google ต้องการทรัพยากรใดโดยเฉพาะ เช่น CSS หรือ JavaScript เพื่อทำความเข้าใจเนื้อหา ให้ตรวจสอบว่าคุณไม่ได้บล็อกทรัพยากรเหล่านั้นจาก Googlebot
• หากเว็บไซต์ตอบสนองคำขอช้า Googlebot จะดันคำขอต่างๆ กลับไปเพื่อไม่ให้เซิร์ฟเวอร์ทำงานหนักเกินไป ให้ตรวจสอบรายงานสถิติการรวบรวมข้อมูลเพื่อดูว่าเว็บไซต์ของคุณตอบกลับช้ากว่าเดิมไหม
• หากอัตราข้อผิดพลาดของเซิร์ฟเวอร์เพิ่มสูงขึ้น Googlebot จะดันคำขอต่างๆ กลับไปเพื่อไม่ให้เซิร์ฟเวอร์ทำงานหนักเกินไป
• หากเว็บไซต์มีการเปลี่ยนแปลงข้อมูลน้อยครั้งลง หรือข้อมูลไม่ได้มีคุณภาพสูงมาก เราอาจไม่รวบรวมข้อมูลบ่อยเท่าเดิม โปรดตรวจดูเว็บไซต์ของคุณด้วยความซื่อตรง รับฟังความคิดเห็นอย่างเป็นกลางจากผู้คนที่ไม่เกี่ยวข้องกับเว็บไซต์ของคุณ และค้นหาจุดหรือวิธีการในการปรับปรุงเว็บไซต์โดยรวม

ผลรวมของการรวบรวมข้อมูลรายงานสูงกว่าผลรวมของบันทึกจากเซิร์ฟเวอร์ของเว็บไซต์มาก

หากผลรวมของการรวบรวมข้อมูลที่แสดงในรายงานนี้สูงกว่าคำขอรวบรวมข้อมูลของ Google ในบันทึกของเซิร์ฟเวอร์มาก อาจเป็นเพราะ Google รวบรวมข้อมูลเว็บไซต์ของคุณไม่ได้เนื่องจากไฟล์ robots.txt ไม่พร้อมใช้งานเป็นเวลานานเกินไป ในกรณีนี้ Google จะนับการรวบรวมข้อมูลที่อาจได้ดำเนินการหากมีไฟล์ robots.txt แต่ไม่ได้เรียกใช้จริงๆ ตรวจสอบสถานะการดึงข้อมูลไฟล์ robots.txt เพื่อยืนยันว่ากรณีนี้เป็นปัญหาหรือไม่