Googlebot Atom
Googlebot เป็นโปรแกรม Robot ของ Google Search Engine
สำหรับรวบรวมข้อมูลจากเว็บไซต์ต่างๆ เพื่อนำไปสร้างเป็น index สำหรับ Search Engine ของ Google และ เว็บ อื่นที่ใช้บริการจากฐานข้อมูลของ Google
สำหรับ ข้อมูลที่คนทั่วไปมักจะมีคำถามเกี่ยว กับ googlebot หลักๆ ดังต่อไปนี้คือ
1. ถาม - googlebot เข้าไปรวมรวมข้อมูลจากเว็บไซต์แต่ล่ะที่นาน แค่ใหน สำหรับแต่ล่ะครั้ง ?
ตอบ - โดยปกติ แล้ว googlebot จะใช้เวลาเพียงเสี้ยววินาทีสำหรับการเก็บข้อมูลของเว็บแต่ล่ะ เว็บ แต่ก็อาจจะเป็น นานขึ่นสำหรับเว็บบางเว็บ ที่มีข้อมูลเป็นจำนวนมาก
หรือ บางเว็บที่ traffic ค่อนข้างจะมีปัญหา
2. ถาม - เราสามารถที่จะจำกัดขอบเขตการเข้ามาอ่าน ข้อมูลมูลในเว็บของเราจาก googlebot ได้หรือไม่ ?
ตอบ - การที่จะจำกัดขอบเขตการเข้ามาเพื่อรวบรวมข้อมูลจาก Googlebot ได้ในลักษณะการอณุญาติ หรือไม่ สำหรับไฟล์แต่ล่ะ ตัว หรือแต่ล่ะประเภท โดยการกำหนดไว้ที่ไฟล์ robots.txt
สามารถหาข้อมูลเพิ่มเติมสำหรับ ไฟล์ robots.txt ได้ที่ www.robotstxt.org ซึ่งจะมีมาตรฐานและข้อกำหนดที่แนะนำต่างๆทั้งหมด
3. ถาม - ในบางครั้ง googlebot เข้ามาที่เว็บไซต์ของเราเร็วเกินไปจะแก้ปัญหาอย่างไร
ตอบ - สำหรับ webmaster ที่คิดว่า googlebot เข้ามารวบรวมข้อมูลจากเว็บไซต์ของเราเร็วเกินไป (ซึ่งอาจจะมีผลทำให้รวมข้อมูลไม่หมด) สามารถแจ้งไปยัง google ได้ โดยระบุ URL และ รายละเอียดของเว็บไซต์ พร้อมทั้งข้อมูลจาก สถิติ (logs) ที่ได้รวบรวมไว้และอนุมานได้ว่าเร็วเกินไป ส่งไปยัง google ได้ซึ่งจะช่วยให้ google นำไปวิเคราะห์ และปรับปรุงต่อไป
4. ถาม - ทำไม googlebot ถึงต้องการ ไฟล์ robots.txt ทั้งที่ไฟล์ดังกล่าวไม่ได้มีอยู่ในเว็บของเรา
ตอบ - เพราะว่าไฟล์ robots.txt ถือเป็น เอกสารมาตรฐานที่สามารถบอกให้ googlebot ทราบได้ว่า ไฟล์อะไรบ้างที่อนุญาติ ให้เผยแพร่ หรือไม่อนุญาติ ฉะนั้น googlebot จึงให้ความสำคัญ
กับไฟล์ดังกล่าวเป็นอันดับแรก
สำหรับการป้องกันไม่ให้เกิดกรณี error "File Not Found" ที่ log ไฟล์ของ Web Server นั้น google แนะนำให้สร้าง ไฟล์ robots.txt เปล่าๆ ไว้ที่ web server
5. ถาม - ทำไม googlebot ถึงพยายามเข้ามาดาวน์โหลดข้อมูลจากไฟล์ที่ไม่มีอยู่ในเว็บของเราโดยที่ ไม่มีไฟล์นั้นอยู่จริงในเว็บของเรา
ตอบ - ข้อมูลที่ googlebot ใช้สำหรับท่องไปยังแต่ล่ะไฟล์ หรือ ลิงค์ในเว็บ ของ คุณนั้น มีอยู่ 3 ส่วนด้วยกัน คือ ข้อมูลจากไฟล์ robots.txt ,ลิงค์ภายในของเว็บ ของคุณเอง
และสุดท้ายคือลิงค์จากเว็บภายนอกไปยังเว็บของคุณ สำหรับปัญหาที่เกิดขึ่นส่วนมากแล้ว คือ บางครั้งเวลามีการลิงค์จากเว็บภายนอกมายังเว็บไซต์ของคุณนั้น อาจจะมีการพิมพ์ลิงค์ผิด หรือว่าลิงค์ที่เชื่อมเข้ามายังไฟล์นั้น หลังจากมีการปรุงปรุงเว็บไซต์ทำให้ไฟล์เกิด เปลี่ยนแปลงไป
6. ถาม - ทำไม googlebot ถึงมีการเก็บข้อมูลจากเว็บไซต์ของเราในส่วนที่เป็นความลับ
ตอบ - จริงๆ แล้วมันจะแทบจะเป็นไปไม่ได้ เลยสำหรับข้อมูลบางหน้าที่จะเป็นความลับไปตลอด เพราะว่าเมื่อได้ก็ตามที่มีการเรียกดูข้อมูลจากหน้านั้นๆ โดยคนอื่นๆ ซึ่งบางครั้งมีการเกี่ยว เนื่องกับ Web Server อื่นๆ ทันทีทีมีการเรียกดู ข้อมูลบาง อย่างอาจจะมีการ จัดเก็บไว้เพื่อเป็นสถิติ เช่น refer tags หรือ referer log
ซึ่งอาจจะเป็นช่องทางให้ googlebot หรือ robot ของ search engine ของเว็บอื่นๆ เข้ามาเก็บข้อมูลก็ได้
7. ถาม - ทำไม googlebot ถึงไม่ obeying my web robots.txt
ตอบ - เพื่อเป็นการ ใช้ bandwidth ของ ระบบอย่างประหยัดที่สุด googlebot จะเข้าไปที่เว็บใดเว็บนึง เพียงวันล่ะครั้ง อย่างมาก แต่บางครั้งก็มากกว่า 1 ครั้งตามตาราง
หรือ รูปแบบที่จัดสรรให้กับเว็บใดเว็บนึง โดยเฉพาะซึ่งอาจจะขึ้นอยู่กับปริมาณ หรือรูปแบบของเว็บเป็นหลัก
และอีกอย่าง googlebot ต้องใช้เวลาระยะนึงเพื่อที่จะตีความความข้อมูลจากไฟล์ robots.txt
ตัวอย่าง
User-Agent: *
Allow: /
Disallow: /cgi-bin
จากตัวอย่าง การเขียนไฟล์ เริ่มต้น ให้ user-agent ใดๆ สามารถอ่านข้อมูล ได้ทุกอย่าง แต่บรรทัดต่อมาก็สั่ง ให้ ยกเว้น directory cgi-bin เป็นต้น
จากคำสั่งดังกล่าว google ต้องใช้เวลาเพื่อที่จะประมวลผล ระยะนึง
8. ถาม - ทำไมมีข้อมูลในสถิติของเว็บไซต์ ว่าเป็นการเข้ามายังเว็บไซต์ โดย google.com แต่คนล่ะ server จริงๆ แล้วเป็น googlebot ทั้งหมดหรือเปล่า
ตอบ - คำตอบ คือใช่ สำหรับ googlebot ได้มีการออกแบบให้มีการทำงานได้ จากหลายๆ server เพื่อที่จะรองรับจำนวนเว็บไซต์ที่เพิ่มขึ่นเป็นจำนวนมาก และมีขนาดใหญ่มาขึ่นในปัจจุบัน
ในขณะเดียวกัน ก็ให้ความสำคัญกับจัดการเรื่อง bandwidth ที่จะเกิดขึ่นด้วยโดยต้องการให้มีการใช้ bandwidth ให้น้อยที่สุด googlebot จึงได้รับการออกแบบให้ทำการออกไปรวบ รวมข้อมูลจากเว็บที่อยู่ใกล้เว็บ server ที่ทำการเก็บ index ไว้ที่ใกล้ที่สุด
9. ถาม - สามารถบอกได้หรือเปล่า ว่า googlebot นั้นมาจาก IP อะไร เพื่อใช้ในการจำแนกหรือ ระบุข้อมูล ใน logs ไฟล์ต่างๆ
ตอบ - จริงๆ แล้ว googlebot จะมี IP ที่แน่นอน แต่ IP เหล่านี้จะเปลี่ยนแปลงไปเป็นช่วงๆ เวลา ฉะนั้น การอ้างจาก user-agent ที่ชื่อ googlebot จึงให้ความแม่นยำที่สุด
10. ถาม - ทำไมบางครั้ง googlebot ถึงได้เข้ามาเก็บข้อมูลในเว็บไซต์หน้าเดียวกันในหลายๆ เวลา
ตอบ - จริงๆ แล้ว googlebot จะทำการเก็บข้อมูลจากเว็บไซต์ในหน้าหนึงเป็น เวลาที่ได้ระบุไว้ แต่ไม่บ่อยนักที่จะเกิดเหตุการณ์อย่างคำถามอาจจะเป็นเพราะว่า มีการ
หยุดกะทันหันจาก Server แลอาจจะเริ่มที่เก่า อีกครั้ง
สำหรับรวบรวมข้อมูลจากเว็บไซต์ต่างๆ เพื่อนำไปสร้างเป็น index สำหรับ Search Engine ของ Google และ เว็บ อื่นที่ใช้บริการจากฐานข้อมูลของ Google
สำหรับ ข้อมูลที่คนทั่วไปมักจะมีคำถามเกี่ยว กับ googlebot หลักๆ ดังต่อไปนี้คือ
1. ถาม - googlebot เข้าไปรวมรวมข้อมูลจากเว็บไซต์แต่ล่ะที่นาน แค่ใหน สำหรับแต่ล่ะครั้ง ?
ตอบ - โดยปกติ แล้ว googlebot จะใช้เวลาเพียงเสี้ยววินาทีสำหรับการเก็บข้อมูลของเว็บแต่ล่ะ เว็บ แต่ก็อาจจะเป็น นานขึ่นสำหรับเว็บบางเว็บ ที่มีข้อมูลเป็นจำนวนมาก
หรือ บางเว็บที่ traffic ค่อนข้างจะมีปัญหา
2. ถาม - เราสามารถที่จะจำกัดขอบเขตการเข้ามาอ่าน ข้อมูลมูลในเว็บของเราจาก googlebot ได้หรือไม่ ?
ตอบ - การที่จะจำกัดขอบเขตการเข้ามาเพื่อรวบรวมข้อมูลจาก Googlebot ได้ในลักษณะการอณุญาติ หรือไม่ สำหรับไฟล์แต่ล่ะ ตัว หรือแต่ล่ะประเภท โดยการกำหนดไว้ที่ไฟล์ robots.txt
สามารถหาข้อมูลเพิ่มเติมสำหรับ ไฟล์ robots.txt ได้ที่ www.robotstxt.org ซึ่งจะมีมาตรฐานและข้อกำหนดที่แนะนำต่างๆทั้งหมด
3. ถาม - ในบางครั้ง googlebot เข้ามาที่เว็บไซต์ของเราเร็วเกินไปจะแก้ปัญหาอย่างไร
ตอบ - สำหรับ webmaster ที่คิดว่า googlebot เข้ามารวบรวมข้อมูลจากเว็บไซต์ของเราเร็วเกินไป (ซึ่งอาจจะมีผลทำให้รวมข้อมูลไม่หมด) สามารถแจ้งไปยัง google ได้ โดยระบุ URL และ รายละเอียดของเว็บไซต์ พร้อมทั้งข้อมูลจาก สถิติ (logs) ที่ได้รวบรวมไว้และอนุมานได้ว่าเร็วเกินไป ส่งไปยัง google ได้ซึ่งจะช่วยให้ google นำไปวิเคราะห์ และปรับปรุงต่อไป
4. ถาม - ทำไม googlebot ถึงต้องการ ไฟล์ robots.txt ทั้งที่ไฟล์ดังกล่าวไม่ได้มีอยู่ในเว็บของเรา
ตอบ - เพราะว่าไฟล์ robots.txt ถือเป็น เอกสารมาตรฐานที่สามารถบอกให้ googlebot ทราบได้ว่า ไฟล์อะไรบ้างที่อนุญาติ ให้เผยแพร่ หรือไม่อนุญาติ ฉะนั้น googlebot จึงให้ความสำคัญ
กับไฟล์ดังกล่าวเป็นอันดับแรก
สำหรับการป้องกันไม่ให้เกิดกรณี error "File Not Found" ที่ log ไฟล์ของ Web Server นั้น google แนะนำให้สร้าง ไฟล์ robots.txt เปล่าๆ ไว้ที่ web server
5. ถาม - ทำไม googlebot ถึงพยายามเข้ามาดาวน์โหลดข้อมูลจากไฟล์ที่ไม่มีอยู่ในเว็บของเราโดยที่ ไม่มีไฟล์นั้นอยู่จริงในเว็บของเรา
ตอบ - ข้อมูลที่ googlebot ใช้สำหรับท่องไปยังแต่ล่ะไฟล์ หรือ ลิงค์ในเว็บ ของ คุณนั้น มีอยู่ 3 ส่วนด้วยกัน คือ ข้อมูลจากไฟล์ robots.txt ,ลิงค์ภายในของเว็บ ของคุณเอง
และสุดท้ายคือลิงค์จากเว็บภายนอกไปยังเว็บของคุณ สำหรับปัญหาที่เกิดขึ่นส่วนมากแล้ว คือ บางครั้งเวลามีการลิงค์จากเว็บภายนอกมายังเว็บไซต์ของคุณนั้น อาจจะมีการพิมพ์ลิงค์ผิด หรือว่าลิงค์ที่เชื่อมเข้ามายังไฟล์นั้น หลังจากมีการปรุงปรุงเว็บไซต์ทำให้ไฟล์เกิด เปลี่ยนแปลงไป
6. ถาม - ทำไม googlebot ถึงมีการเก็บข้อมูลจากเว็บไซต์ของเราในส่วนที่เป็นความลับ
ตอบ - จริงๆ แล้วมันจะแทบจะเป็นไปไม่ได้ เลยสำหรับข้อมูลบางหน้าที่จะเป็นความลับไปตลอด เพราะว่าเมื่อได้ก็ตามที่มีการเรียกดูข้อมูลจากหน้านั้นๆ โดยคนอื่นๆ ซึ่งบางครั้งมีการเกี่ยว เนื่องกับ Web Server อื่นๆ ทันทีทีมีการเรียกดู ข้อมูลบาง อย่างอาจจะมีการ จัดเก็บไว้เพื่อเป็นสถิติ เช่น refer tags หรือ referer log
ซึ่งอาจจะเป็นช่องทางให้ googlebot หรือ robot ของ search engine ของเว็บอื่นๆ เข้ามาเก็บข้อมูลก็ได้
7. ถาม - ทำไม googlebot ถึงไม่ obeying my web robots.txt
ตอบ - เพื่อเป็นการ ใช้ bandwidth ของ ระบบอย่างประหยัดที่สุด googlebot จะเข้าไปที่เว็บใดเว็บนึง เพียงวันล่ะครั้ง อย่างมาก แต่บางครั้งก็มากกว่า 1 ครั้งตามตาราง
หรือ รูปแบบที่จัดสรรให้กับเว็บใดเว็บนึง โดยเฉพาะซึ่งอาจจะขึ้นอยู่กับปริมาณ หรือรูปแบบของเว็บเป็นหลัก
และอีกอย่าง googlebot ต้องใช้เวลาระยะนึงเพื่อที่จะตีความความข้อมูลจากไฟล์ robots.txt
ตัวอย่าง
User-Agent: *
Allow: /
Disallow: /cgi-bin
จากตัวอย่าง การเขียนไฟล์ เริ่มต้น ให้ user-agent ใดๆ สามารถอ่านข้อมูล ได้ทุกอย่าง แต่บรรทัดต่อมาก็สั่ง ให้ ยกเว้น directory cgi-bin เป็นต้น
จากคำสั่งดังกล่าว google ต้องใช้เวลาเพื่อที่จะประมวลผล ระยะนึง
8. ถาม - ทำไมมีข้อมูลในสถิติของเว็บไซต์ ว่าเป็นการเข้ามายังเว็บไซต์ โดย google.com แต่คนล่ะ server จริงๆ แล้วเป็น googlebot ทั้งหมดหรือเปล่า
ตอบ - คำตอบ คือใช่ สำหรับ googlebot ได้มีการออกแบบให้มีการทำงานได้ จากหลายๆ server เพื่อที่จะรองรับจำนวนเว็บไซต์ที่เพิ่มขึ่นเป็นจำนวนมาก และมีขนาดใหญ่มาขึ่นในปัจจุบัน
ในขณะเดียวกัน ก็ให้ความสำคัญกับจัดการเรื่อง bandwidth ที่จะเกิดขึ่นด้วยโดยต้องการให้มีการใช้ bandwidth ให้น้อยที่สุด googlebot จึงได้รับการออกแบบให้ทำการออกไปรวบ รวมข้อมูลจากเว็บที่อยู่ใกล้เว็บ server ที่ทำการเก็บ index ไว้ที่ใกล้ที่สุด
9. ถาม - สามารถบอกได้หรือเปล่า ว่า googlebot นั้นมาจาก IP อะไร เพื่อใช้ในการจำแนกหรือ ระบุข้อมูล ใน logs ไฟล์ต่างๆ
ตอบ - จริงๆ แล้ว googlebot จะมี IP ที่แน่นอน แต่ IP เหล่านี้จะเปลี่ยนแปลงไปเป็นช่วงๆ เวลา ฉะนั้น การอ้างจาก user-agent ที่ชื่อ googlebot จึงให้ความแม่นยำที่สุด
10. ถาม - ทำไมบางครั้ง googlebot ถึงได้เข้ามาเก็บข้อมูลในเว็บไซต์หน้าเดียวกันในหลายๆ เวลา
ตอบ - จริงๆ แล้ว googlebot จะทำการเก็บข้อมูลจากเว็บไซต์ในหน้าหนึงเป็น เวลาที่ได้ระบุไว้ แต่ไม่บ่อยนักที่จะเกิดเหตุการณ์อย่างคำถามอาจจะเป็นเพราะว่า มีการ
หยุดกะทันหันจาก Server แลอาจจะเริ่มที่เก่า อีกครั้ง
posted by winbyweb at 11:32 PM
5 Comments:
Download videos and read stories about incest: [url=http://www.adambagatto.com/picture_library/son-fucks-her-mother.html ]Mothers I'd Like To Fuck [/url], [url=http://www.adambagatto.com/video/video/big-mature-porn.html ]Dad Fucking Son Gay [/url], [url=http://www.adambagatto.com/images/gallery/3D/photos-of-moms-having-sex-with-their-own-daughters.html ]Mother Son Erotic Stories [/url], [url=http://www.andrewdabeka.ca/images/sister-on-brother-incest.html ]Hot Mom Fuck [/url], [url=http://www.andrewdabeka.ca/img/icons/mother-porn-movies.html ]Moms Anal Adventure [/url], [url=http://www.andrewdabeka.ca/picture_library/little-brothe-and-sister-porn.html ]Free Incest Videos [/url], [url=http://www.ashphotography.ca/images/daddy-step-daughter.html ]Teenage Fathers In School [/url], [url=http://www.ashphotography.ca/zenphoto/uploaded/seduce-sister.html ]Erotic Stories Family Kay Incest Suck [/url], [url=http://www.ashphotography.ca/jes-new/pages/insest-porn-clips.html ]Mother Son Masturbation [/url], [url=http://www.ashphotography.ca/justine/black-mature-porn-archives.html ]Father Incest [/url]
Download videos and read stories about incest: [url=http://dannycraig.com/tracks ]Mom Panties [/url], [url=http://degeneratemeonline.com/winoverwomen/map.html ]Family Incest Tree [/url], [url=http://degeneratemeonline.com/images ]Fathers Involved Children [/url], [url=http://degeneratemeonline.com/images/map.html ]Father & Daughter Sex Gallery [/url], [url=http://debbiebraden.ca/picture_library ]Banned Family Incest [/url], [url=http://dannycraig.com/img/glyph/map.html ]Father Daughter Sex Incest And Sex [/url], [url=http://creditvalleyexplorertourtrain.com ]Anal Mother [/url], [url=http://debbiebraden.ca//1124/map.html ]Dad Fucking Son [/url], [url=http://dannycraig.com/img/glyph ]Mother Fucker [/url], [url=http://debbiebraden.ca/img/glyph/map.html ]3D Incest Porn [/url]
[url=http://www.lkinney.com/images]incest video[/url] : [url=http://www.lkinney.com/images/map-1.html]incest[/url] : [url=http://www.lkinney.com/images/map-2.html]incest stories[/url] : [url=http://www.lkinney.com/images/map-3.html]mom and son porn[/url] : [url=http://www.lkinney.com/images/map-4.html]incest porn video[/url] : [url=http://www.lkinney.com/images/map-5.html]tube incest[/url]
[url=http://www.lkinney.com/images]dad and daughter incest pictures [/url] : [url=http:/www.triplestarmfg.com/Downloads]comics mother [/url] : [url=http://www.tekcelsolar.com/TEKCEL web images]licking my sister's [/url] : [url=http://www.strathconatriclub.ca/aussi_pics_files/_vti_cnf]daughter incest [/url] : [url=http://www.stgert.com/blog]father daughter incest porn [/url] : [url=http://www.sharonfox.ca/img]aunt nephew incest [/url]
[url=http://www.lkinney.com/images][url=http://www.richardreid.ca/picture_library]insest porn [/url] <> [url=http:/www.tekcelsolar.com/images]horny mom and morning son [/url] <> [url=http://www.stgert.com/images]sexy sisters [/url] <> [url=http://www.peinteck.com/img]horny mother son [/url] <> [url=http://www.sharonfox.ca/images]son fuck his mom [/url] <> [url=http://www.strathconatriclub.ca/photogallery/photo00023542]sex family [/url]
Post a Comment
Links to this post:
Create a Link
<< Home