Tại sao một trang web không được index trên Google?

Thỉng thoảng bạn sẽ đọc được những bài viết của những SEO-er mới vào nghề với một thắc mắc như: "tại sao trang web này lại không được index trên Google?”.Nếu câu hỏi đó sảy ra với chính bạn, thì bạn đang mắc những sai lầm ngớ ngẩn trong sự nghiệp SEO của mình. Điều này cũng đã từng xảy ra với tôi và một vài đồng nghiệp của tôi, vì vậy tôi quyết định đăng bài viết này để bổ sung thêm kiến thức cho các bạn, hoặc sẽ tạo ra một nền tảng cơ bản với những ai...
Nội dung trích xuất từ tài liệu:
Tại sao một trang web không được index trên Google?Tại sao một trang webkhông được index trên Google?Thỉng thoảng bạn sẽ đọc được những bài viết của nhữngSEO-er mới vào nghề với một thắc mắc như: tại sao trangweb này lại không được index trên Google?”.Nếu câu hỏi đó sảy ra với chính bạn, thì bạn đang mắc nhữngsai lầm ngớ ngẩn trong sự nghiệp SEO của mình. Điều nàycũng đã từng xảy ra với tôi và một vài đồng nghiệp của tôi, vìvậy tôi quyết định đăng bài viết này để bổ sung thêm kiếnthức cho các bạn, hoặc sẽ tạo ra một nền tảng cơ bản vớinhững ai chưa biết về vấn đề này. Nếu một trang web khôngđược index trên bộ máy tìm kiếm trong năm 2013, thì nguyênnhân là một trong những điều sau:- Do chỉ thị 1 thuộc tính nào đó.- Do ảnh hưởng từ Google (do thuật toán hoặc các hìnhphạt)- Các vấn đề về cấu trúc trang web (do những orphaned pagechưa được xử lý một cách triệt để)Chú thích:Orphaned page (tạm hiểu là trang bị tách rời ra một website,mà không có liên kết với website ban đầu)Trong bài viết này, chúng ta sẽ đi sâu tìm hiểu các thuộc tínhmà có thể làm một trang không được index trên Google, hoặcnhững thuộc tính với mục đích ngay từ đầu chỉ thị là khôngcho một trang xuất hiện trên trang tìm kiếm. Trước hết, bạnphải cần biết làm thế nào để kiểm tra một trang web đượcindex hay không được index trên Google:- Copy URL cần kiếm tra- Paste vào ô tìm kiếm của Google- Nếu trang web đó được index, thì nó sẽ hiển thị ở ngay kếtquả đầu tiên của Google, truy cập vào kết quả đó để đảmbảo: đó chính là trang mà bạn vưa paste URL vào để tìmkiếm.- Nếu URL đó không xuất hiện, bạn phải cần kiểm tra mộtcách thủ công để xác định ra nguyên nhân vấn đề.Dưới đây, là một vài điều bạn cần kiểm tra:1.Meta robots NOINDEX trong - Cách dễ nhất để phát hiện: Nhìn vào code nguồn trong trìnhduyệt của bạn, trong phần - Dạng thuộc tính: - Mục đích của thuộc tính: Thông báo cho Google rằng: bạnkhông muốn Google index trang này trên bộ máy tìm kiếm.Ví dụ: http://www.mattcutts.com/blog/2013/02/- Thêm thông tin: http://www.robotstxt.org/meta.html2. Rel = canonical trong phần - Cách dễ nhất để phát hiện: Nhìn vào code nguồn của trìnhduyệt của bạn, trong phần - Dạng thuộc tính: trong phần headcủa HTML.- Mục đích của thuộc tính: Bạn muốn thông báo cho Google:Các giá trị (PageRank, Authority của liên kết) của trang nàycần được thông qua một trang khác. Đó không phải là mộtthuộc tính chỉ thị, nhưng Google tin tưởng vào gợi ý “rel =canonical” và không index trang này, trong khi lại indextrang mục tiêu canonical.- Thêm thông tin: https://support.google.com/webmaster...r/139394?hl=en3. NOINDEX trong robots.txt- Cách dễ nhất để phát hiện: Kiểm tra trong file Robots.txt- Dạng thuộc tính: Noindex: / folder / Đặc biệt lưu ý ở đây,tất cả những trang mà file robot.txt của nó được thiết lậpthuộc tính NOINDEX (tất cả các chữ đều viết hoa) sẽ khôngđược index trên trang kết quả. Tuy nhiên, nó sẽ de-index mộttrang nếu bạn chỉ viết hoa chữ N trong Noindex (thay vìNOINDEX)- Mục đích của thuộc tính: Tương tự như các thẻ noindexbình thường, nhưng đây là những thực hiện cho một filerobot.txt lạ.Thêm thôngtin: http://www.bigmouthmedia.com/live/ar...ffic.asp/6264/4. NOINDEX trong tiêu đề của HTTP (hoặc None trongtiêu đề của HTTP)- Cách dễ nhất để phát hiện: Kiểm tra tiêu đề HTTP vớiChrome hoặc kiểm tra với công cụ website này(http://www.rexswain.com/httpview.html)- Dạng thuộc tính:HeadersCF-RAY:66cdb31ea060165 Connection:keep-alive Content-Encoding:gzip Content-Type:text/html Date:Mon, 29 Apr2013 14:59:27 GMT Server:cloudflare-nginxTransfer-Encoding:chunked X-Robots-Tag:noindex- Mục tiêu của thuộc tính: Nó cũng giống như meta =robots content = noindex, nhưng khác là: nó được đặttrong các tiêu đề HTTP. Bạn có thể thấy một ví dụ thực tế ởđây (http://www.davidsottimano.com/http-noindex-example.php). Ian Macfarlane đã chỉ ra rằng None cũng cónghĩa là NOINDEX trong thuộc tính chỉ thị trong X-robot- Thêm thôngtin: https://developers.google.com/webmas...obots_meta_tag5. Rel canonical trong tiêu đề HTTP- Cách dễ nhất để phát hiện: Kiểm tra tiêu đề HTTP vớiChrome hoặc công cụ website sau(http://www.rexswain.com/httpview.html)- Dạng thuộc tính: Link: ;rel = canonical. bạn có thể xem một ví dụ ởđây:http://www.davidsottimano.com/http-c...al-example.php- Mục đích thuộc tính: Tương tự như các thẻ canonical bìnhthường (trong ).- Thêm thôngtin: https://support.google.com/webmaster...r/139394?hl=en6. Meta refresh với thời gian delay > 0 (ví dụ: 5)- Cách dễ nhất để phát hiện: truy cập trang web, và xem xétsự chuyển hướng hoặc xem xét code nguồn- Dạng thuộc tính: trong phần của HTML.- Mục đích thuộc tính: Sau một thời gian trì hoãn (delay),trang web của bạn sẽ được chuyển hướng. Google chỉ lập chỉcho trang (sau kh ...