Noindex là gì?
Noindex là một giá trị có thể được sử dụng trong thẻ meta rô bốt trong mã HTML của trang web. Nó giải quyết các trình thu thập thông tin của các công cụ tìm kiếm như Google, Bing và Yahoo.
Nếu họ tìm thấy giá trị này trong các thẻ meta của một trang web, thì trang này sẽ không được đưa vào chỉ mục của công cụ tìm kiếm và do đó không được hiển thị cho người dùng trong danh sách kết quả tìm kiếm. Phần đối ứng của noindex là “index” cho phép lập chỉ mục một cách rõ ràng .
Với noindex, bạn có thể quyết định xem một trang web nhất định có nên được đưa vào chỉ mục của công cụ tìm kiếm hay không. Do đó, noindex là một phương tiện tuyệt vời để kiểm soát việc lập chỉ mục của từng trang con riêng lẻ mà không tốn nhiều công sức.
Do đó, chỉ thị là một công cụ quan trọng để tối ưu hóa công cụ tìm kiếm (SEO). Google luôn tuân thủ chỉ thị ngăn lập chỉ mục trong khi chỉ mục chỉ được xem như một đề xuất.
Chỉ thị được sử dụng để làm gì và khi nào nó (không) có ý nghĩa?
Với sự trợ giúp của noindex, bạn có thể loại trừ các trang khỏi chỉ mục của các công cụ tìm kiếm sẽ cung cấp cho người dùng ít hoặc không có giá trị gia tăng nếu chúng được hiển thị trong kết quả tìm kiếm.
Điều này bao gồm, ví dụ, sơ đồ trang web hoặc kết quả của một chức năng tìm kiếm nội bộ. Các trang con có dữ liệu nhạy cảm hoặc tải xuống được bảo vệ bằng mật khẩu và các khu vực thành viên cũng có thể bị loại trừ khỏi việc lập chỉ mục theo cách này.
Đối với các trang có nội dung trùng lặp, tương tự hoặc được phân trang, lập chỉ mục cũng không phải lúc nào cũng được khuyến khích liên quan đến SEO. Bằng cách loại trừ nội dung này, Google không đánh giá các trang đó là nội dung trùng lặp và do đó các trang con riêng lẻ không cạnh tranh với nhau về xếp hạng. Điều này có thể hữu ích, ví dụ, trong các danh mục cửa hàng trực tuyến.
Nếu các sản phẩm ở đó có thể được sắp xếp theo các tiêu chí khác nhau, thì có thể xảy ra sự chồng chéo. Ví dụ: nếu người dùng có thể sắp xếp số lượng mặt hàng theo kích thước khá thấp, các sản phẩm có sẵn với nhiều kích cỡ sẽ xuất hiện trong một số màn hình danh mục. Nếu các trang này được loại trừ khỏi việc lập chỉ mục, trang web không bị trùng lặp, điều này rất tốt cho SEO.
Tuy nhiên, trong bối cảnh này, hãy lưu ý rằng mức độ liên quan của các trang này, có thể là doliên kết ngược , v.v., cũng bị mất do lệnh noindex. Do đó, bạn nên luôn sử dụng thẻ chuẩn cho nội dung trùng lặp, vì thẻ này hợp nhất giá trị liên kết của các trang bị ảnh hưởng vào URL chuẩn và đồng thời báo hiệu cho Googlebot biết trang nào sẽ được đưa vào chỉ mục.
Một trường hợp sử dụng thường xuyên khác của noindex là phân trang thường được sử dụng cho các văn bản dài hoặc chuỗi hình ảnh. Ở đây, có thể hợp lý khi chỉ lập chỉ mục trang đầu tiên để người dùng không kết thúc ở giữa nội dung của loạt ảnh mà ở phần đầu. Tuy nhiên, việc sử dụng noindex trong bối cảnh này không phải lúc nào cũng có ý nghĩa.
Đặc biệt là các bài xã luận dài không chỉ chứa thông tin hữu ích ở trang đầu tiên. Do đó, loại trừ các trang sau có thể dẫn đến mất lưu lượng truy cập , có thể có ảnh hưởng tiêu cực đến SEO. Để tránh điều này, bạn nên sử dụng rel = “next” / “prev” để phân trang.
Cách triển khai noindex
Một khả năng để loại trừ một trang web nhất định khỏi lập chỉ mục là thêm noindex vào thẻ meta rô bốt trong siêu dữ liệu của trang đó. Thẻ meta này chứa các hướng dẫn cho trình thu thập thông tin của Google và các công cụ tìm kiếm khác. Để loại trừ một trang khỏi chỉ mục của công cụ tìm kiếm, bạn phải tích hợp thẻ sau vào phần đầu của mã HTML:
<meta name = “robots” content = “noindex”>
Thay vì từ chối tất cả các trình thu thập thông tin, bạn cũng có thể giải quyết một công cụ tìm kiếm cụ thể bằng thẻ meta này. Ví dụ: nếu bạn muốn ngăn Googlebot lập chỉ mục một trang con nhất định, hãy thay thế giá trị trong thuộc tính name bằng “googlebot”. Tên bot của Yahoo là “slurp”. Tuy nhiên, trong thực tế SEO, sẽ khó có ý nghĩa nếu chỉ loại trừ các bot riêng lẻ.
Ngoài ra, bạn có thể triển khai lệnh noindex thông qua một trường trong tiêu đề phản hồi HTTP. Đối với điều này, bạn phải thêm mã sau vào tiêu đề phản hồi HTTP của mình:
X-Robots-Tag: noindex
Kết hợp noindex với follow hoặc nofollow
Theo tùy chọn, bạn có thể kết hợp lệnh noindex với các giá trị “follow” hoặc “nofollow”. Những điều này cho các bot tìm kiếm biết cách xử lý các liên kết trên trang không được lập chỉ mục. Các bot tìm kiếm theo các liên kết trên trang tương ứng nếu chỉ thị làm theo đã được thiết lập.
Sự kết hợp của các chỉ thị này thường được sử dụng cho các sơ đồ trang web HTML. Lập chỉ mục một sơ đồ trang web HTML hiếm khi có ý nghĩa, nhưng theo quan điểm của SEO, sơ đồ trang đó có giá trị vì Google và các công cụ tìm kiếm khác có thể truy cập tất cả các trang con của một trang web chỉ trong vài bước.
Chỉ thị sau cũng có thể hữu ích cho SEO liên quan đến các trang danh mục được phân trang hoặc các trang kết quả của chức năng tìm kiếm nội bộ của các cửa hàng trực tuyến. Nhiều nhà điều hành trang web quyết định không lập chỉ mục các trang con như vậy vì nội dung thông tin thấp và các vấn đề nội dung trùng lặp tiềm ẩn.
Trong trường hợp này, giá trị “follow” rất hữu ích để đảm bảo rằng các công cụ tìm kiếm vẫn có thể tìm và lập chỉ mục các sản phẩm riêng lẻ được cung cấp trong các danh mục đó.
Tuy nhiên, trong bối cảnh này, hãy lưu ý rằng Google ngừng theo dõi các liên kết trên trang ngăn lập chỉ mục sau một khoảng thời gian nhất định . Do đó, cách tiếp cận này chỉ được khuyến khích một phần cho SEO lâu dài.
Ngược lại với việc tuân theo, chỉ thị nofollow đảm bảo rằng trình thu thập thông tin không đánh giá các liên kết trên một trang con.
Sự khác biệt với chỉ thị “disallow” trong tệp robots.txt
Sử dụng lệnh disallow trong tệp robots.txt , bạn có thể yêu cầu các bot tìm kiếm không thu thập dữ liệu các khu vực được xác định ở đó. Ví dụ, lệnh được sử dụng cho các tệp như hình ảnh trong cơ sở dữ liệu lớn, để tiết kiệm ngân sách thu thập dữ liệu SEO có giá trị.
Tuy nhiên, bạn không nên sử dụng chỉ thị này nếu bạn muốn một số nội dung nhất định không được lập chỉ mục. Trong khi lệnh cấm thu thập thông tin một trang cụ thể, trang này vẫn có thể xuất hiện trong chỉ mục nếu các liên kết ngược từ các trang web khác trỏ đến nó.
Vì lý do này, bạn không bao giờ nên kết hợp noindex và disallow trên cùng một trang. Vì trình thu thập thông tin luôn gọi lên tệp robots.txt đầu tiên khi lập chỉ mục một trang web, họ sẽ nhận thấy lệnh không cho phép trước tiên và do đó, không thu thập thông tin các trang con tương ứng.
Hệ quả của việc này là họ không thể thấy các chỉ thị ngăn lập chỉ mục có thể có trên các trang này và vẫn đưa các trang con vào chỉ mục nếu chúng được liên kết qua xây dựng liên kết ngược. Nếu bạn không muốn một trang nhất định được đưa vào chỉ mục của công cụ tìm kiếm, do đó bạn chỉ nên sử dụng noindex.