Nếu Google không lập chỉ mục website của bạn, thì bạn khá là vô hình. Bạn sẽ không xuất hiện cho bất kỳ truy vấn tìm kiếm nào và bạn sẽ không nhận được bất kỳ lưu lượng truy cập không phải trả tiền nào
Thu thập thông tin và lập chỉ mục là gì?
Google phát hiện ra các trang web mới bằng cách thu thập dữ liệu web, sau đó họ thêm các trang đó vào chỉ mục của mình . Họ làm điều này bằng cách sử dụng một mạng nhện có tên là Googlebot .
Hãy xác định một vài thuật ngữ chính.
- Thu thập thông tin : Quá trình theo dõi các siêu liên kết trên web để khám phá nội dung mới.
- Lập chỉ mục : Quá trình lưu trữ mọi trang web trong một cơ sở dữ liệu rộng lớn.
- Mạng nhện : Một phần mềm được thiết kế để thực hiện quá trình thu thập thông tin trên quy mô lớn.
- Googlebot : mạng nhện của Google .
Khi bạn Google điều gì đó, bạn đang yêu cầu Google trả lại tất cả các trang có liên quan từ chỉ mục của họ. Bởi vì thường có hàng triệu trang phù hợp với hóa đơn, thuật toán xếp hạng Google sẽ cố gắng hết sức để sắp xếp các trang sao cho bạn nhìn thấy kết quả tốt nhất và phù hợp nhất trước tiên.
Điểm mấu chốt mà tôi đang đưa ra ở đây là lập chỉ mục và xếp hạng là hai thứ khác nhau .
Lập chỉ mục đang hiển thị cho cuộc đua; xếp hạng là chiến thắng.
Bạn không thể giành chiến thắng nếu không xuất hiện trong cuộc đua ngay từ đầu.
Cách kiểm tra xem bạn có được lập chỉ mục trong Google hay không
Truy cập Google, sau đó tìm kiếm site:yourwebsite.com
Con số này hiển thị gần đúng số lượng trang của bạn mà Google lập chỉ mục website của bạn.
Nếu bạn muốn kiểm tra trạng thái chỉ mục của một URL cụ thể , hãy sử dụng cùng một site:yourwebsite.com/web-page-slug toán tử .
Không có kết quả nào sẽ hiển thị nếu trang không được lập chỉ mục.
Bây giờ, cần lưu ý rằng nếu bạn là người dùng Google Search Console , bạn có thể sử dụng báo cáo Mức độ phù hợp để có cái nhìn sâu sắc chính xác hơn về trạng thái chỉ mục của trang web của bạn. Chỉ cần truy cập:
Google Search Console> Chỉ mục> Mức độ phù hợp
Nhìn vào số lượng trang hợp lệ (có và không có cảnh báo).
Nếu hai con số này có tổng số bất kỳ trừ 0, thì Google có ít nhất một số trang trên trang web của bạn được lập chỉ mục. Nếu không, thì bạn đang gặp vấn đề nghiêm trọng vì không có trang web nào của bạn được lập chỉ mục.
CHÚ THÍCH BÊN LỀ.Bạn không phải là người dùng Google Search Console? Đăng ký. Nó miễn phí. Tất cả những người điều hành một trang web và quan tâm đến việc nhận được lưu lượng truy cập từ Google nên sử dụng Google Search Console. Đó là điều quan trọng.
Bạn cũng có thể sử dụng Search Console để kiểm tra xem một trang cụ thể có được lập chỉ mục hay không. Để làm điều đó, dán URL vào các URL cụ kiểm tra .
Nếu trang đó được lập chỉ mục, nó sẽ thông báo ” URL có trên Google.”
Nếu trang không được lập chỉ mục, bạn sẽ thấy dòng chữ “ URL không có trên Google.”
Cách được Google lập chỉ mục
Bạn thấy rằng trang web hoặc trang web của mình không được lập chỉ mục trong Google? Thử cái này xem sao:
- Đi tới Google Search Console
- Điều hướng đến công cụ kiểm tra URL
- Dán URL bạn muốn Google lập chỉ mục vào thanh tìm kiếm.
- Chờ Google kiểm tra URL
- Nhấp vào nút “Yêu cầu lập chỉ mục”
Quá trình này là thực hành tốt khi bạn xuất bản một bài đăng hoặc trang mới. Bạn đang nói với Google một cách hiệu quả rằng bạn đã thêm một cái gì đó mới vào trang web của mình và họ nên xem xét nó.
Tuy nhiên, yêu cầu lập chỉ mục không có khả năng giải quyết các vấn đề cơ bản ngăn Google lập chỉ mục các trang cũ. Nếu đúng như vậy, hãy làm theo danh sách kiểm tra bên dưới để chẩn đoán và khắc phục sự cố.
Dưới đây là một số liên kết nhanh đến từng chiến thuật — trong trường hợp bạn đã thử một số:
- Xóa các khối thu thập thông tin trong tệp robots.txt của bạn
- Xóa thẻ ngăn lập chỉ mục giả mạo
- Đưa trang vào sơ đồ trang web của bạn
- Xóa các thẻ chuẩn giả mạo
- Kiểm tra để đảm bảo rằng trang không bị bỏ sót
- Sửa các liên kết nội bộ nofollow
- Thêm liên kết nội bộ “mạnh mẽ”
- Đảm bảo trang có giá trị và duy nhất
- Xóa các trang chất lượng thấp (để tối ưu hóa “ngân sách thu thập thông tin”)
- Xây dựng liên kết ngược chất lượng cao
1) Xóa các khối thu thập thông tin trong tệp robots.txt của bạn
Google không lập chỉ mục toàn bộ trang web của bạn? Đó có thể là do khối thu thập thông tin trong một thứ được gọi là tệp robots.txt .
Để kiểm tra vấn đề này, hãy truy cập yourdomain.com/robots.txt .
Tìm một trong hai đoạn mã sau:
1 User-agent: Googlebot
2 Disallow: /
1 User-agent: *
2 Disallow: /
Cả hai điều này đều cho Googlebot biết rằng chúng không được phép thu thập dữ liệu bất kỳ trang nào trên trang web của bạn. Để khắc phục sự cố, hãy xóa chúng. Đó là điều đó đơn giản.
Khối thu thập thông tin trong robots.txt cũng có thể là thủ phạm nếu Google không lập chỉ mục một trang web. Để kiểm tra xem có đúng như vậy không, hãy dán URL vào công cụ kiểm tra URL trong Google Search Console. Nhấp vào khối Mức độ phù hợp để hiển thị thêm chi tiết, sau đó tìm thông báo “Được phép thu thập thông tin? Không: bị chặn bởi robots.txt ”lỗi.
Điều này cho thấy rằng trang bị chặn trong robots.txt.
Nếu đúng như vậy, hãy kiểm tra lại tệp robots.txt của bạn xem có bất kỳ quy tắc “không cho phép” nào liên quan đến trang hoặc tiểu mục liên quan hay không.
Loại bỏ khi cần thiết.
2) Xóa thẻ ngăn lập chỉ mục giả mạo
Google sẽ không lập chỉ mục các trang nếu bạn yêu cầu họ không làm như vậy. Điều này rất hữu ích để giữ cho một số trang web ở chế độ riêng tư. Có hai cách để làm điều đó:
Phương pháp 1: thẻ meta
Các trang có một trong các thẻ meta này trong <head>phần của chúng sẽ không được Google lập chỉ mục:
1<meta name=“robots” content=“noindex”>
1<meta name=“googlebot” content=“noindex”>
Đây là thẻ meta rô bốt và nó cho các công cụ tìm kiếm biết liệu họ có thể hoặc không thể lập chỉ mục trang hay không.
CHÚ THÍCH BÊN LỀ.Phần quan trọng là giá trị “noindex”. Nếu bạn thấy điều đó, thì trang được đặt thành noindex.
Để tìm tất cả các trang có thẻ meta ngăn lập chỉ mục trên trang web của bạn, hãy chạy thu thập thông tin với Kiểm tra trang web của Ahrefs . Chuyển đến báo cáo Khả năng lập chỉ mục . Tìm cảnh báo “trang Noindex”.
Nhấp qua để xem tất cả các trang bị ảnh hưởng. Xóa thẻ meta ngăn lập chỉ mục khỏi bất kỳ trang nào mà nó không thuộc về.
Phương pháp 2: X ‑ Robots-Tag
Trình thu thập thông tin cũng tôn trọng tiêu đề phản hồi X ‑ Robots-Tag HTTP . Bạn có thể triển khai điều này bằng cách sử dụng ngôn ngữ kịch bản phía máy chủ như PHP hoặc trong tệp .htaccess của bạn hoặc bằng cách thay đổi cấu hình máy chủ của bạn.
Công cụ kiểm tra URL trong Search Console cho bạn biết liệu Google có bị chặn thu thập thông tin một trang vì tiêu đề này hay không. Chỉ cần nhập URL của bạn , sau đó tìm kiếm “Được phép lập chỉ mục? Không: ‘noindex’ được phát hiện trong tiêu đề http ‘X ‑ Robots-Tag’ ”
Nếu bạn muốn kiểm tra vấn đề này trên trang web của mình, hãy chạy thu thập thông tin trong công cụ Kiểm tra trang web của Ahrefs , sau đó sử dụng bộ lọc ” Thông tin rô-bốt trong tiêu đề HTTP ” trong Trình khám phá trang:
Yêu cầu nhà phát triển của bạn loại trừ các trang bạn muốn lập chỉ mục trả lại tiêu đề này.
3) Đưa trang vào sơ đồ trang web của bạn
Sơ đồ trang web cho Google biết trang nào trên trang web của bạn là quan trọng và trang nào không quan trọng. Nó cũng có thể cung cấp một số hướng dẫn về tần suất chúng nên được thu thập lại thông tin.
Google sẽ có thể tìm thấy các trang trên trang web của bạn bất kể chúng có trong sơ đồ trang web của bạn hay không, nhưng bạn vẫn nên đưa chúng vào. Rốt cuộc, không có lý do gì khiến cuộc sống của Google trở nên khó khăn.
Để kiểm tra xem một trang có trong sơ đồ trang web của bạn hay không, hãy sử dụng công cụ kiểm tra URL trong Search Console. Nếu bạn thấy lỗi ” URL không có trên Google” và “Sơ đồ trang web: Không có”, thì nó không có trong sơ đồ trang web của bạn hoặc đã được lập chỉ mục.
Không sử dụng Search Console? Truy cập URL sơ đồ trang web của bạn — thông thường, yourdomain.com/sitemap.xml —và tìm kiếm trang.
Hoặc, nếu bạn muốn tìm tất cả các trang có thể thu thập thông tin và lập chỉ mục không có trong sơ đồ trang web của mình, hãy chạy thu thập thông tin trong Kiểm tra trang web của Ahrefs . Đi tới Trình khám phá trang và áp dụng các bộ lọc sau:
Các trang này phải nằm trong sơ đồ trang web của bạn, vì vậy hãy thêm chúng vào. Sau khi hoàn tất, hãy cho Google biết rằng bạn đã cập nhật sơ đồ trang web của mình bằng cách ping URL này :
http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml
Thay thế phần cuối cùng đó bằng URL sơ đồ trang web của bạn . Sau đó, bạn sẽ thấy một cái gì đó như thế này:
Điều đó sẽ tăng tốc độ lập chỉ mục trang của Google.
4) Xóa các thẻ chuẩn giả mạo
Thẻ chuẩn cho Google biết đâu là phiên bản ưa thích của trang. Nó trông giống như thế này:
<link rel=”canonical” href=”/page.html/”>
Hầu hết các trang không có thẻ chuẩn hoặc được gọi là thẻ chuẩn tự tham chiếu. Điều đó cho Google biết rằng bản thân trang này là phiên bản được ưa thích và có lẽ là duy nhất. Nói cách khác, bạn muốn trang này được lập chỉ mục.
Nhưng nếu trang của bạn có thẻ chuẩn giả mạo, thì nó có thể cho Google biết về một phiên bản ưa thích của trang này không tồn tại. Trong trường hợp đó, trang của bạn sẽ không được lập chỉ mục.
Để kiểm tra trang chuẩn, hãy sử dụng công cụ kiểm tra URL của Google . Bạn sẽ thấy cảnh báo “Trang thay thế có thẻ chuẩn” nếu trang chuẩn trỏ đến một trang khác.
Nếu điều này không có ở đó và bạn muốn lập chỉ mục trang, hãy xóa thẻ chuẩn.
QUAN TRỌNG
Các thẻ hợp quy không phải lúc nào cũng xấu. Hầu hết các trang có các thẻ này đều có lý do. Nếu bạn thấy rằng trang của mình có bộ hợp quy, hãy kiểm tra trang chính tắc. Nếu đây thực sự là phiên bản ưa thích của trang và cũng không cần phải lập chỉ mục trang được đề cập, thì thẻ chuẩn sẽ ở lại.
Nếu bạn muốn một cách nhanh chóng để tìm các thẻ chuẩn giả mạo trên toàn bộ trang web của mình, hãy chạy thu thập thông tin trong công cụ Kiểm tra trang web của Ahrefs. Đi tới Trình khám phá trang. Sử dụng các cài đặt sau:
Điều này tìm kiếm các trang trong sơ đồ trang web của bạn có các thẻ chuẩn không tự tham chiếu. Bởi vì bạn gần như chắc chắn muốn lập chỉ mục các trang trong sơ đồ trang web của mình, bạn nên điều tra thêm nếu bộ lọc này trả lại bất kỳ kết quả nào.
Rất có khả năng những trang này có trang chuẩn giả mạo hoặc không nên nằm trong sơ đồ trang web của bạn ngay từ đầu.
5) Kiểm tra để đảm bảo rằng trang không bị bỏ sót
Các trang mồ côi là những trang không có liên kết nội bộ trỏ đến chúng.
Vì Google phát hiện ra nội dung mới bằng cách thu thập thông tin trên web, họ không thể khám phá các trang mồ côi trong quá trình đó. Khách truy cập trang web cũng sẽ không thể tìm thấy chúng.
Để kiểm tra các trang mồ côi, hãy thu thập thông tin trang web của bạn với Kiểm tra trang web của Ahrefs . Tiếp theo, kiểm tra báo cáo Liên kết để tìm lỗi “Trang mồ côi (không có liên kết nội bộ đến)”:
Điều này hiển thị tất cả các trang có thể lập chỉ mục và hiển thị trong sơ đồ trang web của bạn, nhưng không có liên kết nội bộ nào trỏ đến chúng.
QUAN TRỌNG
Quá trình này chỉ hoạt động khi có hai điều đúng:
Tất cả các trang bạn muốn lập chỉ mục đều có trong sơ đồ trang web của bạn
Bạn đã chọn hộp để sử dụng các trang trong sơ đồ trang web của mình làm điểm bắt đầu cho việc thu thập thông tin khi thiết lập dự án trong Kiểm tra trang web của Ahrefs.
Bạn không tự tin rằng tất cả các trang bạn muốn được lập chỉ mục đều có trong sơ đồ trang web của bạn? Thử cái này xem sao:
- Tải xuống danh sách đầy đủ các trang trên trang web của bạn (thông qua CMS của bạn )
- Thu thập thông tin trang web của bạn (sử dụng một công cụ như Kiểm tra trang web của Ahrefs)
- Tham chiếu chéo hai danh sách URL
Bất kỳ URL nào không được tìm thấy trong quá trình thu thập thông tin đều là các trang mồ côi.
Bạn có thể sửa các trang mồ côi theo một trong hai cách:
- Nếu trang không quan trọng , hãy xóa nó và xóa khỏi sơ đồ trang web của bạn.
- Nếu trang quan trọng , hãy kết hợp nó vào cấu trúc liên kết nội bộ của trang web của bạn.
6) Sửa các liên kết nội bộ nofollow
Các liên kết nofollow là các liên kết có thẻ rel = “nofollow”. Chúng ngăn chặn việc chuyển PageRank đến URL đích . Google cũng không thu thập thông tin liên kết nofollow.
Đây là những gì Google nói về vấn đề này:
Về cơ bản, việc sử dụng nofollow khiến chúng ta loại bỏ các liên kết mục tiêu khỏi biểu đồ tổng thể của web. Tuy nhiên, các trang mục tiêu vẫn có thể xuất hiện trong chỉ mục của chúng tôi nếu các trang web khác liên kết đến chúng mà không sử dụng nofollow hoặc nếu các URL được gửi đến Google trong Sơ đồ trang web.
Tóm lại, bạn nên đảm bảo rằng tất cả các liên kết nội bộ đến các trang có thể lập chỉ mục đều được tuân theo.
Để thực hiện việc này, hãy sử dụng công cụ Kiểm tra trang web của Ahrefs để thu thập dữ liệu trang web của bạn. Kiểm tra báo cáo Liên kết để biết các trang có thể lập chỉ mục có lỗi “Trang chỉ có các liên kết nội bộ đến nofollow”:
Xóa thẻ nofollow khỏi các liên kết nội bộ này, giả sử rằng bạn muốn Google lập chỉ mục trang. Nếu không, hãy xóa trang hoặc ngăn lập chỉ mục nó.
7) Thêm liên kết nội bộ “mạnh mẽ”
Google phát hiện ra nội dung mới bằng cách thu thập dữ liệu trang web của bạn. Nếu bạn sơ ý liên kết nội bộ đến trang được đề cập thì họ có thể không tìm thấy trang đó.
Một giải pháp dễ dàng cho vấn đề này là thêm một số liên kết nội bộ vào trang. Bạn có thể làm điều đó từ bất kỳ trang web nào khác mà Google có thể thu thập thông tin và lập chỉ mục. Tuy nhiên, nếu bạn muốn Google lập chỉ mục trang nhanh nhất có thể, bạn nên làm như vậy từ một trong những trang “mạnh mẽ” hơn của bạn.
Tại sao? Bởi vì Google có khả năng thu thập lại thông tin các trang như vậy nhanh hơn các trang ít quan trọng hơn.
Để thực hiện việc này, hãy chuyển đến Trình khám phá trang web của Ahrefs , nhập tên miền của bạn, sau đó truy cập báo cáo Liên kết tốt nhất .
Điều này hiển thị tất cả các trang trên trang web của bạn được sắp xếp theo Xếp hạng URL ( UR ). Nói cách khác, nó hiển thị các trang có thẩm quyền nhất trước tiên.
Đọc lướt danh sách này và tìm các trang có liên quan để thêm liên kết nội bộ vào trang được đề cập.
Ví dụ: nếu chúng tôi đang tìm cách thêm liên kết nội bộ vào hướng dẫn đăng bài của khách , thì hướng dẫn xây dựng liên kết của chúng tôi có thể sẽ cung cấp một địa điểm phù hợp để làm như vậy. Và trang đó trở thành trang có thẩm quyền cao thứ 11 trên blog của chúng tôi:
Sau đó, Google sẽ nhìn thấy và theo liên kết đó vào lần tới khi họ thu thập lại thông tin trang.
MẸO CHUYÊN NGHIỆP
Dán trang mà từ đó bạn đã thêm liên kết nội bộ vào công cụ kiểm tra URL của Google . Nhấn vào nút “Yêu cầu lập chỉ mục” để cho Google biết rằng có điều gì đó trên trang đã thay đổi và họ sẽ thu thập lại thông tin càng sớm càng tốt. Điều này có thể đẩy nhanh quá trình họ phát hiện ra liên kết nội bộ và do đó, trang bạn muốn lập chỉ mục.
8) Đảm bảo trang có giá trị và duy nhất
Google không có khả năng lập chỉ mục các trang chất lượng thấp vì chúng không có giá trị gì đối với người dùng. Đây là những gì John Mueller của Google nói về lập chỉ mục vào năm 2018:
Anh ấy ngụ ý rằng nếu bạn muốn Google lập chỉ mục trang web hoặc trang web của mình, trang web đó cần phải “tuyệt vời và đầy cảm hứng”.
Nếu bạn đã loại trừ các vấn đề kỹ thuật do thiếu lập chỉ mục, thì việc thiếu giá trị có thể là thủ phạm. Vì lý do đó, bạn nên xem lại trang với đôi mắt mới mẻ và tự hỏi bản thân: Trang này có thực sự có giá trị không? Người dùng có tìm thấy giá trị trong trang này nếu họ nhấp vào nó từ kết quả tìm kiếm không?
Nếu câu trả lời là không cho một trong hai câu hỏi đó, thì bạn cần phải cải thiện nội dung của mình.
Bạn có thể tìm thấy có khả năng nhiều trang chất lượng thấp mà không được lập chỉ mục sử dụng công cụ Site Audit Ahrefs’ và URL Profiler . Để làm điều đó, hãy chuyển đến Trình khám phá Trang trong Kiểm tra Trang web của Ahrefs và sử dụng các cài đặt sau:
Điều này sẽ trả lại các trang “mỏng” có thể lập chỉ mục và hiện không nhận được lưu lượng truy cập không phải trả tiền. Nói cách khác, có rất nhiều khả năng chúng không được lập chỉ mục.
Xuất báo cáo, sau đó dán tất cả các URL vào URL Profiler và chạy kiểm tra Lập chỉ mục của Google.
QUAN TRỌNG
Bạn nên sử dụng proxy nếu bạn đang thực hiện việc này cho nhiều trang (tức là hơn 100 trang). Nếu không, bạn có nguy cơ IP của mình bị Google cấm. Nếu bạn không thể làm điều đó, thì một giải pháp thay thế khác là tìm kiếm trên Google để tìm “công cụ kiểm tra lập chỉ mục hàng loạt miễn phí của Google”. Có một vài trong số những công cụ này xung quanh, nhưng hầu hết chúng được giới hạn ở <25 trang cùng một lúc.
Kiểm tra bất kỳ trang nào không được lập chỉ mục để tìm các vấn đề về chất lượng. Cải thiện nếu cần thiết, sau đó yêu cầu lập chỉ mục lại trong Google Search Console.
Bạn cũng nên cố gắng khắc phục sự cố với nội dung trùng lặp. Google không có khả năng lập chỉ mục các trang trùng lặp hoặc gần trùng lặp. Sử dụng báo cáo Nội dung trùng lặp trong Kiểm tra trang web để kiểm tra các vấn đề này.
9) Xóa các trang chất lượng thấp (để tối ưu hóa “ngân sách thu thập thông tin”)
Có quá nhiều trang chất lượng thấp trên trang web của bạn chỉ làm lãng phí ngân sách thu thập thông tin .
Đây là những gì Google nói về vấn đề này:
Việc lãng phí tài nguyên máy chủ trên [các trang có giá trị gia tăng thấp] sẽ làm tiêu hao hoạt động thu thập thông tin từ các trang thực sự có giá trị, điều này có thể gây ra sự chậm trễ đáng kể trong việc khám phá nội dung tuyệt vời trên một trang web.
Hãy coi nó giống như một bài luận chấm điểm của giáo viên, một trong số đó là của bạn. Nếu họ có mười bài luận để chấm điểm, họ sẽ nhận được bài của bạn khá nhanh. Nếu họ có một trăm, họ sẽ mất nhiều thời gian hơn một chút. Nếu họ có hàng nghìn, thì khối lượng công việc của họ quá cao và họ có thể không bao giờ chấm điểm được bài luận của bạn.
Google tuyên bố rằng “ngân sách thu thập thông tin […] không phải là điều mà hầu hết các nhà xuất bản phải lo lắng” và “nếu một trang web có ít hơn vài nghìn URL, thì hầu hết thời gian trang web đó sẽ được thu thập thông tin một cách hiệu quả.”
Tuy nhiên, xóa các trang chất lượng thấp khỏi trang web của bạn không bao giờ là một điều xấu. Nó chỉ có thể có tác động tích cực đến ngân sách thu thập thông tin.
Bạn có thể sử dụng mẫu kiểm tra nội dung của chúng tôi để tìm các trang có chất lượng thấp và không liên quan có thể bị xóa.
10) Xây dựng các liên kết ngược chất lượng cao
Các liên kết ngược cho Google biết rằng một trang web là quan trọng. Rốt cuộc, nếu ai đó đang liên kết với nó, thì nó phải có một số giá trị. Đây là những trang mà Google muốn lập chỉ mục.
Để hoàn toàn minh bạch, Google không chỉ lập chỉ mục các trang web có liên kết ngược. Có rất nhiều (hàng tỷ) trang được lập chỉ mục không có liên kết ngược. Tuy nhiên, vì Google coi các trang có liên kết chất lượng cao quan trọng hơn, nên chúng có khả năng thu thập thông tin — và thu thập lại thông tin — những trang như vậy nhanh hơn những trang không có. Điều đó dẫn đến việc lập chỉ mục nhanh hơn.