
Là đơn vị chuyên thiết kế website chuẩn SEO, mỗi dự án bàn giao tại TBAY đều đi kèm hướng dẫn rõ ràng: quản trị nội dung, hình ảnh/media, bảo trì và đặc biệt là cách khai báo index với Google. Đây là phần hỗ trợ mặc định để đảm bảo website sau khi xuất bản có lợi thế ngay từ nền tảng SEO.
Tuy nhiên, thực tế cho thấy nhiều khách hàng muốn tự tìm hiểu và tự làm SEO — nhất là trong thời đại AI bùng nổ, việc tiếp cận kiến thức trở nên dễ dàng hơn. Điều này không sai, nhưng vấn đề nằm ở chỗ: quy trình chưa chuẩn.
Chỉ cần một thao tác nhầm — chỉnh sai, thiếu bước, hoặc không hiểu rõ hệ thống — có thể dẫn đến những lỗi rất “đau” như:
- Mất file robots.txt
- Không tìm thấy robots.txt
- Sai cấu hình khiến Google không crawl đúng
Và hệ quả là: website tụt index, giảm hiệu quả SEO mà không rõ nguyên nhân.

Khách hàng nhờ Fix lỗi Robots.txt
TBAY đã xử lý rất nhiều trường hợp như vậy. Sau khi fix lỗi, chúng tôi luôn hướng dẫn lại để khách hàng hiểu đúng bản chất, tránh lặp lại sai sót.
Vì vậy, bài viết này được viết dưới góc nhìn của người trực tiếp xử lý sự cố thực tế. Nếu bạn đang gặp vấn đề liên quan đến robots.txt hoặc SEO kỹ thuật, đây sẽ là tài liệu giúp bạn gỡ rối một cách rõ ràng và đúng hướng.
Tải bộ tài liệu: Tai-lieu-Checklist kỹ thuật SEO WordPress.Zip cuối bài
1. Robots.txt là gì?
Robots.txt là một file dạng văn bản có thể tồn tại hoặc không tồn tại trong mã nguồn website đang SEO, trong WordPress có thể không tồn tại bởi vì ảnh hưởng của hook do_robots cho phép các lập trình viên can thiệp sinh nội dung theo ý mình.

File robots.txt nằm trong hosting
Cách biết Website mình đang có file robots bẳng cách mở trình duyệt truy cập vào link sau:
https://tenmiencuaban.com/robots.txt
Thay tenmiencuaban.com bằng website doanh nghiệp
Nếu truy cập mà nội dung ra dạng bên dưới thì yên tâm nhé:
# START YOAST BLOCK # --------------------------- User-agent: * Disallow: Sitemap: https://yourdomain.com/sitemap_index.xml # --------------------------- # END YOAST BLOCK
Vậy còn robots.txt ảo là gì?
Virtual robots.txt (robots.txt ảo) là nội dung robots.txt không tồn tại dưới dạng file thật trên server, mà được hệ thống (thường là WordPress) tạo động khi có truy cập vào:https://tenmiencuaban.com/robots.txt
2. Cách tìm và sửa file này trong Yoast SEO như thế nào?
1. Tìm nơi sửa file robots.txt

Chỗ sửa file robots.txt trong yoast seo wordpress

Sửa và lưu lại
2. Tại sao không tìm thấy chỗ sửa file Robots?
Có thể WordPress đang chặn chỉnh sửa file trong mã nguồn vì vậy hãy làm theo bước bên dưới:
Mở đường dẫn file public_html/wp-config.php

Đoạn code cho phép mở chỉnh sửa file wordpress
define('DISALLOW_FILE_EDIT', false);
define('DISALLOW_FILE_MODS', false);Sau khi lưu xong bạn quay lại màn hình 2.1 sau đó F5 tải lại trang và check lại một lần nữa
3. Hook do_robots trong WordPress nâng cao
Hook do_robots là gì?
do_robots là một action hook trong WordPress, được kích hoạt khi truy cập đường dẫn /robots.txt trong trường hợp website không tồn tại file robots.txt vật lý. Hook này cho phép developer can thiệp và tùy chỉnh nội dung robots.txt được trả về.
Khi không có file robots.txt thật trên server, WordPress sẽ sử dụng cơ chế virtual robots thông qua hook do_robots, và bất kỳ plugin hoặc đoạn code nào (ví dụ như Yoast SEO) đều có thể hook vào để thay đổi nội dung trước khi trả về cho trình thu thập dữ liệu.
Có thể hiểu qui trình như sau:
User truy cập /robots.txt
↓
WordPress kiểm tra file thật
↓
Không có file
↓
Trigger hook do_robots
↓
In nội dung robots mặc địnhBạn có thể custom nội dung bằng cách nào?
Copy và chèn đoạn code này vào functions.php theme WordPress
add_action('do_robots', function () {
header('Content-Type: text/plain; charset=utf-8');
if (strpos(home_url(), 'staging') !== false) {
echo "User-agent: *\nDisallow: /\n";
} else {
echo "User-agent: *\n";
echo "Disallow: /wp-admin/\n";
echo "Allow: /wp-admin/admin-ajax.php\n\n";
echo "Sitemap: " . home_url('/sitemap_index.xml') . "\n";
}
exit;
});Tìm hiểu thêm thông tin tài liệu từ trang chủ WordPress đây là nguồn chính dành cho các lập trình thiết kế web
Xem Link: https://developer.wordpress.org/reference/functions/do_robots/
4. Các lệnh Disallow “kinh điển” cho website?
1. Chặn khu vực hệ thống (bắt buộc)
Disallow: /wp-admin/
Mục đích:
- Chặn bot crawl khu vực quản trị
- Tránh lãng phí crawl budget
Luôn đi kèm:
Allow: /wp-admin/admin-ajax.php
2. Chặn trang tìm kiếm nội bộ (rác SEO)
Disallow: /?s= Disallow: /search/
Đây là lỗi rất nhiều website gặp:
- Google crawl hàng loạt URL search
- Tạo ra hàng nghìn trang “rỗng”
Hậu quả:
- Loãng SEO
- Tụt ranking
3. Chặn trang lọc / tham số (filter, sort)
Disallow: /*?filter= Disallow: /*?sort= Disallow: /*?orderby=
Áp dụng cho:
- eCommerce
- website có bộ lọc sản phẩm
Nếu không chặn:
- URL trùng nội dung cực nhiều
- Crawl budget bị phá nát
4. Chặn trang không có giá trị SEO
Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/
Những trang:
- không cần index
- không có giá trị tìm kiếm
Giữ bot tập trung vào:
- bài viết
- landing page
5. Chặn thư mục “rác kỹ thuật” (tùy trường hợp)
Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /wp-json/
Nhưng:
- Không phải site nào cũng nên chặn
- Ví dụ
/wp-json/:- nếu dùng API → KHÔNG nên chặn
6. Chặn toàn bộ site (dùng cho staging/dev)
Disallow: /
Cực nguy hiểm nếu dùng nhầm:
- Google sẽ ngừng crawl toàn bộ site
Chỉ dùng khi:
- web test
- staging
Những thứ KHÔNG nên chặn (rất quan trọng)
Trên WordPress:
Không chặn:
/wp-content/ /wp-includes/
Vì:
- Chứa CSS, JS
- Google cần để render trang
Bài viết trong kì tới tôi sẽ nói về Robots trong plugin Rank Math SEO
Chú ý quan trọng, sau khi đã chỉnh sửa cập nhật file xong, hãy truy cập vào Google Search Console để xác nhận thông báo với Google nhé.

Xác thực kết quả khắc phục
6. Bộ tài liệu chuẩn hóa SEO

Link tải tại đây: Tai-lieu-Checklist kỹ thuật SEO WordPress.zip
7. Dịch vụ xử lý lỗi không index Google – WEB366 (TBAY)
Bạn đã thử nhiều cách nhưng website vẫn:
- Bài viết không index
- Từ khóa không lên
- Google “im lặng” dù đã submit sitemap
Nếu bạn đang ở tình trạng này, rất có thể website đang gặp lỗi SEO kỹ thuật (robots, crawl, render, server…) mà không dễ nhận ra.
1. TBAY giúp bạn xử lý TRIỆT ĐỂ
Chúng tôi không làm theo cảm tính.
TBAY xử lý theo quy trình rõ ràng:
- Kiểm tra toàn bộ hệ thống crawl của Google
- Xác định chính xác nguyên nhân không index
- Fix lỗi robots.txt, sitemap, server, Cloudflare
- Tối ưu lại cấu trúc để Google index ổn định
Mục tiêu không chỉ là “index được”
mà là index đúng – bền – có giá trị SEO
2. Khi nào bạn nên liên hệ TBAY?
- Website đăng bài nhưng không lên Google
- Bị lỗi “Crawled – currently not indexed” kéo dài
- Đã có SEO nhưng không hiệu quả
- Không rõ website đang lỗi ở đâu
3. Liên hệ hỗ trợ nhanh
CÔNG TY TNHH DỊCH VỤ CÔNG NGHỆ TBAY
- Hotline: 0852.080383
- Email: hotro@tbay.vn
- Địa chỉ: 303/41 Tân Sơn Nhì, Quận Tân Phú, TP.HCM
TBAY hỗ trợ kiểm tra nhanh website của bạn và chỉ ra vấn đề thực tế.
4. Lưu ý quan trọng
Nếu Google chưa index website thì mọi nỗ lực SEO gần như bằng 0
Hãy xử lý đúng từ gốc, thay vì tiếp tục làm sai hướng.
TBAY – Đồng hành cùng doanh nghiệp trong SEO kỹ thuật & phát triển website bền vững
Câu hỏi thường gặp (FAQs)
Robots.txt là gì và nó hoạt động như thế nào trên website WordPress?
Robots.txt là một file dạng văn bản, có thể tồn tại hoặc không tồn tại dưới dạng file vật lý trên server. Trong WordPress, nếu không có file thật, nó sẽ được tạo động (robots.txt ảo) thông qua hook do_robots, cho phép các lập trình viên can thiệp và tùy chỉnh nội dung. Bạn có thể kiểm tra bằng cách truy cập https://tenmiencuaban.com/robots.txt.
Làm cách nào để tìm và chỉnh sửa file robots.txt trong Yoast SEO?
Để tìm và chỉnh sửa file robots.txt trong Yoast SEO, bạn cần truy cập vào giao diện quản trị WordPress và tìm đến mục chỉnh sửa file robots.txt. Nếu không tìm thấy tùy chọn này, có thể WordPress đang chặn việc chỉnh sửa file trong mã nguồn.
Phải làm gì khi không tìm thấy tùy chọn chỉnh sửa file robots.txt trong Yoast SEO?
Nếu không tìm thấy chỗ chỉnh sửa, bạn cần mở file wp-config.php (thường nằm trong public_html) và thêm hoặc sửa đoạn code sau: define('DISALLOW_FILE_EDIT', false); define('DISALLOW_FILE_MODS', false);. Sau khi lưu xong, bạn quay lại màn hình chỉnh sửa trong Yoast SEO và tải lại trang để kiểm tra.
Hook do_robots trong WordPress có vai trò gì và cách tùy chỉnh nội dung robots.txt thông qua nó?
Hook do_robots là một action hook trong WordPress, được kích hoạt khi truy cập đường dẫn /robots.txt mà không tồn tại file vật lý. Hook này cho phép developer can thiệp và tùy chỉnh nội dung robots.txt được trả về. Bạn có thể tùy chỉnh bằng cách chèn đoạn code mong muốn vào file functions.php của theme WordPress.
Những lệnh Disallow kinh điển nào nên dùng và không nên dùng trong robots.txt để chuẩn hóa SEO?
Các lệnh Disallow quan trọng nên dùng để chặn bot crawl các khu vực không cần thiết bao gồm: /wp-admin/ (đi kèm Allow: /wp-admin/admin-ajax.php), /?s= (trang tìm kiếm), /*?filter= (trang lọc/tham số), /cart/, /checkout/, /my-account/ và các thư mục rác kỹ thuật như /cgi-bin/. Tuyệt đối KHÔNG nên chặn /wp-content/ và /wp-includes/ vì chúng chứa các file CSS, JS mà Google cần để render trang.
Hệ thống Website của bạn đang gặp lỗi kỹ thuật hoặc chưa tối ưu chuyển đổi?
Đừng để mất khách hàng vào tay đối thủ. Hãy để đội ngũ kỹ thuật chuyên sâu của chúng tôi kiểm tra, tối ưu tốc độ và bảo mật toàn diện cho website của bạn.
Hỗ trợ kỹ thuật nhanh trong 30 phút