Vì sao không sửa được robots.txt trong Yoast SEO? Nguyên nhân & cách xử lý dứt điểm

Đã kiểm duyệt nội dung

4.4 trên 5
Dựa trên 167 đánh giá
Vì sao không sửa được robots.txt trong Yoast SEO? Nguyên nhân & cách xử lý dứt điểm

Là đơn vị chuyên thiết kế website chuẩn SEO, mỗi dự án bàn giao tại TBAY đều đi kèm hướng dẫn rõ ràng: quản trị nội dung, hình ảnh/media, bảo trì và đặc biệt là cách khai báo index với Google. Đây là phần hỗ trợ mặc định để đảm bảo website sau khi xuất bản có lợi thế ngay từ nền tảng SEO.

Tuy nhiên, thực tế cho thấy nhiều khách hàng muốn tự tìm hiểu và tự làm SEO — nhất là trong thời đại AI bùng nổ, việc tiếp cận kiến thức trở nên dễ dàng hơn. Điều này không sai, nhưng vấn đề nằm ở chỗ: quy trình chưa chuẩn.

Chỉ cần một thao tác nhầm — chỉnh sai, thiếu bước, hoặc không hiểu rõ hệ thống — có thể dẫn đến những lỗi rất “đau” như:

Và hệ quả là: website tụt index, giảm hiệu quả SEO mà không rõ nguyên nhân.

úp robots.txt

Khách hàng nhờ Fix lỗi Robots.txt

TBAY đã xử lý rất nhiều trường hợp như vậy. Sau khi fix lỗi, chúng tôi luôn hướng dẫn lại để khách hàng hiểu đúng bản chất, tránh lặp lại sai sót.

Vì vậy, bài viết này được viết dưới góc nhìn của người trực tiếp xử lý sự cố thực tế. Nếu bạn đang gặp vấn đề liên quan đến robots.txt hoặc SEO kỹ thuật, đây sẽ là tài liệu giúp bạn gỡ rối một cách rõ ràng và đúng hướng.

Tải bộ tài liệu: Tai-lieu-Checklist kỹ thuật SEO WordPress.Zip cuối bài

1. Robots.txt là gì?

Robots.txt là một file dạng văn bản có thể tồn tại hoặc không tồn tại trong mã nguồn website đang SEO, trong WordPress có thể không tồn tại bởi vì ảnh hưởng của hook do_robots cho phép các lập trình viên can thiệp sinh nội dung theo ý mình.

File robots.text

File robots.txt nằm trong hosting

Cách biết Website mình đang có file robots bẳng cách mở trình duyệt truy cập vào link sau:

https://tenmiencuaban.com/robots.txt

Thay tenmiencuaban.com bằng website doanh nghiệp

Nếu truy cập mà nội dung ra dạng bên dưới thì yên tâm nhé:

# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:

Sitemap: https://yourdomain.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK

Vậy còn robots.txt ảo là gì?

Virtual robots.txt (robots.txt ảo) là nội dung robots.txt không tồn tại dưới dạng file thật trên server, mà được hệ thống (thường là WordPress) tạo động khi có truy cập vào:https://tenmiencuaban.com/robots.txt

2. Cách tìm và sửa file này trong Yoast SEO như thế nào?

1. Tìm nơi sửa file robots.txt

sửa file robots.txt trong yoast seo wordpress

Chỗ sửa file robots.txt trong yoast seo wordpress

chỉnh sửa nội dung robots

Sửa và lưu lại

2. Tại sao không tìm thấy chỗ sửa file Robots?

Có thể WordPress đang chặn chỉnh sửa file trong mã nguồn vì vậy hãy làm theo bước bên dưới:

Mở đường dẫn file public_html/wp-config.php

đoạn code chỉnh sửa file config wordpress

Đoạn code cho phép mở chỉnh sửa file wordpress

define('DISALLOW_FILE_EDIT', false);
define('DISALLOW_FILE_MODS', false);

Sau khi lưu xong bạn quay lại màn hình 2.1 sau đó F5 tải lại trang và check lại một lần nữa

3. Hook do_robots trong WordPress nâng cao

Hook do_robots là gì?

do_robots là một action hook trong WordPress, được kích hoạt khi truy cập đường dẫn /robots.txt trong trường hợp website không tồn tại file robots.txt vật lý. Hook này cho phép developer can thiệp và tùy chỉnh nội dung robots.txt được trả về.

Khi không có file robots.txt thật trên server, WordPress sẽ sử dụng cơ chế virtual robots thông qua hook do_robots, và bất kỳ plugin hoặc đoạn code nào (ví dụ như Yoast SEO) đều có thể hook vào để thay đổi nội dung trước khi trả về cho trình thu thập dữ liệu.

Có thể hiểu qui trình như sau:

User truy cập /robots.txt
        ↓
WordPress kiểm tra file thật
        ↓
Không có file
        ↓
Trigger hook do_robots
        ↓
In nội dung robots mặc định

Bạn có thể custom nội dung bằng cách nào?

Copy và chèn đoạn code này vào functions.php theme WordPress

add_action('do_robots', function () {
    header('Content-Type: text/plain; charset=utf-8');

    if (strpos(home_url(), 'staging') !== false) {
        echo "User-agent: *\nDisallow: /\n";
    } else {
        echo "User-agent: *\n";
        echo "Disallow: /wp-admin/\n";
        echo "Allow: /wp-admin/admin-ajax.php\n\n";
        echo "Sitemap: " . home_url('/sitemap_index.xml') . "\n";
    }

    exit;
});

Tìm hiểu thêm thông tin tài liệu từ trang chủ WordPress đây là nguồn chính dành cho các lập trình thiết kế web

Xem Link: https://developer.wordpress.org/reference/functions/do_robots/

4. Các lệnh Disallow “kinh điển” cho website?

1. Chặn khu vực hệ thống (bắt buộc)

Disallow: /wp-admin/

Mục đích:

  • Chặn bot crawl khu vực quản trị
  • Tránh lãng phí crawl budget

Luôn đi kèm:

Allow: /wp-admin/admin-ajax.php

 

2. Chặn trang tìm kiếm nội bộ (rác SEO)

Disallow: /?s= 
Disallow: /search/

Đây là lỗi rất nhiều website gặp:

  • Google crawl hàng loạt URL search
  • Tạo ra hàng nghìn trang “rỗng”

Hậu quả:

  • Loãng SEO
  • Tụt ranking

3. Chặn trang lọc / tham số (filter, sort)

Disallow: /*?filter=
Disallow: /*?sort=
Disallow: /*?orderby=

Áp dụng cho:

  • eCommerce
  • website có bộ lọc sản phẩm

Nếu không chặn:

  • URL trùng nội dung cực nhiều
  • Crawl budget bị phá nát

4. Chặn trang không có giá trị SEO

Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

Những trang:

  • không cần index
  • không có giá trị tìm kiếm

Giữ bot tập trung vào:

  • bài viết
  • landing page

5. Chặn thư mục “rác kỹ thuật” (tùy trường hợp)

Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /wp-json/

Nhưng:

  • Không phải site nào cũng nên chặn
  • Ví dụ /wp-json/:
    • nếu dùng API → KHÔNG nên chặn

6. Chặn toàn bộ site (dùng cho staging/dev)

Disallow: /

Cực nguy hiểm nếu dùng nhầm:

  • Google sẽ ngừng crawl toàn bộ site

Chỉ dùng khi:

  • web test
  • staging

Những thứ KHÔNG nên chặn (rất quan trọng)

Trên WordPress:

Không chặn:

/wp-content/ 
/wp-includes/

Vì:

  • Chứa CSS, JS
  • Google cần để render trang

Bài viết trong kì tới tôi sẽ nói về Robots trong plugin Rank Math SEO

Chú ý quan trọng, sau khi đã chỉnh sửa cập nhật file xong, hãy truy cập vào Google Search Console để xác nhận thông báo với Google nhé.

xác thực kết quả khắc phục

Xác thực kết quả khắc phục

6. Bộ tài liệu chuẩn hóa SEO

Tai-lieu-Checklist kỹ thuật SEO WordPress

Link tải tại đây: Tai-lieu-Checklist kỹ thuật SEO WordPress.zip

✅ Vui lòng hoàn thành các bước sau để nhận mật khẩu:
⚠️ Bạn cần hoàn thành tất cả các bước trên!

7. Dịch vụ xử lý lỗi không index Google – WEB366 (TBAY)

Bạn đã thử nhiều cách nhưng website vẫn:

  • Bài viết không index
  • Từ khóa không lên
  • Google “im lặng” dù đã submit sitemap

Nếu bạn đang ở tình trạng này, rất có thể website đang gặp lỗi SEO kỹ thuật (robots, crawl, render, server…) mà không dễ nhận ra.

1. TBAY giúp bạn xử lý TRIỆT ĐỂ

Chúng tôi không làm theo cảm tính.
TBAY xử lý theo quy trình rõ ràng:

  • Kiểm tra toàn bộ hệ thống crawl của Google
  • Xác định chính xác nguyên nhân không index
  • Fix lỗi robots.txt, sitemap, server, Cloudflare
  • Tối ưu lại cấu trúc để Google index ổn định

Mục tiêu không chỉ là “index được”
mà là index đúng – bền – có giá trị SEO

2. Khi nào bạn nên liên hệ TBAY?

  • Website đăng bài nhưng không lên Google
  • Bị lỗi “Crawled – currently not indexed” kéo dài
  • Đã có SEO nhưng không hiệu quả
  • Không rõ website đang lỗi ở đâu

3. Liên hệ hỗ trợ nhanh

CÔNG TY TNHH DỊCH VỤ CÔNG NGHỆ TBAY

  • Hotline: 0852.080383
  • Email: hotro@tbay.vn
  • Địa chỉ: 303/41 Tân Sơn Nhì, Quận Tân Phú, TP.HCM

TBAY hỗ trợ kiểm tra nhanh website của bạn và chỉ ra vấn đề thực tế.

4. Lưu ý quan trọng

Nếu Google chưa index website thì mọi nỗ lực SEO gần như bằng 0

Hãy xử lý đúng từ gốc, thay vì tiếp tục làm sai hướng.

TBAY – Đồng hành cùng doanh nghiệp trong SEO kỹ thuật & phát triển website bền vững

Câu hỏi thường gặp (FAQs)

Robots.txt là gì và nó hoạt động như thế nào trên website WordPress?

Robots.txt là một file dạng văn bản, có thể tồn tại hoặc không tồn tại dưới dạng file vật lý trên server. Trong WordPress, nếu không có file thật, nó sẽ được tạo động (robots.txt ảo) thông qua hook do_robots, cho phép các lập trình viên can thiệp và tùy chỉnh nội dung. Bạn có thể kiểm tra bằng cách truy cập https://tenmiencuaban.com/robots.txt.

Làm cách nào để tìm và chỉnh sửa file robots.txt trong Yoast SEO?

Để tìm và chỉnh sửa file robots.txt trong Yoast SEO, bạn cần truy cập vào giao diện quản trị WordPress và tìm đến mục chỉnh sửa file robots.txt. Nếu không tìm thấy tùy chọn này, có thể WordPress đang chặn việc chỉnh sửa file trong mã nguồn.

Phải làm gì khi không tìm thấy tùy chọn chỉnh sửa file robots.txt trong Yoast SEO?

Nếu không tìm thấy chỗ chỉnh sửa, bạn cần mở file wp-config.php (thường nằm trong public_html) và thêm hoặc sửa đoạn code sau: define('DISALLOW_FILE_EDIT', false); define('DISALLOW_FILE_MODS', false);. Sau khi lưu xong, bạn quay lại màn hình chỉnh sửa trong Yoast SEO và tải lại trang để kiểm tra.

Hook do_robots trong WordPress có vai trò gì và cách tùy chỉnh nội dung robots.txt thông qua nó?

Hook do_robots là một action hook trong WordPress, được kích hoạt khi truy cập đường dẫn /robots.txt mà không tồn tại file vật lý. Hook này cho phép developer can thiệp và tùy chỉnh nội dung robots.txt được trả về. Bạn có thể tùy chỉnh bằng cách chèn đoạn code mong muốn vào file functions.php của theme WordPress.

Những lệnh Disallow kinh điển nào nên dùng và không nên dùng trong robots.txt để chuẩn hóa SEO?

Các lệnh Disallow quan trọng nên dùng để chặn bot crawl các khu vực không cần thiết bao gồm: /wp-admin/ (đi kèm Allow: /wp-admin/admin-ajax.php), /?s= (trang tìm kiếm), /*?filter= (trang lọc/tham số), /cart/, /checkout/, /my-account/ và các thư mục rác kỹ thuật như /cgi-bin/. Tuyệt đối KHÔNG nên chặn /wp-content/ và /wp-includes/ vì chúng chứa các file CSS, JS mà Google cần để render trang.

Quay lạiChatGPT ChatGPT

Đánh giá bài viết

Giải Pháp Từ Chuyên Gia

Hệ thống Website của bạn đang gặp lỗi kỹ thuật hoặc chưa tối ưu chuyển đổi?

Đừng để mất khách hàng vào tay đối thủ. Hãy để đội ngũ kỹ thuật chuyên sâu của chúng tôi kiểm tra, tối ưu tốc độ và bảo mật toàn diện cho website của bạn.

Nhận Tư Vấn Miễn Phí Ngay

Hỗ trợ kỹ thuật nhanh trong 30 phút

CÔNG TY TNHH DỊCH VỤ CÔNG NGHỆ TBAY
Hotline: 0852.080383
Trụ sở: 119A Diệp Minh Châu, Phường Tân Sơn Nhì, TP.HCM
Văn Phòng: 119A Diệp Minh Châu, Phường Tân Sơn Nhì, TP.HCM

❓ Hỏi AI về nội dung bài viết

Tóm tắt nội dung chính Gợi ý mục quan trọng Giải thích mục 1 rõ hơn Viết lại đoạn văn cho dễ hiểu Rút gọn văn bản mà vẫn đủ ý Thêm ví dụ minh hoạ cho đoạn 1 Lọc keyword từ khóa bài viết Lọc thuật ngữ Dịch bài viết sang: Tiếng Anh
Nếu bài viết chưa giải đáp hết thắc mắc của bạn, hãy hỏi WEB366 AI – trợ lý thông minh sẵn sàng hỗ trợ ngay trong nội dung bài viết.

Bạn muốn tích hợp chức năng Hỏi AI trực tiếp dưới mỗi bài viết trên website? Hãy liên hệ dịch vụ thiết kế web tại Website366.com để được hỗ trợ triển khai nhanh chóng và chuyên nghiệp.