Thứ Sáu, 11 tháng 10, 2013

Thủ thuật SEO tối ưu hóa Website bằng htacces và robot.txt

Thủ thuật SEO tối ưu hóa Website với 2 tập tin .htaccess và robot.txt.

Khá quan trọng trong quá trình SEO giúp  Webmaster thiết lập htaccess cố định link và khắc phục broken link bằng cách cho redirect tới 1 trang khác tồn tại. Thực hiện SEO điều hướng người dùng vào đúng trọng tâm nội dung trang web cung cấp và nhiều cái nữa đọc đi rùi biết :)

Tối ưu SEO hiệu quả với .htccess:

1. Set Timezone.

Chỉ có lợi không có hại khi webmaster thiết lập đúng time zone cho website mình, giúp các robot tìm kiếm xác định đúng thời khắc nội dung bài viết mới xuất bản và Index.
Textpop-Up
    

  1. SetEnv TZ timezone
    2. 
VD: SetEnv TZ Asia/Jakarta

2. URLs SEO Friendly 301 Permanent Redirects.

Giúp robot tìm kiếm cập nhật đầy đủ thông tin về website bạn, tình trạng các links broken đã được sửa thành công và đánh giá cao website chuẩn.
Nếu như bạn có nhiều anchor text backlink cũ chất lượng nhưng thực tại không có url đó tồn tại trên web bạn, hãy thực hiện Redirect 301 về trang chủ hay 1 trang nào đó mà bạn muốn với code sau:
Textpop-Up
    

  1. Redirect 301 http://www.seotrafficvn.com/404 http://www.seotrafficvn.com/
    2. 
# Ngoải ra đây cũng là cách tạo URL seo friendly cho website 


    VD : http://seotrafficvn.com/p.php?page=123 <--- URL robot ko hiểu là gì ta nên đổi lại thành 


http://seotrafficvn.com/tai-lieu-seo/ hoặc


http://seotrafficvn.com/cach-seo-website-top-google-p1.html

3.Coi file ngay trên web không hiện Download.

Khi Web bạn cung cấp 1 file .zip .doc .pdf và auto download khi mở link, điều này không tốt cho seo! Nên giữ khách lại web lâu hơn bằng các lời mời mọc khác thì nên set htaccess thế này nhé.
    

  1. AddType application/octet-stream .pdf
    2. 

  2. AddType application/octet-stream .zip
    3. 

  3. AddType application/octet-stream .mov
    4.

4.Chạy mặc định website không www.

One of the SEO guideline is, make sure there is only one URL pointing to your website. Therefore, you will need this to redirect all www traffic to non-ww, or the other way around.
    

  1. RewriteEngine On
    2. 

  2. RewriteBase /
    3. 

  3. RewriteCond %{HTTP_HOST} ^www.seotrafficvn.com [NC]
    4. 

  4. RewriteRule ^(.*)$ http://seotraffic.com/$1 [L,R=301]
    5.

5. Tinh chỉnh tối ưu các trang lỗi 401,404,500,...

Hãy thực hiện ngay để Google đánh giá cao website bạn chuẩn men nhé
    

  1. ErrorDocument 401 /error/401.php
    2. 

  2. ErrorDocument 403 /error/403.php
    3. 

  3. ErrorDocument 404 /error/404.php
    4. 

  4. ErrorDocument 500 /error/500.php
    5.

6. Nén file trên hệ thống tối ưu tốc độ lướt web.

Nếu Website bạn load chậm thì hãy nghĩ đến htaccess nén file hệ thống, nó sẽ cải thiện tốc độ load cho web bạn khá ổn đó
    

  1. # thực hiện nén các thể loại file text, html, javascript, css, xml:
    2. 

  2. AddOutputFilterByType DEFLATE text/plain
    3. 

  3. AddOutputFilterByType DEFLATE text/html
    4. 

  4. AddOutputFilterByType DEFLATE text/xml
    5. 

  5. AddOutputFilterByType DEFLATE text/css
    6. 

  6. AddOutputFilterByType DEFLATE application/xml
    7. 

  7. AddOutputFilterByType DEFLATE application/xhtml+xml
    8. 

  8. AddOutputFilterByType DEFLATE application/rss+xml
    9. 

  9. AddOutputFilterByType DEFLATE application/javascript
    10. 

  10. AddOutputFilterByType DEFLATE application/x-javascript
    11.

7. Chạy Cache tập tin giúp tối ưu tốc độ.

Google đánh giá cao Website load nhanh vậy sao bạn không cố gắng chiều Google tý nhỉ với thủ thuật Cache thông minh.
Người A vào web, hệ thống sẽ lưu cache lại cho người B vào sau ... Và mình chỉ việc thiết lập thời gian trong bao lâu thì thiết lập cache mới max-age.
    

  1. <FilesMatch ".(flv|gif|jpg|jpeg|png|ico|swf|js|css|pdf)$">
    2. 

  2. Header set Cache-Control "max-age=2592000"
    3. 

  3. </FilesMatch>
    4.

8. Hiệu chỉnh không cache với 1 số file nội dung động.

Đôi khi có 1 số cái cần cập nhật ngay thời điểm vd Like , + , Members,... ta nên disable cache đi với file đó.
    

  1. # Hiệu chỉnh không cache với các file động, dữ liệu hệ thống
    2. 

  2. <FilesMatch ".(pl|php|cgi|spl|scgi|fcgi)$">
    3. 

  3. Header unset Cache-Control
    4. 

  4. </FilesMatch>
    5.

Bảo mật Website với htaccess.

Htaccess còn giúp webmaster nhiều hơn thế, bảo mật website thì thôi rồi, sao không tìm hiểu thử nhỉ?
Vd: Cấm các website khác chôm nội dung website mình về làm của riêng ? Hoặc truy cập lấy thông tin hình ảnh trên website mình tự động và phục vụ cho khách website họ. Ta thì hao tốn băng thông ngồi nhìn sao? Hãy để htaccess giúp bạn!

1. Cấm truy cập Hotlinks .htaccess.

Nếu bạn không muốn người khác lấy url hình ảnh từ website bạn đặt vào web họ và bạn bị hao tốn tài nguyên vô cớ thì thử cách sau: 
    

  1. RewriteBase /
    2. 

  2. RewriteCond %{HTTP_REFERER} !^$
    3. 

  3. RewriteCond %{HTTP_REFERER} !^http://(www.)?seotrafficvn.com/.*$ [NC]
    4. 

  4. RewriteRule .(gif|jpg|swf|flv|png)$ /feed/ [R=302,L]
    5.

2. Chống Hacks - Attacker .

Vâng htaccess mạnh như thế đấy! Bạn có thể config htaccess không cho phép người truy cập hiệu chỉnh url có thể gây lỗi và ảnh hưởng bảo mật hệ thống website bạn. SEO làm gì khi Website không bảo mật?
--> đây cũng là 1 phương pháp chống SQL Injection, Crossing Site, Cookie Steal,... . 
    

  1. RewriteEngine On
    2. 

  2. 

    3. 

  3. # proc/self/environ? không cho chạy!
    4. 

  4. RewriteCond %{QUERY_STRING} proc/self/environ [OR]
    5. 

  5. 

    6. 

  6. # khóa truy cập cố gắng mosConfig thông qua biến URL
    7. 

  7. RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
    8. 

  8. 

    9. 

  9. # Khóa mã hóa link base64_encode URL
    10. 

  10. RewriteCond %{QUERY_STRING} base64_encode.*(.*) [OR]
    11. 

  11. 

    12. 

  12. # Khóa không chạy các URL chứa <script>, khỏi X-Crossing nhé hehe
    13. 

  13. RewriteCond %{QUERY_STRING} (<|%3C).*script.*(>|%3E) [NC,OR]
    14. 

  14. 

    15. 

  15. # Khóa truy cập muốn xem PHP GLOBALS
    16. 

  16. RewriteCond %{QUERY_STRING} GLOBALS(=|[|\%[0-9A-Z]{0,2}) [OR]
    17. 

  17. 

    18. 

  18. # Khóa truy cập hiệu chỉnh tay các biến trong _REQUEST URL
    19. 

  19. RewriteCond %{QUERY_STRING} _REQUEST(=|[|\%[0-9A-Z]{0,2})
    20. 

  20. 

    21. 

  21. # Cuối cùng là cho tất cả trường hợp trên redirect về trang chủ - Hết Phim!
    22. 

  22. RewriteRule ^(.*)$ index.php [F,L]
    23.

3. Khóa truy cập trực tiếp file .htaccess.

Không cho phép visitor truy cập xem file .htcess và 1 số file khác tùy webmaster 
    

  1. # secure htaccess file
    2. 

  2. <Files .htaccess>
    3. 

  3. order allow,deny
    4. 

  4. deny from all
    5. 

  5. </Files>
    6. 

  6. 

    7. 

  7. # tùy chỉnh cấm xem file theo ý riêng webmaster
    8. 

  8. <Files secretfile.jpg>
    9. 

  9.  order allow,deny
    10. 

  10.  deny from all
    11. 

  11. </Files>
    12. 

  12. 

    13. 

  13. # Khóa truy cập nhiều file
    14. 

  14. <FilesMatch ".(htaccess|htpasswd|ini|phps|fla|psd|log|sh)$">
    15. 

  15.  Order Allow,Deny
    16. 

  16.  Deny from all
    17. 

  17. </FilesMatch>
    18.

4. Đổi tên file htaccess.

Che dấu config trên file htaccess trước sự dòm ngó của hacker. 
    

  1. AccessFileName htacc.ess
    2.

5. Tắt chế độ xem dạng thư mục:

Avoid the server from displaying directory index, or the opposite. 
    

  1. # disable directory browsing
    2. 

  2. Options All -Indexes
    3. 

  3. 

    4. 

  4. # enable directory browsing
    5. 

  5. Options All +Indexes
    6.

6. Thay đổi file index mặc định:

Nếu không thích index.php thì set lại thuthuatseo.html. Nếu muốn set thư mục đó có lợi cho việc seo tối ưu hóa từ "thủ thuật seo". Do đó url seo friendly thuthuatseo.html hơn la index.php. 
    

  1. DirectoryIndex thuthuatseo.html
    2.

7. Khóa truy cập có giới thiệu (referal) từ 1 domain nhất định.

    

  1. # Khóa không cho truy cập từ domain google.com
    2. 

  2. <IfModule mod_rewrite.c>
    3. 

  3.  RewriteEngine on
    4. 

  4.  RewriteCond %{HTTP_REFERER} google.com [NC,OR]
    5. 

  5.  RewriteCond %{HTTP_REFERER} google.com.vn [NC,OR]
    6. 

  6.  RewriteRule .* - [F]
    7. 

  7. 

    8. 

  8. </ifModule>
    9. 

  9. # Minh họa Google, nhớ chỉnh lại cho đúng ko là website đi hát dạo với Google luôn đấy!
    10. 

  10. Nâng cao cho Webmaster muốn khóa truy cập từ 1 nguồn không rõ nhưng domain có chữ SEX thì config thế này 
    11. 

  11. 
SetEnvIfNoCase Referer “.*(cụm từ chứa trong domain).*” ban

SetEnvIfNoCase Referer “.*(SEX).*” ban

SetEnvIfNoCase Referer “.*(XXX).*” ban


<Limit GET POST>

order allow,deny

deny from env=ban

allow from all

</Limit>
    12.

8. Khóa truy cập có User-Agent Header ảo.

This method could save your bandwidth quota by blocking certain bots or spiders from crawling your website. 
    

  1. # Khóa truy cập ảo từ mấy cái thằng web tự động craw thông tin về post lên web nó
    2. 

  2. <IfModule mod_rewrite.c>
    3. 

  3. SetEnvIfNoCase ^User-Agent$ .*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|collector|grabber|webpictures) HTTP_SAFE_BADBOT
    4. 

  4. SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|aesop_com_spiderman) HTTP_SAFE_BADBOT
    5. 

  5. Deny from env=HTTP_SAFE_BADBOT
    6. 

  6. </ifModule>
    7.

9. Bảo vệ website không cho exec các mã web. 

    

  1. # Đôi khi cũng cẩn lắm, không cho run exec (cmd) hiệu quả cho mấy webmaster chống local trên site.
    2. 

  2. AddHandler cgi-script .php .pl .py .jsp .asp .htm .shtml .sh .cgi
    3. 

  3. Options -ExecCGI 

    4.
Webmaster và SEOer sao không linh hoạt sử dụng chúng nhỉ ? Tối ưu hóa website :
- Cấm và tùy chỉnh truy cập bất lợi đến website,...
- Mã bảo mật hệ thống truy cập file, run exec,...
- Cache website giúp tối ưu hóa tốc độ rất tốt cho SEO

Thủ thuật tối ưu robot.txt cho SEO nhé:

Tập tin Robots.txt được lưu ở thư mục gốc của web site. Mặc định là không có Webmaster phải tự tạo.
Ví dụ như : http://seotrafficvn.com/robots.txt

User-agent: googlebot
Disallow: /thu-thuat-seo/

Ý nghĩa : User-agent: là đại diện của một SE - Search Engine, như Googlebot search engine của Google. Với thiết lập trên ta cho phép Googlebot index web site nhưng Disallow: là không cho phép index thư mục /thu-thuat-seo.

Nếu webmaster muốn tất cả các search engine có thể index web, nhưng không được index các trang trong thư mục “tối-ưu-hóa-web” thì sử dụng lệnh sau:
User-agent: *
Disallow: /tối-ưu-hóa-web/

Những điều nên tránh:
+ Tuyệt đối không ghi chú thích trong file robot vì sẽ làm các bot tìm kiếm hiểu nhầm! Ví dụ:
“Disallow: SEO # Bot mà ngu lắm”
+ Không được để khoảng trắng (space) ở đầu dòng lệnh:
User-agent: *
Disallow: /SEO-Htaccess-Tips/
+Không thay đổi trật tự của các dòng lệnh. Ví dụ:
Disallow: /SEO-Robot-file
User-agent: *
+ Không sử dụng quá một thư mục trong dòng lệnh Disallow. Ví dụ:
User-agent: *
Disallow: /SEO/Htaccess/Robot.txt/
các search engine không hiểu định dạng trên. Webmaster nên config như sau:
User-agent: *
Disallow: /SEO
Disallow: /Htaccess/
Disallow: /Robot.txt/
+Cẩn trọng với cái in hoa viết thường, Windows hay Linux gì cũng phải viết đúng hết nhé các Webmaster, VD : ThuThuatSEO sẽ khác thuthuatseo.
+ Không nên dùng lệnh Allow trong file robots.txt, bởi vì nó sẽ cho phép robot craw hết toàn bộ dữ liệu web bạn từ a->z . Tốt nhất không biết thì hỏi!

Kết thúc cái bài "Thủ thuật SEO tối ưu hóa Website bằng htacces và robot.txt" cho các webmaster rùi nhé.
Mọi thắc mắc vui lòng comment bên dưới, lưu ý tuyệt đối ko đi backlink dù vô tình hay cố ý nhé.
Cảm ơn
Người đăng: vào lúc Không có nhận xét nào:
Nhãn:
Google Account Video Purchases 82 Hồ Văn Huê, 9, Phú Nhuận, Ho Chi Minh City, Vietnam
Đăng ký: Nhận xét (Atom)