處理網站上的重復內容是一項非常艱苦的工作。隨著網站的發展，必需不斷增加、轉變或刪除各種功效；與此同時，不同的網站內容來了又往。一段時間后，很多網站都會有以多個URL網址情勢存在的系統化垃圾代碼，這些URL都返回同樣的內容。在一般情況下，除了會增加搜索引擎的抓取和索引內容的難度以外，你的網站上存在重復內容并不構成標題。此外，通過導進鏈接而得到的PageRank以及類似信息可能會在我們尚未斷定為重復內容的網頁間擴散，導致你的首選網頁在谷歌中的排名下降。
處理你的網站內部重復內容的步驟
辨認網站上的重復內容。
辨認你網站上的重復內容是處理重復內容的第一步，也是最重要的一步。應用一種簡略的方法可以實現這個目標，即從網頁中選取一段奇特的文本代碼，然后搜索這段文本，并應用谷歌的site:query將搜索成果限制為自己網站上的網頁。如此以來，搜索出的含有同樣內容的多個成果就是你需要處理的重復內容。
斷定你需要的首選URL網址。
在處理重復內容之前，必需確保你的首選URL網址結構。對于這段內容，你盼看應用哪一個URL網址？
保持網站內部的同一性。
選擇首選網址之后，確保在你的網站內所有可能的地位上應用他們（包含你的Sitemap文件）。
在必要和可能的情況下應用301永久重定向。
可能的話，可以應用301代碼將重復網址重新定向為你選擇的網址。此舉能夠幫助用戶和搜索引擎在拜訪重復URL網址時找到你的首選URL網址。假如你的網站有數個域名，可選擇一個域名，應用將其他域名301重定向到這個域名，同時還要確保其轉向準確的特定網頁，而不僅是域根目錄。假如網站同時支撐www和非www主機名，可選擇其中一種，應用Google網站站長工具中的首選域設置，再進行適當的重定向。
在可能的情況下，在你網頁上應用rel=“canonical”。
在無法應用301重定向的情況下，可以應用rel=“canonical”，以方便搜索引擎更好地懂得你的網站和首選URL網址。Ask.com、Bing和Yahoo！等重要搜索引擎都支撐這種鏈接標簽的應用。
可能的情況下，在Google網站站長工具中應用URL參數處理工具
假如部分或全部網站重復內容來自帶有查詢參數的URL網址，則此工具將幫助你將URL內的重要參數和不相干參數通知我們。有關此工具的具體信息可參網站治理員新參數處理工具助您減少重復內容 。
怎樣處理robots.txt文件？
應用robots.txt文件來禁止對重復內容進行抓取不在我們推薦的方法之內。我們建議你不要應用robots.txt文件或其他方法來禁止對你網站上的重復內容的拜訪。你可以應用rel=“canonical” 鏈接標簽、URL參數處理工具或301重定向。假如完整禁止了對重復內容的拜訪，搜索引擎必需將這些URL作為獨立的不同網頁處理，由于它們無法分辨出這些URL實在只是指向雷同內容的不同網址。更好的解決方法是答應對其進行抓取，同時用我們推薦的方法將這些URL網址明白標記為重復內容。假如你答應我們拜訪這些URL網址，Google抓取機器人將學會通過查看URL斷定其是否為重復內容，在各種情況下都能很好地避免不必要的重復爬行抓取。為了防止重復內容仍然領導我們過多地爬行搜索你的網站，你還可以調劑Google網站站長工具里的抓取速度。
我們盼看這些方法能夠幫助把持你的網站上的重復內容。
