Anonymous
Anonymous asked in 電腦與網際網路電腦網路 · 1 decade ago

受 robots.txt 限制的 URL什麼意思?怎麼解決

大家好。前輩們~救命啊.......

我最近做了一個網頁,

http://republica-sino-hispana.blogspot.com/

也申請了Google的網站管理員工具。在這個網頁裡,有個地方顯示著: 網頁檢索錯誤:

受 robots.txt 限制的 URL 43個

找不到 1個

這到底是什麼意思呢?

是不是 受 robots.txt 限制的 URL 就沒辦法在網路上被搜尋到?

要怎麼解決?

請教教我...拜託..謝謝!

Update:

Hi, 七里香,感謝您熱心的回答。現在我想要問一個很白痴的問題了,您說,web 伺服器的根目錄下,只要還有 robots.txt 檔,刪除掉就好了,請問:那個web 伺服器的根目錄在哪兒啊?!唉~sorry sorry... 實在是電腦白痴~

唉~我該不會真得變成拒絕往來戶吧?!可是我申請 AdSense有通過耶,網站內容也多為普通的文字檔...怎麼會這樣?

Update 2:

七里香,超感謝您的。謝謝您對我這麼有耐心。想再請教一下,歹勢歹勢..又有問題了。我去下面這個地方看解說,還是不太懂

http://help.blogger.com/bin/answer.py?answer=41438...

在連線的地方,為什麼是不選 FTP 而要選 SFTP呢?

還有,下面這些它要我填,你可以幫我看填得對不對嗎?

FTP伺服器:是blogger.com嗎?還是blogspot.com?

Blog URL:http://republica-sino-hispana.blogspot.com/

Update 3:

還有,下面這些的說明我都看到快瞎了,還是搞不清是要填什麼:

FTP路徑 & Blog檔案名稱 & 資訊提供檔案名稱 & FTP使用者名稱 & FTP密碼

又要麻煩你了,謝謝謝謝謝.......

1 Answer

Rating
  • 1 decade ago
    Favorite Answer

    參考看看。

    ===============

    1、將你web 伺服器的根目錄下,只要還有 robots.txt 檔,刪除掉就好了。

    2、或在在你的網頁或論壇目錄中找看看,只要有 robots.txt 檔,刪除掉就好了。

    3、如果不想刪除【robots.txt】檔,只要機內容作修改也可以,

    以下是為【robots.txt】檔內容,

    禁止搜所網站加入檢索,也就是說自動拒絕網站被入口網站,或搜索網站查詢。

    第一種:

    此為拒絕根目錄,含以下所有目錄被檢索。

    User-Agent:*

    Disallow:/

    ==================

    第二種:

    此為拒絕根目錄下,有列出目錄名子,的子目錄被檢索。

    User-agent: *

    Disallow: /cgi-bin/

    Disallow: /tmp/

    Disallow: /cache/

    Disallow: /class/

    Disallow: /images/

    由此可知,你只要查詢你Web主機的根目錄下的【robots.txt】檔內容,將第一種全部拒絕的方式內容改掉,如果有列很多目錄的話,只要刪除【/】根目錄那項就可以了。

    User-Agent:*

    Disallow:/ <--------刪除此項,將想開放的子目錄刪除即可。

    Disallow: /tmp/

    Disallow: /cache/

    Disallow: /class/

    如需更多有關 robots.txt 的資訊,請參閱以下網址:http://www.robotstxt.org/wc/norobots.html

    4、在網頁中的HTML中如果有此語法的,也刪除掉,

    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

    如需更多有關這個標準 meta 標籤的資訊,請參閱:http://www.robotstxt.org/wc/exclusion.html#meta

    如果你的問題不是如此,那就是說你所用到或者是連結到的網址,是Google網站拒絕連結的,原因可能是:

    1、該網站內容可能會損壞你的電腦。

    2、該網站可能因申請Google某些服務,但有嚴重違反Google規範者,被列為拒絕往來戶。

    3、該網站或連結目地,申請Google AdSense 服務,但有詐行為被列為拒絕往來戶。

    4、如果是底的網站被拒,除了上述原因外,可能是因為你的網站內容有不符Google分類的內容。

    2007-08-30 22:58:35 補充:

    http://republica-sino-hispana.blogspot.com/

    你提供的網址,是Google的免費Blog,在Web介面下,不能查看根目錄的檔案內容,你可以改成FTP登入到Blog空間,在去查看即可,Google的Blog有提供FTP登入功能與方法。

    詳細請參考:http://help.blogger.com/bin/topic.py?topic=8917

    2007-08-31 08:54:24 補充:

    web 伺服器的根目錄:

    這有兩種說法,

    其一,當你用FTP進入web 伺服器的時後,見到【/】為起始的那目錄,即是你的【帳號】的根目錄,白話點講就是你登入主機的帳號,所能到達的最上一層目錄位置,【/】斜線就是【根】的意思。

    例如:

    /www/image/

    由左至右,第一個【/】就是根目錄,其下子目錄為【www】名子,那就是說,【www】是【/】的子目錄,而在【www】目錄下,又有【image】名子的子目錄,以【www】來講,【image】是【www】的子目錄。

    2007-08-31 08:56:59 補充:

    無論目錄有多少層級,下一層皆為上一層的子目錄來稱之,反過來講,上一層目錄便是下一層子目錄的父目錄。

    2007-08-31 09:00:01 補充:

    其二,因為web 伺服器非你所有,所以你的帳號所能到達的根目錄,因該不可能會是主機真正的【根】目錄,那是虛擬的相對位置,這不清處的話沒關係,如果你能登入你web 伺服器,只要將【robots.txt】刪除即可。

    2007-08-31 09:06:48 補充:

    由你的Blog看來,我猜想你的真正原因可能是我以下講的:

    你應該是申請了Google的免費務部落格,然後在申請Google AdSense 服務,將收益性廣告放在部落格中收益,放心這樣做沒有任何的違返Google的規範,完全可行的,唯一要注的是,Google規範,每一網頁最多只能存在四個收益性廣告,不可超過,一但超過了也不好,因為會有廣告開不起來的情況。

    一頁網頁,最多四個收益性廣告的存放,但不包括Google推薦網站服務唷,所以你還可以在放四個Google功能服務推薦收益的廣告。

    2007-08-31 09:10:43 補充:

    你提到的【也申請了Google的網站管理員工具。】,在管理工具中發現的這個【網頁檢索錯誤:

    受 robots.txt 限制的 URL 43個】

    我去查了一下,那跟你沒關係啦,那是有某些問題網站曾經有違犯Google規範,大部份講的好像是詐騙收益廣告點選問題沒很注意看內容,Google主機拒絕的往來戶,與你的部落格無關係,我在我的Google管理工具也可查得到。

    2007-08-31 09:19:21 補充:

    http://republica-sino-hispana.blogspot.com/

    如你想讓你的部落格曝光率高一點,我可以建議你一點,在部落格不是發表每一篇文章後,會有分類別,意見,標籤等等的,記得一定要分類,最好細分,因為那是Google申請的部落格,會讓Google的網站搜尋器優先檢索登入Google的入口網站查詢資料庫。

    2007-08-31 09:19:32 補充:

    重點在於,只要是部落格上面的連結網址,都會被搜索登入,那麼意思就是說,分的類別多,或推薦、貼上的網址多,關健字多,就會更容易被登入檢索,且重複登入次也會多,那麼別人在搜索查詢的時後,你的部落格被檢索出來的機會就多了,因為你部洛格存在檢索資料庫的筆數多的原故。

    通常各大入口網站都適用,我個人經驗,參考看看。

    2007-09-01 20:19:06 補充:

    FTP與sFTP差別在於加密上的關系,兩種都可以用,要看你用什麼樣的FTP軟體上傳有沒有支源加密的功能。

    sFTP的加密方式是用SSH來連線執行FTP上傳資料,比較注重安全性。

    FTP則是比較差一點,不過通常不用去擔心那些。

    2007-09-01 20:20:19 補充:

    對於FTP與sFTP詳情也可以看:

    http://help.blogger.com/bin/topic.py?topic=8917

    2007-09-01 20:32:55 補充:

    請問你是否很確定你要將Google部落格改成FTP方式登入上傳呢?

    1、首先你要明白一點,如果你對FTP軟體操作不熟,或者是對主機路徑不是很熟練,例如:檔案存在的【絕對路徑】與【相對路徑】的差別。

    2、在來就是你須要在你的電腦上,在安裝FTP上傳軟體,例如gFTP,Ws_FTP或sFTP等等任一種上傳應用軟體,才可使用。

    3、上傳的網頁須要自行編輯,對於會編寫網頁的人來講,是很有彈性又方便,但不熟練或沒空的人可能就麻煩了,這是需要時間的喔。

    4、如果沒有必要的話,還事建議你用最簡的由Blog提供的,新增、修改、刪除,來增修你的Blog網頁資料。

    2007-09-01 20:37:41 補充:

    如果你覺的一個Google一個Blog不夠你分類使用,也就是頁面太少的話,你可以無限的創建與申請無限個Google的免費Blog來建構你的網頁,Google沒有限制這方面的應用,也不會拒絕這麼用,此不違反Google的規範,很多人就是如此使用的,既方便又快速的架構自己的專數網頁Blog群,你可以參考看看。

    2007-09-01 20:40:32 補充:

    只要多做一個選單連結就可以了,類似於你網頁上的Páginas Web de interés連結一樣,當然你也可以將連結文字改成,以圖來顯示。

    2007-09-01 20:44:13 補充:

    還有你網頁上放置一個Google的搜索,建議你在那個搜索設定上要填入你的Blog網址與連結圖網址,那麼在搜索結果那一頁的正上方會顯示出來,且訪客可以直接點選那圖標回到你的Blog喔。

    如何設定,就在你申請Google的搜索工具設定頁中,可找到。

    2007-09-02 17:53:08 補充:

    提高被搜索的機率:

    想要讓你的Blog提高被搜索的機率,有個最簡單的方式,就是去編輯你發表文章的簽名檔,在簽名當上做好你部落格的超連結,例如:

    歡迎參觀:>a title="部落格名稱" target="_new" href="部落格網址"<超連結顯示名稱>/a<

    2007-09-02 17:54:22 補充:

    更正、範例代碼打錯了:

    歡迎參觀:<a title="部落格名稱" target="_new" href="部落格網址">超連結顯示名稱</a>

    2007-09-02 17:59:15 補充:

    凡是存在Blog中的文章,其中的超連結網址都會讓搜索網站檢索,也就是說你的文章分類詳細,那連結就會越多,相對的你網頁被搜索的機率就會變高,除固定連結外,文章內也可以適當的加入相關結,那些連結的說明字,就是所搜索網站中稱乎的關鍵字,文章的標題、段落名稱,也是其 中之一。

    Source(s): 我的小腦袋, 我的小腦袋, 我的小腦袋, 我的小腦袋, 我的小腦袋, 我的小腦袋, 我的小腦袋
    • Login to reply the answers
Still have questions? Get your answers by asking now.