背景

前端時(shí)間租的騰訊云服務(wù)器是按照流量計費的，最近一段時(shí)間流量走的老快了，并且發(fā)現默認1G的帶寬老是卡。

原因

通過(guò)分析nginx的日志發(fā)現有大量的爬蟲(chóng)在大批量的訪(fǎng)問(wèn)代碼倉。導致占用了大量帶寬。

解決

nginx中過(guò)濾爬蟲(chóng)

在nginx中配置下面信息，過(guò)濾掉大量爬蟲(chóng)的請求。

  if ($http_user_agent ~ "(meta-externalagent|Amazonbot|ClaudeBot|Baiduspider|SemrushBot|bingbot|Bytespider|AhrefsBot|Linguee)" ) {
      return 403;
   }

   if ($http_user_agent ~ "Swiftbot|YandexBot|jikeSpider|MJ12bot|ZmEu phpmyadmin|EasouSpider|YYSpider|jaunty|oBot|FlightDeckReports" ) {
      return 403;
   }

   if ($http_user_agent ~ "(Googlebot|GoogleOther|Java|feedparser|l9explore)" ) {
      return 403;
   }

修改robots.txt

在gitea的public目錄下面新增robots.txt，寫(xiě)入下面內容：

User-agent: *
Disallow: /