最近的爬虫是在linux下运行的,使用的是云立方的代理服务器,需要自动切换一下ip. #!/bin/bash# coding:utf8 aa="sources.list" #主流程if [ -n $aa ];then touch $aa echo "1->ali(ubuntu16) 2->ali(ubuntu14) 3->nyist(ubuntu14)" echo "choose :" read sou_name #由键盘读入源

#!/bin/bash max= confdir=/etc/nginx/conf.d/blockips.conf logdir=/var/log/nginx/access.log echo "">$confdir cat $logdir|awk '/send_sms/ {print $1}'|sort|uniq -c|sort -n|while read line do a=(`echo $line`) if [ $a -ge $max ] then  echo "de

因为总要切换ip,所以百度了一下脚本 如下http://jingyan.baidu.com/article/d2b1d1029d21b95c7e37d4fa.html 动态ip netsh interface ip set address name="本地连接" source=dhcpnetsh interface ip set dns name="本地连接" source=dhcp 静态 netsh interface ip set address name=&q

本人经过多次尝试,简单完成了自动部署Nginx和nfs脚本,并且能够自动部署web反向代理集群,下面详细的阐述一下本人的思路.(以下脚本本人处于初学阶段,写的并不是很完善,所以需要后期进行整理和修正,请高手能够多多指教.) 本脚本需要注意的是: 1.这是针对centOS6.8,32位操作系统写的脚本文件,如果想在cenOS7中运行,就需要有些改动 2.这个脚本需要先安装代理服务器部分,再安装反向代理服务器,因为涉及到共享文件夹挂载的问题,所以需要有先后顺序: 3.今后本人会对此脚本进行更新和完善

nginx禁止IP访问站点的设置方法 http://www.512873.com/archives/471.html http://www.512873.com/archives/312.html conf目录下面,新建blocksip.conf 在blocksip.conf里面写入deny 1.1.1.1; 这句就是禁止这个IP的意思(整个段是:deny 1.1.1.0/24;) nginx.conf里面加入:include blocksip.conf; 重启一下nginx即可. Nginx服

目录 一.简介 二.脚本 一.简介 运维工作是一个比较复杂的工作,有时候面对上万条的日志,如何作分析?难道一条条的分析? 这估计看两眼就要打哈欠了吧?聪明的人会选择脚本,这就是为什么现在提倡自动化运维的原因吧,废话不多说,直接上脚本. 实现功能: 1.分析访问排名前N的ip地址 2.分析访问排名前N的url 3.分析访问排名前N的目标url 4.分析访问排名前N的终端类型 5.自动匹配排名前N的ip的归属地 注意:日志文件和分析脚本放在一个目录即可:日志文件输入绝对路径. 二.脚本 log_an

nginx的版本是1.2.1. 设置配置文件disableip.conf: server {     listen 80;     server_name _;     return500; } 这是最终使用的配置文件,也是网上找到的常见的配置之一,最初该conf文件在sites-available文件夹下,尝试使用各种参数均无法正常工作,最终尝试将disableip.conf文件放入conf.d文件夹下,这是因为在nginx.conf文件中: include /etc/nginx/conf.d

一.自动备份Mysql脚本: 如下脚本为mysql自动备份脚本,仅供参考,可以根据实际情况修改. #!/bin/sh #auto backup mysql #wugk #Define PATH定义变量 BAKDIR=/data/backup/mysql/`date +%Y-%m-%d` MYSQLDB=webapp MYSQLPW=backup MYSQLUSR=backup #must use root user run scripts 必须使用root用户运行,$UID为系统变量 if [

需求原因:nginx不具备日志切割功能,日志量较大,方便分析. 实现目的:完成nginx日志切割,并根据时间命名   简要命令: mv /usr/local/tengine/logs/access.log /usr/local/tengine/logs/access-date.log kill -USER1 Nginx主进程号.   解释:      通过mv命令重命名日志,并且通过kill -USER1 nginx-id的命令,告诉nginx需要写新的日志, 不然nginx不会在mv之后继续写

Nginx禁止ip访问可以防止指定IP访问我们的网站,本例子可以实现是防止单IP访问或IP网段访问了,非常的有用我们一起来看看吧. 常用的linux做法 iptables参考规则  代码如下 复制代码 iptables -I INPUT -p tcp –dport 80 -m –mac-soruce$MAC -j DROP 基于mac地址的iptables -I INPUT -p tcp –dport 80 -s $IP -j DROP 基于ip地址的 方法一, 首先建立下面的配置文件放在ngi

最近,自己业务进行上线,上线后,需要考虑的是对各种服务进行监控,包括(httpd服务,mysqld服务等),现在想以mysqld服务为例总结下那种方式的脚本最为专业和合理: (1).根据mysql的端口号来监控mysql的服务.(常见于监控mysql的本地服务) 比较常见的一个脚本: netstat -natup|grep mysqld|awk -F'[ :]+' '{print $5}' 上面是将mysqld的端口号进行了过滤,这个方法的缺点是:有可能是端口在,但是服务可能是不正常的.例如:系

最近公司网站被竞争对手用爬虫频繁访问,所以我们这边要禁止这些爬虫访问,我们通过nginx 指令就可以实现了 方法一:直接在LB机器上封IP 1.在 blocksip.conf 文件中加入要屏蔽的ip或者ip端 $ sudo vim /etc/nginx/blocksip.conf deny 180.168.74.26; deny 91.212.45.0/24; 2. 在nginx.conf中包含这个文件 $ sudo vim /etc/nginx/nginx.conf http { ......

关于nginx限制IP或IP段的问题2011-04-08 16:46:39 分类: LINUX 最近有同事问需要在nginx中针对一些IP和IP段限制访问,通过了解以下方法可以解决问题:   首先建立下面的配置文件放在nginx的conf目录下面,命名为ip.blacklist cat  ip.blacklist deny 192.168.1.11; deny 192.168.1.123; deny 10.0.1.0/24;   在nginx的配置文件nginx.conf中加入:include

我们在使用的时候会遇到很多的恶意IP攻击,这个时候就要用到Nginx 禁止IP访问了.下面我们就先看看Nginx的默认虚拟主机在用户通过IP访问,或者通过未设置的域名访问(比如有人把他自己的域名指向了你的ip)的时 候生效最关键的一点是,在server的设置里面添加这一行: listen 80 default; 后面的default参数表示这个是默认虚拟主机. Nginx 禁止IP访问这个设置非常有用. 比如别人通过ip或者未知域名访问你的网站的时候,你希望禁止显示任何有效内容,可以给他返回50

开机自动启动nginx 1.    扔脚本进去/etc/init.d/ 2.    授权     chmod +x nginx 3.    一旦抛出:binsh^M错误就执行编码改写     设置dos统一编码     (请看nginx脚本抛出binsh^M bad interpreter文档) 4.    添加到服务     chkconfig --add ningx          5.    随机启动脚本带动nginx开机启动     chkconfig --level 2345 ngi

在爬虫爬取过程中,网站会根据我们的IP和UA去确认到底是浏览器操作还是爬虫在操作,所以,为了让爬虫不被网站禁止,随机切换Ip 和UA是很重要的,因为这个类在各个爬虫中经常要用到,所以可以自已维护一份随机切换IP和UA的代码, 可以在爬虫工程目录中加入tools这个目录,这个目录中存放着这个爬虫所用到的一些工具, 目录结构如下: get_ip.py 代码如下: import requests import pymysql class GetIp(object): """从数据库

nginx切割日志脚本 #!/bin/bash #cut nginx log #2018年9月26日14:26:44 #by jiajiezhao ################################### LOG_NAME=access.log LOG_DIR=/usr/local/nginx/logs LOG_PID=/usr/local/nginx/logs/nginx.pid DATE=`date +%F` mv $LOG_DIR/${LOG_NAME} $LOG_DIR/$

Nginx禁止IP访问,只允许域名访问 我们在使用nginx的过程中会遇到很多的恶意IP攻击,这个时候就要用到Nginx 禁止IP访问了. 1.直接返回403错误 server { listen default_server; server_name _; return 403; } 或者返回500错误 server { listen default_server; server_name _; return 500; } 2.通过301跳转到主页 如果直接显示500或者403页面,导致用户体验

自动每天定时切割Nginx日志的脚本,很方便很好用,推荐给大家使用.本脚本也是参考了张宴老师的文章,再次感谢张宴老师.1.创建脚本/usr/local/nginx/sbin/cut_nginx_log.shvi /usr/local/nginx/sbin/cut_nginx_log.sh输入以下内容: #!/bin/bash # This script run at : # The Nginx logs path #edit: www.jbxue.com logs_path=”/home/www

nginx限制ip并发数,也是说限制同一个ip同时连接服务器的数量 1.添加limit_zone 这个变量只能在http使用 vi /usr/local/nginx/conf/nginx.conf limit_zone one $remote_addr 10m; 2.添加limit_conn 这个变量可以在http, server, location使用 我只限制一个站点,所以添加到server里面 vi /usr/local/nginx/conf/host/gaojinbo.com.conf 

如果你的笔记本经常在不同的地方使用,有些地方需要自动获取IP,而有些地方需要配置固定IP,每换一个地方都需要重新配置一遍,是不是感觉很麻烦呢? 下面介绍一种通过建立批处理文件来快速切换IP的方法: set 为自动获取,为手动配置: @echo 正在设置DNS,请耐心等候...... netsh interface ip set dns name="本地连接" static 192.168.0.1 primary )pause 把上面的内容复制到记事本里保存,然后把扩展名由txt改为ba