Squid的高度匿名設置

有些網頁禁止使用代理訪問,可以在squid通過header_access進行高度匿名設置,來隱藏使用代理的特徵,代碼如下:

header_access Allow allow all
header_access Authorization allow all
header_access WWW-Authenticate allow all
header_access Proxy-Authorization allow all
header_access Proxy-Authenticate allow all
header_access Content-Encoding allow all
header_access Content-Length allow all
header_access Content-Type allow all
header_access Date allow all
header_access Expires allow all
header_access Host allow all
header_access If-Modified-Since allow all
header_access Last-Modified allow all
header_access Location allow all
header_access Pragma allow all
header_access Accept allow all
header_access Accept-Charset allow all
header_access Accept-Encoding allow all
header_access Accept-Language allow all
header_access Content-Language allow all
header_access Mime-Version allow all
header_access Retry-After allow all
header_access Title allow all
header_access Connection allow all
header_access Proxy-Connection allow all
header_access Cookie allow all
header_access Set-Cookie allow all
header_access User-Agent allow all # 可以註釋掉這個隱匿瀏覽器信息
header_access All deny all

然後在http://kojiki.server.ne.jp/etc/pj235.cgi?en測試一下看看,匿名的級別是不是已經提高到1了。

不過,這只是讓http的header隱匿了proxy信息,ip還是屬於“hosting provider network”,對於一些嚴格的網站還是不能訪問的,這就沒有辦法啦,老老實實去掉代理訪問吧。

補充

俗話說過猶不及,上面的配置實際上是將header開啟了一個白名單模式,只允許指定的頭部信息,這其實是不符合HTML標準的,訪問某些網站反而會被“403 Forbidden”,比如:http://www.mobile01.com/,因此还是对header进行黑名单式的处理比较好,禁止带有proxy特征的信息:

header_access Cache-Control deny all
header_access From deny all
header_access Server deny all
header_access Link deny all
header_access Via deny all
header_access X-Forwarded-For deny all

这样匿名等级依然很高,可以訪問那些no proxy的網站,對於MOBILE01這類網站也能兼顧。

從源代碼編譯Squid使之支持https代理

Debian系統下用aptitude安裝的預編譯的squid軟件包並不支持https代理,如需要使用SSL加密的https代理則需要通過stunnel來實現。其實squid很早就開始支持https加密代理了,只是一般預編譯的軟件包都沒有加入–enable-ssl這個參數。我們可以自己從源代碼編譯安裝squid,使之實現這一功能,這樣就不需要通過stunnel來中轉了。

1 編譯安裝squid

1.1 準備編譯環境

sudo aptitude install build-essential zlib1g-dev libssl-dev

因為編譯打開的選項比較多,可能還需要很多其他的依賴包,用這個命令一次搞定這些依賴包:

sudo aptitude build-dep squid

1.2 開始編譯

下載源代碼,squid3目前性能一般,我們還是編譯squid 2.7的穩定版:

cd /usr/src
wget http://www.squid-cache.org/Versions/v2/2.7/squid-2.7.STABLE9.tar.gz
tar zxvf squid-2.7.STABLE9.tar.gz
cd squid-2.7.STABLE9

root環境下,開始編譯源代碼:

./configure --prefix=/usr --exec_prefix=/usr --bindir=/usr/sbin --sbindir=/usr/sbin --libexecdir=/usr/lib/squid --sysconfdir=/etc/squid --localstatedir=/var/spool/squid --datadir=/usr/share/squid --enable-async-io --with-pthreads --enable-storeio=ufs,aufs,coss,diskd,null --enable-linux-netfilter --enable-arp-acl --enable-epoll --enable-removal-policies=lru,heap --enable-snmp --enable-delay-pools --enable-htcp --enable-cache-digests --enable-referer-log --enable-useragent-log --enable-auth=basic,digest,ntlm,negotiate --enable-negotiate-auth-helpers=squid_kerb_auth --enable-carp --enable-follow-x-forwarded-for --with-large-files --with-maxfd=65536 --enable-ssl --with-openssl

其中“–with-openssl=/usr/include/openssl”是openssl的安裝位置,根據實際情況作調整。另外,本次編譯所打開的選項與安裝位置跟debian官方源中的squid包一致,只是增加了SSL加密的功能,因此編譯安裝後的目錄與操作跟從官方源安裝的squid一樣。

如果沒有報錯,編譯後安裝即可:

make
make install

使用SSL加密代理,squid的配置文件中这么设置:

https_port 443 cert=/etc/squid/ssl.crt key=/etc/squid/ssl.key

“cert=”, “key=”的位置填入證書的實際位置即可。其他配置可以參看這篇日誌:Squid的配置說明

1.3 编译ncsa_auth

如需要使用squid的ncsa_auth認證功能,還需要編譯ncsa_auth程序

cd helpers/basic_auth/NCSA
make
cp ncsa_auth /usr/lib/squid

具體認證方式可以參看這篇日誌:設置squid的訪問密碼

2 Squid的自動啟動腳本

從源代碼編譯的squid在系統重新啓動後不會自動啓動,我們需要編輯一個自動啟動腳本,同樣是root環境下:

vim /etc/init.d/squid

插入以下配置:

#! /bin/sh
#
# squid		Startup script for the SQUID HTTP proxy-cache.
#
#
### BEGIN INIT INFO
# Provides:          squid
# Required-Start:    $network $remote_fs $syslog
# Required-Stop:     $network $remote_fs $syslog
# Should-Start:      $named
# Should-Stop:       $named
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: Squid HTTP Proxy
### END INIT INFO

NAME=squid
DAEMON=/usr/sbin/squid
LIB=/usr/lib/squid
PIDFILE=/var/run/$NAME.pid
SQUID_ARGS="-D -YC"

[ ! -f /etc/default/squid ] || . /etc/default/squid

. /lib/lsb/init-functions

PATH=/bin:/usr/bin:/sbin:/usr/sbin

[ -x $DAEMON ] || exit 0

grepconf () {
	w=" 	" # space tab
	sq=/etc/squid/squid.conf
	# sed is cool.
	res=`sed -ne '
		s/^'$1'['"$w"']\+\([^'"$w"']\+\).*$/\1/p;
		t end;
		d;
		:end q' < $sq`
	[ -n "$res" ] || res=$2
	echo "$res"
}

grepconf2 () {
	w=" 	" # space tab
	sq=/etc/squid/$NAME.conf
	# sed is cool.
	res=`sed -ne '
		s/^'$1'['"$w"']\+[^'"$w"']\+['"$w"']\+\([^'"$w"']\+\).*$/\1/p;
		t end;
		d;
		:end q' < $sq`
	[ -n "$res" ] || res=$2
	echo "$res"
}

#
#	Try to increase the # of filedescriptors we can open.
#
maxfds () {
	[ -n "$SQUID_MAXFD" ] || return
	[ -f /proc/sys/fs/file-max ] || return 0
	global_file_max=`cat /proc/sys/fs/file-max`
	minimal_file_max=$(($SQUID_MAXFD + 4096))
	if [ "$global_file_max" -lt $minimal_file_max ]
	then
		echo $minimal_file_max > /proc/sys/fs/file-max
	fi
	ulimit -n $SQUID_MAXFD
}

start () {
	cdr=`grepconf2 cache_dir /var/spool/$NAME`
	ctp=`grepconf cache_dir ufs`

	case "$cdr" in
		[0-9]*)
			log_failure_msg "squid: squid.conf contains 2.2.5 syntax - not starting!"
			log_end_msg 1
			exit 1
			;;
	esac

	#
    # Create spool dirs if they don't exist.
    #
	if [ -d "$cdr" -a ! -d "$cdr/00" ] || [ "$ctp" = "coss" -a ! -w "$cdr" ]
	then
		log_warning_msg "Creating squid cache structure"
		$DAEMON $SQUID_ARGS -z
	fi

	if [ "$CHUID" = "" ]; then
		CHUID=root
	fi

	maxfds
	umask 027
	start-stop-daemon --quiet --start \
		--pidfile $PIDFILE \
		--chuid $CHUID \
		--exec $DAEMON -- $SQUID_ARGS < /dev/null
	return $?
}

stop () {
	PID=`cat $PIDFILE 2>/dev/null`
	start-stop-daemon --stop --quiet --pidfile $PIDFILE --name squid
	#
	#	Now we have to wait until squid has _really_ stopped.
	#
	sleep 2
	if test -n "$PID" && kill -0 $PID 2>/dev/null
	then
		log_action_begin_msg " Waiting"
		cnt=0
		while kill -0 $PID 2>/dev/null
		do
			cnt=`expr $cnt + 1`
			if [ $cnt -gt 24 ]
			then
				log_action_end_msg 1
				return 1
			fi
			sleep 5
			log_action_cont_msg ""
		done
		log_action_end_msg 0
		return 0
	else
		return 0
	fi
}

case "$1" in
    start)
	log_daemon_msg "Starting Squid HTTP proxy" "squid"
	if start ; then
		log_end_msg $?
	else
		log_end_msg $?
	fi
	;;
    stop)
	log_daemon_msg "Stopping Squid HTTP proxy" "squid"
	if stop ; then
		log_end_msg $?
	else
		log_end_msg $?
	fi
	;;
    reload|force-reload)
	log_action_msg "Reloading Squid configuration files"
	$DAEMON -k reconfigure
	log_action_end_msg 0
	;;
    restart)
	log_daemon_msg "Restarting Squid HTTP proxy" "squid"
	stop
	if start ; then
		log_end_msg $?
	else
		log_end_msg $?
	fi
	;;
    status)
	status_of_proc -p "$PIDFILE" "$DAEMON" squid && exit 0 || exit $?
	;;
    *)
	echo "Usage: /etc/init.d/$NAME {start|stop|reload|force-reload|restart|status}"
	exit 3
	;;
esac

exit 0

更改權限,加入系統自動啟動服務:

chmod 755 /etc/init.d/squid
insserv -v -d /etc/init.d/squid

更新:

1、如果是在ubuntu 12.04等openssl版本為1.0以上的系統中編譯會出錯,因為openssl 1.0開始已經不支持SSLv2,可以手動安裝0.98版本的libssl-dev和libssl包,詳情看這篇日誌:「Squid編譯過程中關於SSLv2出错的問題

本文參考了以下網頁:

[1] squid-cache.org. Squid configuration directive https_port. http://www.squid-cache.org/Doc/config/https_port/
[2] squid-cache wiki. Compiling Squid. http://wiki.squid-cache.org/SquidFaq/CompilingSquid

Debian上架設Spdy Proxy代理服務

1 安裝Node.js

debian上安裝node.js的穩定版需要從源代碼編譯,root環境下,先安裝編譯所必要的軟件包

aptitude install python g++ make

然後下載源代碼並編譯:

cd /usr/src
mkdir ./nodejs && cd $_
wget -N http://nodejs.org/dist/node-latest.tar.gz
tar xzvf node-latest.tar.gz && cd `ls -rd node-v*`
./configure
make install

ubuntu下安裝node.js則相對簡單,無需編譯,添加一個源並安裝即可,同樣是root環境:

aptitude install python-software-properties
add-apt-repository ppa:chris-lea/node<b>.</b>js
aptitude update
aptitude install nodejs npm

2 安裝spdy proxy

安裝好node.js之後,安裝spdy proxy只需一個命令就可以了

npm install -g spdyproxy

然後就是準備證書了,還是推薦startssl.com申請免費的ssl證書,啟動使用如下命令:

spdyproxy -k ssl.key -c ssl.crt -p 44300 -U username -P password
# -k 後是私鈅,-c 簽署好的證書,用絕對路徑,防止出錯
# -p 後是端口,-U -P分別是用戶名和密碼

如果需要後台運行可以用nohup來實現:

nohup spdyproxy -k ssl.key -c ssl.crt -p 44300 -U username -P password &

如需指定日誌的輸出位置則:

nohup spdyproxy -k ssl.key -c ssl.crt -p 44300 -U username -P password > spdy.log 2>&1 &

這樣就有了一個端口為44300的SSL加密代理了,國內推薦用Chrome+SwitchySharpWhtielist PAC使用。

已知問題:

1、貌似spdy proxy執行效率不高,訪問vimeo.com的時候經常會卡頓,此時服務器對其他請求的響應也會非常緩慢,換了幾個vps都這樣(包括內存比較大的kvm vps)。因此還是推薦squid+stunnel的方式。

本文參考了以下網頁:

[1] Joyent. Installing Node.js via package manager. https://github.com/joyent/node/wiki/Installing-Node.js-via-package-manager
[2] Ilya Grigorik. node-spdyproxy. https://github.com/igrigorik/node-spdyproxy

Squid+Stunnel實現SSL加密代理

服務器環境是ramhost LA機房,kvm,debian 6.0,内存较小,256MB

1 squid的安裝與配置

1.1 安裝squid

sudo aptitude install squid

debian下使用上述命令安裝的squid是2.7版本,ubuntu下則是的squid3,debian如果需要安裝squid3,則需用下面的命令安裝,兩者配置可能不同。

sudo aptitude install squid3

squid的默認配置文件註釋非常豐富,有幾千行,有需要可以仔細閱讀,備份保存,並修改權限予以保護,方便日後查閱:

sudo cp /etc/squid/squid.conf /etc/squid/squid.conf.old
sudo chmod a-w /etc/squid/squid.conf.old

1.2 squid的配置

下面是一個簡單的squid configuration的配置文件,因為主要是用來結合stunnel實現加密代理,遠程不直接連接squid的http代理,所以只保留本機連接。

vim /etc/squid/squid.conf

輸入以下配置:

# 端口
http_port 3128

# 網絡控制
acl all src 0/0
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl Safe_ports port 80 21 443 563 70 210 280 488 591 777 1025-65535
acl SSL_ports port 443
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny all

hierarchy_stoplist cgi-bin ?

# 緩存內存值
cache_mem 64 MB

# 允許最小文件請求  
minimum_object_size 0 KB
# 允許最大文件請求  
maximum_object_size 4096 KB
cache_swap_low 90
cache_swap_high 95

# 設置緩存目錄大小為2048MB,根據實際情況設定,一般來說,每GB緩存需要消耗10MB內存。squid本身還要消耗約15MB內存,加上前面配置的內存緩存,在本例中大約需要10*2+15+64=99MB的內存。squid標准配置推薦服務器本身的內存至少是這個總消耗內存的一倍。
cache_dir ufs /var/squid/cache 2048 16 256
coredump_dir /var/squid/cache

# 相關日誌
access_log /var/squid/logs/access.log
cache_log /var/squid/logs/cache.log
cache_store_log /var/squid/logs/cache_store.log
pid_filename  /var/squid/logs/squid.pid

# 哪些不缓存  
acl QUERY urlpath_regex cgi-bin .php .cgi  
cache deny QUERY

# 主機名稱
visible_hostname yourhostname

# IP緩存的設置值
ipcache_size 1024
ipcache_low 90
ipcache_high 95

1.3 配置squid的緩存目錄並啟動

新建squid的緩存目錄、日誌目錄,這兩個目錄可以根據實際情況設置,但需於上述配置文件匹配。

sudo mkdir /var/squid
cd /var/squid
sudo mkdir cache logs

squid默認的用戶組是proxy,更改目錄歸屬使squid進程可以讀取寫入:

chown -R proxy:proxy /var/squid

檢查配置文件是否有錯:

sudo squid -k parse

如果沒有任何提示的話,則配置文件正確,如有提示出錯,則做相應調整。

初始化cache目錄,並啟動squid服務

sudo squid -z
sudo squid

2 stunnel的安裝、配置

利用stunnel實現ssl加密需要有相關證書,可以在startssl.com申請免費證書,也可以自己製作,自己製作的證書本地也需要倒入相關證書。

2.1 安裝stunnel

sudo aptitude install stunnel

stunnel是通過/etc/init.d/stunnel4來啟動的,修改stunnel4配置文件,允許stunnel自動啟動

sudo vim /etc/default/stunnel4

將ENABLED=0後的值改為1,保存退出:

ENABLED=1

2.2 配置stunnel並啟動

sudo vim /etc/stunnel/stunnel.conf

將配置文件改成:

; 在這裡配置證書和私鈅的位置,如果證書和私鈅已經合成一個文件則將key那一行註釋掉
cert = /etc/stunnel/ssl.crt
key = /etc/stunnel/ssl.key

; 加密方式 (all, SSLv2, SSLv3, TLSv1)
sslVersion = SSLv3

chroot = /var/lib/stunnel4/
setuid = stunnel4
setgid = stunnel4
pid = /stunnel4.pid

socket = l:TCP_NODELAY=1
socket = r:TCP_NODELAY=1
socket = l:SO_LINGER=1:1
socket = r:SO_LINGER=1:1
compression = zlib

client = no ;作為服務端,如果是客戶端則為yes

[squid]
accept = 443 ;stunnel的連接端口,不要於本機其他進程使用的端口衝突
connect = 3128 ;squid的端口,於squid的配置匹配
TIMEOUTclose = 0 ;這條很重要,如沒有,有些頁面響應會非常慢

配置文件中其他諸如[pop3s]等不需要的連接方式可以全部註釋掉,保存退出,並啟動服務:

sudo /etc/init.d/stunnel4 restart

至此利用ssl加密的https代理服務器就假設好了。

3 如何使用SSL加密代理

3.1 WebVPN方式

比較推薦這種方式,因為目前我們的網絡生活90%以上在瀏覽器中,尤其推薦Chrome瀏覽器。

Chrome很早開始就支持https proxy了,利用Chrome + SwitchySharp + WhiteList最為方便。具體方法不在此敘述,可以參看以下幾個網頁:

White List:https://github.com/n0wa11/gfw_whitelist

WebVPN比較詳細的一個介紹:http://n0wa11.github.com/blog/Using-Chrome-and-WebVPN-to-Learn-Scaling-GFW-in-5-Minutes.html

3.2 解密stunnel,轉化為本地代理

MAC系統可以使用GoAgentX,下載地址:https://github.com/ohdarling/GoAgentX/wiki

GoAgentX是一個很棒的軟件。項目主頁在此:https://github.com/ohdarling/GoAgentX

本文參考了以下網頁:

[1] 鳥哥. 區網控制者:Proxy 伺服器. http://linux.vbird.org/linux_server/0420squid.php
[2] Paveo. 用 Stunnel 保护隐私. https://w3.owind.com/pub/%E7%94%A8-stunnel-%E4%BF%9D%E6%8A%A4%E9%9A%90%E7%A7%81/