代理服务器代理服务器的配置与应用

代理服务器的配置与应用

代理服务器的配置与应用

第一节代理服务器概述

1  1什么是代理服务器

在CPIP网络中传统的通信过程是这样的:客户端向服务器请求数据服务器响应该请求,将数据传送给客户端在引入了代理服务器以后,这一过程变成了这样:客户端向服务器发起请求该请求被送到代理服务器;代理服务器分析该请求,先查看自己缓存中是否有请求数据如果有就直接传送给客户端如果没有就代替客户端向该服务器发出请求。服务器响应以后,代理服务器将响应的数据传送给客户端,同时在自己的缓存中保留一份该数据的拷贝这样再有客户端请求相同的数据时代理服务器就可以直接将数据传送给客户端,而不需要再向该服务器发起请求。

1.代理服务器的功能

一般说来,代理服务器具有以下的功能:

1通过缓存增加访问速度

随着Int  rne 的迅猛发展 网络带宽变得越来越珍贵。所以为了提高访问速度,好多I  P都提供代理服务器,通过代理服务器的缓存功能来加快网络的访问速度。一般说来大多数的代理服务器都支持H TP缓存,但是有的代理服务器也支持 TP缓存。在选择代理服务器时对于大多数的组织只需要H TT P缓存功能就足够了

通常,缓存有主动缓存被动缓存之分。所谓被动缓存,指的是代理服务器只在客户端请求数据时才将服务器返回的数据进行缓存如果数据过期了又有客户端请求相同数据时代理服务器又必须重新发起新的数据请求在将响应数据传送给客户端时又进行新的缓存所谓主动缓存,就是代理服务器不断地检查缓存中的数据,一旦有数据过期则代理服务器主动发起新的数据请求来更新数据。这样 当有客户端请求该数据时就会大大缩短响应时间。还需要说明的是对于数据中的认证信息,大多数的代理服务器都不会进行缓存的。

2。提供用私有 访问I  terne 的方法

IP地址是不可再生的宝贵资源,假如你只有有限的IP地址,但是需要提供整个组织的Intern  t访问能力那么,你可以通过使用代理服务器来实现这一点。

3。提高网络的安全性

这一点是很明显的 如果内部用户访问Intern  t都是通过代理服务器,那么代理服务器就成为进入I  t   net的唯一通道;反过来说,代理服务器也是Int   ne 访问内部网的唯一通道,如果你没有做反向代理则对于I  ter  et上的主机来说你的整个内部网只有代理服务器是可见的,从而大大增强了网络的安全性。

 3 代理服务器的分类及特点

通常的代理服务器分类方法,是从实现的机理分为线路层代理、应用层代理、智能线路层代理等等在这里我想从另外一个角度出发把代理服务器分为传统代理服务器和透明代理服务器。

我认为有必要好好搞清楚两者的区别只有真正明白了内在地机理,才能在遇到问题时有章可循 才不会一头雾水,不知从何解决问题。 因此 下面我们就通过具体的实例来说明。本章的写作思路来源于Pau   u  se  l所写的 PCHAIS—HOT。下面所举的例子也来源于该文章,我觉得我读该文的最大收获在于对内部网访问外部网以及外部网访问内部网的实现手段有了一个清晰的认识。 当然,这里所谓的内部网是指使用私有 P的内部网络。

我们的例子都基于以下假设

你的域名为samp  ecom你的内部网 1  2。 168。 1 用户通过pr    am    co 外部接口e   0:1。 2。 3 内部接口eth   19   68。 1  1)的代理服务器访问Inte  net换句话说,该代理服务器是唯一一台直接与 nt  rn  t和内部

代理服务器的配置与应用

网相连的机器。并假该设代理服务器上运行着某种代理服务器软件如squ  d)。假设内部网中某一客户机为cl    t。 sa  e。 c(19   168。  。 100

+— ---—---—-—-———+

内部网   9  168。  *)|  th1+-—-—---+eth  DD

 +-——--- --—— prxy  <=== ========〉 Intern  

  l ie  t19  168。 1。 10   +—-—-——-+

+—-—— ——-——--—-———+et  0 12  3

  h1:     1  8  。 1

 3。 1传统代理

在以上基础上我们做以下工作

1。代理服务软件被绑定到代理服务器的808 端口。

2 客户端浏览器被配置使用代理服务器的  80端口

3 客户端不需要配置DNS。

代理服务器上需要配置代理服务器

客户端不需要配置缺省路由。

当我们在客户端浏览器中打开一个we 请求 比如“”这时将陆续发生以下事件:

1。客户端使用某一端口 比如1025)连接代理服务器8  80端口请求web页面“”

2 代理服务器向DNS请求“”,得到相应的I 地址2   9     1  0然后代理服务器使用某一端口 比如1037 向该IP地址的8 端口发起w b连接请求请求web页面

 。收到响应的web页面后,代理服务器把该数据传送给客户端

客户端浏览器显示该页面。

从的角度看来连接是在1。 2。 34地1037端口和202。 9911。 1  0的 端口之间建立的。从cl ie  t的角度看来连接是在192。 1681  00的10  5端口和1。 2。 3  4的 080端口之间建立的。

    透明代理

透明代理的意思是客户端根本不需要知道有代理服务器的存在。

在以上基础上我们做以下工作

配置透明代理服务器软件运行在代理服务器的80  0端口。

2。配置代理服务器将所有对 0端口的连接重定向到8  8 端口。

3配置客户端浏览器直接连解到I  t  rnet。

4 在客户端配置好DNS。

配置客户端的缺省网关为  2。 1  。 11。

当我们在客户端浏览器中打开一个we 请求 比如“”这时将陆续发生以下事件:

1客户端向S请求“” 得到相应的IP地址2  2  9911   20。然后客户端使用某一端口(比如10  6 向该 P地址的 端口发起web连接请求请求e 页面。

2。 当该请求包通过透明代理服务器时,被重定向到代理服务器的绑定端口80  0。于是透明代理服务器用某一端口 比如108  向    911   20的 0端口发起web连接请求,请求web页面。

3 收到响应的we 页面后代理服务器把该数据传送给客户端。

4 客户端浏览器显示该页面。

从的角度看来,连接是在1  2  34地 08 端口和20 。  911    0的80端口之间建立的。从c  ient的角度看来,连接是在1    168  1。  00的1066端口和

02。 99  11  1  0的8 端口之间建立的。

代理服务器的配置与应用

以上就是传统代理服务器和透明代理服务器的区别所在

第二节各种代理服务器的比较

 in  x下的代理服务器软件很多,我从一个著名的l i  ux软件站点)查看了一下足有六十多个但是被广泛应用的只有Apache、  ocks、 s  u  d等几个实践证明是高性能的代理软件下面我们分别来比较一下这几个软件

2.   ac  e

p a c h 是世界上用的最广泛的H TT P服务器之所以用的最广泛是因为它强大的功能、高效率、安全性和速度。从1。  。 x版本开始 Apa  he开始包含了一个代理模块。用Ap  che作代理服务器的性能优势并不明显不建议使用

2.2 Socks

Sc k 是一种网络代理协议该协议可以让客户机通过Sc ks服务器获得对 n t  n  t的完全访问能力Sco  s在服务器和客户端之间建立一个安全的代理数据通道从客户的角度看来,Scoks是透明的从服务器的角度看来 Sock 就是客户端客户端不需要具有对In   r   的直接访问能力 也就是说,可以使用私有 P地址) 因为Sock 服务器能够把来自于客户端的连接请求重定向到I n  e r  e  。此外 S  ks服务器可以对用户连接请求进行认证,允许合法用户建立代理连接。 同理,    s也能防止非授权的In   rnet用户访问及的内部网络。所以常常把 c  当作防火墙来使用。

常见的浏览器如n   scape、 I 等可以直接使用Soc  s,并且我们也可以使用socsk5的所带的cl ien 来使那些不直接支持scks的i  ter  et软件使用 o  ks。

更多的资料可以参考S o c ks官方站点。

2 3 qui 

对于we 用户来说,Squ  是一个高性能的代理缓存服务器 Squid支持和HTTP协议。和一般的代理缓存软件不同,Squid用一个单独的、非模块化的、  /O驱动的进程来处理所有的客户端请求。

S    d将数据元缓存在内存中 同时也缓存DN 查询的结果,除此之外,它还支持非模块化的DNS查询对失败的请求进行消极缓存。  quid支持 S  支持访问控制。 由于使用了ICP(轻量 n    n  缓存协议) Sq  i 能够实现层叠的代理阵列从而最大限度地节约带宽。

   id由一个主要的服务程序squi 一个DS查询程序dns  er  e  几个重写请求和执行认证的程序 以及几个管理工具组成当Squid启动以后 它可以派生出预先指定数目的d  sserv  r进程而每一个dnsserver进程都可以执行单独的N 查询这样一来就大大减少了服务器等待NS查询的时间。

。 4选择

从上面的比较可以看出 Ap    主要功能是web服务器代理功能只不过是其一个模块而已,S o c ks虽然强大,但有欠灵活 因此我们着重推荐你使用 q  i d。下面的章节我们就一起来学习 q  id激动人心的特性及相关的安装与配置。

第三节安装Sq  id P  oxye  ver

3。 获取软件

你可以通过以下途径获取该软件

1 从 quid的官方站点下载该软件

2从你的l inu 发行版本中获取该软件

通常,S  uid软件包有两种:一种是源代码 下载后需要自己重新编译可执行文件 下载后只需解压就可以使用 另一种是就是 edHat所使用的 p包。下面我们分别讲讲这两种软件包的安装方法

.安装软件

我们以目前最新的稳定版本sq  id 。 3 STA L X为例。

代理服务器的配置与应用

.2。 1rm包的安装

1。进入/mnt/cdrm/R  dH  t/RPMS

执行 pm — vh sq  id    STABLE4—8。 i3  6 rp。

当然我们也可以在开始安装系统的过程中安装该软件

.2  2源代码包的安装

 。从下载s  ui  23  STABLE2  r  。 tar   z。

2。将该文件拷贝到/usr/l ca  目录。

3。解开该文件tar xvzf squid—23。 TBLE2srct    

4解开后在/usr/local生成一个新的目录squid 。 3 TA L   为了方便用v 命令将该目录重命名为s ui mv s  uid— 3。 STBLE   quid

5进入sq  id cd s uid

6。执行。 /config  re可以用/c nfg  r  —-p  e   x=/ irectoryyou/want 指定安装目录

系统缺省安装目录为/u  r/loc   / qu  d。

 执行 makeal l

8 执行  k  ins  al l

9安装结束后,squ  d的可执行文件在安装目录的bin子目录下配置文件在 tc子目录下。

第四节配置squid基础篇——让代理服务器跑起来

由于  dHat各方面的优势(包括易用性,稳定性等等 全世界范围内使用该发行版的用户比较多所以,我们下面的说明都是以R  dH  t6  1环境下 qu  d—  2  S ABLE—版本为主从我的使用经验看来该版本的squ  d要比其他版本稳定的多,以前的11  22版本也比较稳定,但是在功能及灵活性方面有所欠缺。sq  i 有一个主要的配置文件sq  id。 conf在 e at环境下所有 quid的配置文件位于/e  cs u  d子目录下。

4。 1常用的配置选项

因为缺省的配置文件有问题,所以我们必须首先修改该配置文件的有关内容 以便让squi 跑起来

下面我们来看一看squid。 co  f文件的结构以及一些常用的选项

 qu  d。  o  f配置文件的可以分为十三个部分,这十三个部分分别是

 。 N ETWOR OP  IONS 有关的网络选项

2OPTIONSHICH AF  ECTTHE NEIGHBO SE  EC IOALGORITHM 作用于邻居选择算法的有关选项

3。 OTIOSWHIH FETTH  CCH  SIZE (定义 ache大小的有关选项

4。 OG AND CAE   RECTRIES 定义日志文件的路径及 ac  e的目录)

5。 OTIONS FOR ET  RNALSU  PT  RGRAS 外部支持程序选项)

6 OPTION  FO TUNINTHEE(调整cache的选项

7 TIMEOUT  超时

8AC  SS CONTRO S 访问控制

9。 M  N  TR IVE PARAETER  管理参数

10 OPTIOS FOR THE CACHE  I  TRA  OSERVICE(cac  注册服务选项

11。 TPDAC   ERAROP   ONS(HT P加速选项)

代理服务器的配置与应用

 2MISEL AN OUS(杂项

13。 DE Y OO RAMETERS 延时池参数

虽然s  ui 的配置文件很庞大但是如果你只是为一个中小型网络提供代理服务,并且只准备使用一台服务器,那么你只需要修改配置文件中的几个选项。这些几个常用选项分别是

1.  tp_po  

说明:定义squ  d监听H T 客户连接请求的端口。缺省是3128如果使用HT D加速模式 则为8 。你可以指定多个端口,但是所有指定的端口都必须在一条命令行上。

2  cacheme(byte 

说明:该选项用于指定squ  d可以使用的内存的理想值。这部分内存被用来存储以下对象

I -Transi  obje    (传入的对象)

Ho  Obje  ts 热对象,即用户常访问的对象)

Ne  a  i  eC c   d objects 消极存储的对象

需要注意的是这并没有指明squid所使用的内存一定不能超过该值其实该选项只定义了squid所使用的内存的一个方面    id还在其他方面使用内存。所以 quid实际使用的内存可能超过该值。缺省值为8B。

3。 cche_ i  D  r tory—me Mbyts Lvel1 Lve  

说明指定squid用来存储对象的交换空间的大小及其目录结构可以用多个 ache_dir 命令来定义多个这样的交换空间,并且这些交换空间可以分布不同的磁盘分区。  di  ectory ”指明了该交换空间的顶级目录。如果你想用整个磁盘来作为交换空间,那么你可以将该目录作为装载点将整个磁盘mount上去。缺省值为/var  poo  /squid。 “Mbytes”定义了可用的空间总量。需要注意的是,squi 进程必须拥有对该目录的读写权力。 “Lev  l—1”是可以在该顶级目录下建立的第一级子目录的数目,缺省值为 。同理 “Level—2”是可以建立的第二级子目录的数目缺省值为2  6。为什么要定义这么多子目录呢这是因为如果子目录太少,则存储在一个子目录下的文件数目将大大增加,这也会导致系统寻找某一个文件的时间大大增加从而使系统的整体性能急剧降低。所以 为了减少每个目录下的文件数量我们必须增加所使用的目录的数量如果仅仅使用一级子目录则顶级目录下的子目录数目太大了,所以我们使用两级子目录结构。

那么怎么来确定你的系统所需要的子目录数目呢我们可以用下面的公式来估算

已知量:

D  = 可用交换空间总量(单位 )/交换空间数目

 =平均每个对象的大小=20k

N=平均每个二级子目录所存储的对象数目  25 

未知量

L1 一级子目录的数量

  =二级子目录的数量

计算公式:

L1 x  2= S/OS / N

注意这是个不定方程可以有多个解

4。 cl

说明:定义访问控制列表。

定义语法为acl acl  ameaclt   e   ri  g1 。  。acl ac   am aclt  pe"f  le  

代理服务器的配置与应用

当使用文件时该文件的格式为每行包含一个条目。ac  typ 可以是src ds    cdomain dstdoma   url_pattern  r  path a  ter  t  me port   oto me  ho  b  ows    ser中的一种。

分别说明如下

 r  指明源地址。可以用以下的方法指定ac  acl  ame  rc ip—    es / etma  k  。 。 客户 p地址)acl aclnamesrcaddr  -  dr2/ e mas   。 地址范围)d  指明目标地址。语法为a  l a   name  st ip-a   ress/n  tm sk   。 (即客户请求的服务器的 p 地址sr  doma  指明客户所属的域。语法为:a  l a   n  sr  domain  o  com  。 。 squid将根据客户ip反向查询DNS dstdoma  指明请求服务器所属的域。语法为:acl   l  m d    omai   ooco 。  由客户请求的UR 决定。

注意如果用户使用服务器i 而非完整的域名时,sq  id将进行反向的DS解析来确定其完整域名如果失败就记录为“no  e”。

  me指明访问时间语法如下

  l    name time [  ya   revs] [h1 m—h  :m2 hh mm—h :mm

 ay-abbre   

S— S    ay

—onda 

T  Tue  day

W— ednes ay

H- Thursd  

F  Friday

—Satu  day h1 m1 必须小于h :m2,表达示为[hh mm— h:mm 。port指定访问端口。可以指定多个端口 比如:acl acln m p   80   2  。 a  l acl  me port 0-1024   指定一个端口范围

 rto 指定使用协议。可以指定多个协议:ac  a   nae proto T  FTP method指定请求方法比如acl a  lnammeth d GE  POST  。

  htt a cess

说明根据访问控制列表允许或禁止某一类用户访问

如果某个访问没有相符合的项目,则缺省为应用最后一条项目的“非”。比如最后一条为允许,则缺省就是禁止所以,通常应该把最后的条目设为"d   y   l"或  al l al l”来避免安全性隐患。

4 2应用实例

假想情景某公司用 q   d作代理服务器,该代理服务器配置为P  I450256/。G,公司所用i 段为    3 /24,并且想用  80作为代理端口。

则相应的squid配置选项为:

1.htt_port

代理服务器的配置与应用http_ o  t 8080

2.cac  e_me

思路 由于该服务器只提供代理服务所以该值可以尽量设得大一些。ca  heem 1  4

3。 ac  e_ irirec   ry—Ne Mby  s Le  -1 Level2

思路硬盘为84的在安装系统时应该做好规划 为不同的文件系统划分可用空间。

在本例中我们可以这样来划分

/c  c  e   5

/c   he23  5G

/va  400M s

剩余部分

并且,在安装时我们尽量不安装不必要的包。这样在节约空间的同时可以提高系统的安全性和稳定性。下面我们来计算所需的第一级和第二级子目录数

已知量

DS 可用交换空间总量单位KB  交换空间数目7G/2=3500000KB

OS  平均每个对象的大小 2  

=平均每个二级子目录所存储的对象数目=256

未知量

L1 =一级子目录的数量

L2=二级子目录的数量

计算公式:

L1x L2= S/OS/NO=35  0  00/20256=68

我们取

L  =1 

 243

所以,我们的ca   e_ ir语句为cache_ i  / ache1350 M 1643cache ir/cache2 3  00M  64 

4.cl

思路通过src来定义acl acl al  w_ip      3。 4/25  。  5  。   5。 

  htt _access http_acces   l low a  l wi 

.3启动、停止squi .

配置并保存好s    d  onf后可以用以下命令启动s  id。s uid

或者使用Redat的启动脚本来启动 qui 

/ tc/rc d/i  it  d/s   i  start

同样地,你也可以用下列脚本停止运行squi 或重启动 qu  d。

etc/  c  d  ni  。 /squi   top

/ tc/rc din   ds     estart

第五节根据需求配置你的squid--进阶篇

5  1其它配置选项

在进行squid的一些高级应用之前我们有必要对其他有用的配置选项作一个全面的了解下面我们分类来讲一讲这些选项,用于某些特殊应用的选项我们将放在讲该种应用时来讲

代理服务器的配置与应用

。 1  1网络选项

1  tcp_incoming_ ddres tcp_u  g  inga  dress u  p_incom n _  d   ss ud outgoinga  dress

说明:tcp_in  omi  g_ ddr  ss指定监听来自客户或其他squ  d代理服务器的绑定ip地址;tcp utgoin _a   ress指定向远程服务器或其他s  u  d代理服务器发起连接的 p地址udpincm ng_add  ess为ICP套接字指定接收来自其他squid代理服务器的包的ip地址 dpo  t   ing_add  ess为ICP套接字指定向其他s  ui 代理服务器发送包的 p地址

缺省为没有绑定任何ip地址。该绑定地址可以用 p指定也可以用完整的域名指定。

5。   2交换空间设定选项

1。 c  che_s p  rcent —100

  ch _ ( e  cen   -100

说明   uid使用大量的交换空间来存储对象。那么,过了一定的时间以后,该交换空间就会用完,所以还必须定期的按照某种指标来将低于某个水平线的对象清除 quid使用所谓的“最近最少使用算法" LRU)来做这一工作。 当已使用的交换空间达到cache时,  qui 就根据L  U所计算的得到每个对象的值将低于某个水平线的对象清除这种清除工作一直进行直到已用空间达到c  c  es。这两个值用百分比表示,如果你所使用的交换空间很大的话,建议你减少这两个值得差距 因为这时一个百分点就可能是几百兆空间这势必影响 q  i 的性能。缺省为:c  che  0ca   es 95

m xim bject_  ze

说明大于该值得对象将不被存储。如果你想要提高访问速度,就请降低该值;如果你想最大限度地节约带宽 降低成本请增加该值。单位为K缺省值为:maximum_ b  e  t_size 4096 KB

。 1 3有关日志的选项

1。 cache_a  cess_log

说明指定客户请求记录日志的完整路径(包括文件的名称及所在的目录 ,该请求可以是来自一般用户的TP请求或来自邻居的IC请求。缺省值为cache_a  ce  _lo  /var/l    q  i /acce  s。 log

如果你不需要该日志可以用以下语句取消:c  che_acces _l g non 

2。 ca   e_storelog

说明:指定对象存储记录日志的完整路径包括文件的名称及所在的目录 该记录表明哪些对象被写到交换空间 哪些对象被从交换空间清除。缺省路径为c  che_l g/va / og/ q  id/ ach 。 log

如果你不需要该日志,可以用以下语句取消 cac  e_s  o  e_log non 

3。 cac  _log

说明指定s  ui 一般信息日志的完整路径包括文件的名称及所在的目录

缺省路径为:c  che_log /va /l gsquid/cach  log

4  cache_s

代理服务器的配置与应用

说明该选项指明每个交换空间的“  "日志的完整路径包括文件的名称及所在的目录 。该日志文件包含了存储在交换空间里的对象的元数据(metad  ta)通常 系统将该文件自动保存在第一个“  ache_di  ”说定义的顶级目录里但是你也可以指定其他的路径。如果你定义了多个“cac  ed  r”,则相应的日志文件可能是这样的

 ache_cache_ca  hes

后面的数字扩展名与指定的多个“cache_ i  ”一一对应

需要注意的是最好不要删除这类日志文件否则sq   d将不能正常工作。

5pid_

说明指定记录s  uid进程号的日志的完整路径包括文件的名称及所在的目录 。缺省路径为pid_/var/r  n/squid p  d

如果你不需要该文件可以用以下语句取消:p  d_  o  e

6。 debu _option 

说明控制作日志时记录信息的多寡。可以从两个方面控制:section控制从几个方面作记录; lev  l控制每个方面的记录的详细程度。推荐的方式也是缺省方式是 de  g_o   io  s A L 1

即,对每个方面都作记录但详细程度为1(最低)

7log_  dno   f 

说明:控制在a  ce  slog 中对用户地址的记录方式。打开该选项时,squid记录客户的完整域名取消该选项时,   ui 记录客户的ip地址。注意如果打开该选项会增加系统的负担 因为squ  d还得进行客户i 的DNS查询。缺省值为 l _fq  n off

5。 1。 4有关外部支持程序的选项

 。

说明设置登录匿名ft p服务器时的提供的电子邮件地址登录匿名 t p服务器时要求用你的电子邮件地址作为登录口令更多的信息请参看本书的相关章节)需要注意的是,有的匿名ft p服务器对这一点要求很苛刻,有的甚至会检查你的电子邮件的有效性缺省值为  uid

2

说明设置ft p列表的宽度,如果设得太小将不能的浏览到长文件名缺省值为 32

3。 c  che_dn _pro   am

说明:指定DNS查询程序的完整路径包括文件的名称及所在的目录)缺省路径为:cache_dn program/us /l ibsquid/dn  s  rv  r

4dns_ch  ldren

说明:设置DNS查询程序的进程数对于大型的登录服务器系统建议该值至少为 0。最大值可以是32缺省设置为个。注意如果你任意的降低该值可能会使系统性能急剧降低,因为sq  id主进程要等待域名查询的结果没有必要减少该值 因为NS查询进程并不会消耗太多的系统的资源。

5  dns_nameservers

说明指定一个DNS服务器列表强制    d使用该列表中的DS服务器而非使用/e  c/res lv  co  文件中定义的DNS服务器。你可以这样指定多个DNS服务器dns_n me  er  er  10。 。 0  1 1  2  17 。 0。 4

缺省设置为 dn _ am serv  rs no  e

。 unl inkd_progr m

说明指定文件删除进程的完整路径。