Apr 9
测试环境:Ubuntu 10.04

1.安装apache2.0

sudo apt-get install apache2

安装过程就不多说了

安装后在浏览器中打开:

http://localhost/

或者http://127.0.0.1

如果出现It works!那证明OK了



2.安装PHP

依次在终端打开:

sudo apt-get install php5 //安装PHP5

sudo apt-get install libapache2-mod-php5 //配置APACHE+PHP

sudo /etc/init.d/apache2 restart //重启APACHE

测试:

打开gksudo gedit /var/www/testphp.php

然后随意输入点东西(我输入的是SD)再保存。

然后在浏览器中输入http://127.0.0.1/testphp.php或者http://localhost/testphp.php

如果显示出你输入的东西即为成功



3.安装MYSQL

sudo apt-get install mysql-server

安装完成按提示设置root密码

4、让apache、php支持 mysql

sudo apt-get install libapache2-mod-auth-mysql

sudo apt-get install php5-mysqlsudo /etc/init.d/apache2 restart

至此apache2+php 5.2.4.2+mysql5.0.51的环境就完成了。


网站目录:/var/www
apache2目录:/etc/apache2

a2ensite bbs

a2ensite bbsproxy

/etc/init.d/apache2 restart

http://115.47.13.181:8801/webroot_bbs_shanglin_20130328.zip
Tags: , , ,
Apr 9
因为我需要的服务器最终会被“抛弃”在实验室的某个角落,无论是后期设置还是维护的需要,都必须安装一个远程管理的工具。在 Linux 系统中,不二的选择就是 openssh 了。在 Ubuntu 中安装 openssh 实在是再简单不过的一件事情了,下面的内容也只是纯记录,给我这个菜鸟备个份。如果是高手直接绕过就好。

安装前的准备

Ubuntu 之所以好用,就是因为它继承了 debian 的 apt 系统,这一点相信您在昨天装系统的教程中已经感受到了。但是 apt 需要依赖网络,昨天我们装好的系统是暂时上不了网的,我们需要先设置一下。

首先,激活服务器的网卡,命令如下:

sudo nano /etc/network/interfaces

在 interfaces 中添加以下内容:

auto eth0
iface eth0 inet static
address 202.113.235.181
netmask 255.255.255.0
gateway 202.113.235.1
这其中,斜体部分标注的 IP 地址是我服务器的设置,您需要根据您的具体情况修改。当然,如果您的服务器使用的是 DHCP 来分配 IP 地址,只需要写上 iface eth0 inet dhcp 就可以了,无需设置 address/netmask/gateway。

然后,修改 resolv.conf 配置 DNS 服务器:

sudo nano /etc/resolv.conf

添加您的 DNS 服务器地址:

nameserver 202.113.16.10
nameserver 202.113.16.11
完成后,重新启动 networking 服务:

sudo /etc/init.d/networking restart

这样应该就可以连通网络了。如果您使用的是 ADSL,可能还需要装上 pppoe 之类的东西,考虑到服务器很少用这样的配置,这里就不讨论了,需要的话可以在网上查找。

安装和设置 OpenSSH Server

Ubuntu 下安装 OpenSSH Server 是无比轻松的一件事情,需要的命令只有一条:

sudo apt-get install openssh-server

随后,Ubuntu 会自动下载并安装 openssh server,并一并解决所有的依赖关系。当您完成这一操作后,您可以找另一台计算机,然后使用一个 SSH 客户端软件(强烈推荐 PuTTy),输入您服务器的 IP 地址。如果一切正常的话,等一会儿就可以连接上了。并且使用现有的用户名和密码应该就可以登录了。

事实上如果没什么特别需求,到这里 OpenSSH Server 就算安装好了。但是进一步设置一下,可以让 OpenSSH 登录时间更短,并且更加安全。这一切都是通过修改 openssh 的配置文件 sshd_config 实现的。

首先,您刚才实验远程登录的时候可能会发现,在输入完用户名后需要等很长一段时间才会提示输入密码。其实这是由于 sshd 需要反查客户端的 dns 信息导致的。我们可以通过禁用这个特性来大幅提高登录的速度。首先,打开 sshd_config 文件:

sudo nano /etc/ssh/sshd_config

找到 GSSAPI options 这一节,将下面两行注释掉:

#GSSAPIAuthentication yes
#GSSAPIDelegateCredentials no
然后重新启动 ssh 服务即可:

sudo /etc/init.d/ssh restart

再登录试试,应该非常快了吧

利用 PuTTy 通过证书认证登录服务器

SSH 服务中,所有的内容都是加密传输的,安全性基本有保证。但是如果能使用证书认证的话,安全性将会更上一层楼,而且经过一定的设置,还能实现证书认证自动登录的效果。

首先修改 sshd_config 文件,开启证书认证选项:

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile %h/.ssh/authorized_keys
修改完成后重新启动 ssh 服务。

下一步我们需要为 SSH 用户建立私钥和公钥。首先要登录到需要建立密钥的账户下,这里注意退出 root 用户,需要的话用 su 命令切换到其它用户下。然后运行:

ssh-keygen

这里,我们将生成的 key 存放在默认目录下即可。建立的过程中会提示输入 passphrase,这相当于给证书加个密码,也是提高安全性的措施,这样即使证书不小心被人拷走也不怕了。当然如果这个留空的话,后面即可实现 PuTTy 通过证书认证的自动登录。

ssh-keygen 命令会生成两个密钥,首先我们需要将公钥改名留在服务器上:

cd ~/.ssh
mv id_rsa.pub authorized_keys
然后将私钥 id_rsa 从服务器上复制出来,并删除掉服务器上的 id_rsa 文件。

服务器上的设置就做完了,下面的步骤需要在客户端电脑上来做。首先,我们需要将 id_rsa 文件转化为 PuTTy 支持的格式。这里我们需要利用 PuTTyGEN 这个工具:

点击 PuTTyGen 界面中的 Load 按钮,选择 id_rsa 文件,输入 passphrase(如果有的话),然后再点击 Save PrivateKey 按钮,这样 PuTTy 接受的私钥就做好了。

打开 PuTTy,在 Session 中输入服务器的 IP 地址,在 Connection->SSH->Auth 下点击 Browse 按钮,选择刚才生成好的私钥。然后回到 Connection 选项,在 Auto-login username 中输入证书所属的用户名。回到 Session 选项卡,输入个名字点 Save 保存下这个 Session。点击底部的 Open 应该就可以通过证书认证登录到服务器了。如果有 passphrase 的话,登录过程中会要求输入 passphrase,否则将会直接登录到服务器上,非常的方便。
Tags:
Mar 30
安装PPTP软件:
apt-get install pptpd

修改/etc/pptpd.conf配置文件
localip  192.168.1.201  
remoteip 192.168.1.202-245

修改/etc/ppp/options配置文件

ms-dns 8.8.8.8  
ms-dns 8.8.4.4


修改/etc/ppp/chap-secrets文件,设置密码


设置IPV4转发/etc/sysctl.conf
#net.ipv4.ip_forward=1


sudo sysctl -p

NAT转发:

sudo iptables -t nat -A POSTROUTING -o eth0 -s 192.168.120.234 -j SNAT --to-source 199.193.89.211
Tags: , ,
Apr 24

2012-4-24 11:25:37 org.apache.catalina.core.ApplicationDispatcher invoke
严重: Allocate exception for servlet probe
java.lang.SecurityException: Servlet of class org.jstripe.tomcat.probe.ProbeServlet is privileged and cannot be loaded by this web application
at org.apache.catalina.core.StandardWrapper.loadServlet(StandardWrapper.java:1134)



在tomcat/conf/server.xml:


<Context privileged="true" otherparameters.... />    

Apr 23
这几天一直在关注和学习一些大型网站的架构,希望有一天自己也能设计一个高并发、高容错的系统并能应用在实践上。今天在网上找架构相关的资料时,看到一个被和谐的视频网站YouTube的架构分析,看了以后觉得自己又向架构走近了一步,于是赶快拿出来与大家一起分享。 

YouTube发展迅速,每天超过1亿的视频点击量,但只有很少人在维护站点和确保伸缩性。这点和PlentyOfFish类似,少数人维护庞大系统。是什么原因呢?放心绝对不是靠人品,也不是靠寂寞,下面就来看看YouTube的整体技术架构吧。 

平台 
     
Apache 
Python 
Linux(SuSe) 
MySQL 
psyco,一个动态的Python到C的编译器 
lighttpd代替Apache做视频查看

状态 

支持每天超过1亿的视频点击量 
成立于2005年2月 
于2006年3月达到每天3千万的视频点击量 
于2006年7月达到每天1亿的视频点击量 
2个系统管理员,2个伸缩性软件架构师 
2个软件开发工程师,2个网络工程师,1个DBA

Web服务器 

1,NetScaler用于负载均衡和静态内容缓存 
2,使用mod_fast_cgi运行Apache 
3,使用一个Python应用服务器来处理请求的路由 
4,应用服务器与多个数据库和其他信息源交互来获取数据和格式化html页面 
5,一般可以通过添加更多的机器来在Web层提高伸缩性 
6,Python的Web层代码通常不是性能瓶颈,大部分时间阻塞在RPC 
7,Python允许快速而灵活的开发和部署 
8,通常每个页面服务少于100毫秒的时间 
9,使用psyco(一个类似于JIT编译器的动态的Python到C的编译器)来优化内部循环 
10,对于像加密等密集型CPU活动,使用C扩展 
11,对于一些开销昂贵的块使用预先生成并缓存的html 
12,数据库里使用行级缓存 
13,缓存完整的Python对象 
14,有些数据被计算出来并发送给各个程序,所以这些值缓存在本地内存中。这是个使用不当的策略。
应用服务器里最快的缓存将预先计算的值发送给所有服务器也花不了多少时间。只需弄一个代理来监听更改,预计算,然后发送。
视频服务 

1,花费包括带宽,硬件和能源消耗 
2,每个视频由一个迷你集群来host,每个视频被超过一台机器持有 
3,使用一个集群意味着: 
   -更多的硬盘来持有内容意味着更快的速度 
   -failover。如果一台机器出故障了,另外的机器可以继续服务 
   -在线备份 
4,使用lighttpd作为Web服务器来提供视频服务: 
   -Apache开销太大 
   -使用epoll来等待多个fds 
   -从单进程配置转变为多进程配置来处理更多的连接 
5,大部分流行的内容移到CDN: 
  -CDN在多个地方备份内容,这样内容离用户更近的机会就会更高 
  -CDN机器经常内存不足,因为内容太流行以致很少有内容进出内存的颠簸 
6,不太流行的内容(每天1-20浏览次数)在许多colo站点使用YouTube服务器 
  -长尾效应。一个视频可以有多个播放,但是许多视频正在播放。随机硬盘块被访问 
  -在这种情况下缓存不会很好,所以花钱在更多的缓存上可能没太大意义。 
  -调节RAID控制并注意其他低级问题 
  -调节每台机器上的内存,不要太多也不要太少  

视频服务关键点 
     
1,保持简单和廉价 
2,保持简单网络路径,在内容和用户间不要有太多设备 
3,使用常用硬件,昂贵的硬件很难找到帮助文档 
4,使用简单而常见的工具,使用构建在Linux里或之上的大部分工具 
5,很好的处理随机查找(SATA,tweaks)
缩略图服务
1,做到高效令人惊奇的难 
2,每个视频大概4张缩略图,所以缩略图比视频多很多 
3,缩略图仅仅host在几个机器上 
4,持有一些小东西所遇到的问题: 
   -OS级别的大量的硬盘查找和inode和页面缓存问题 
   -单目录文件限制,特别是Ext3,后来移到多分层的结构。内核2.6的最近改进可能让 Ext3允许大目录,但在一个文件系统里存储大量文件不是个好主意 
   -每秒大量的请求,因为Web页面可能在页面上显示60个缩略图 
   -在这种高负载下Apache表现的非常糟糕 
   -在Apache前端使用squid,这种方式工作了一段时间,但是由于负载继续增加而以失败告终。它让每秒300个请求变为20个 
   -尝试使用lighttpd但是由于使用单线程它陷于困境。遇到多进程的问题,因为它们各自保持自己单独的缓存 
   -如此多的图片以致一台新机器只能接管24小时 
   -重启机器需要6-10小时来缓存 
5,为了解决所有这些问题YouTube开始使用Google的BigTable,一个分布式数据存储: 
   -避免小文件问题,因为它将文件收集到一起 
   -快,错误容忍 
   -更低的延迟,因为它使用分布式多级缓存,该缓存与多个不同collocation站点工作 
   -更多信息参考Google Architecture,GoogleTalk Architecture和BigTable 

数据库 
     
1,早期 
   -使用MySQL来存储元数据,如用户,tags和描述 
   -使用一整个10硬盘的RAID 10来存储数据 
   -依赖于信用卡所以YouTube租用硬件 
   -YouTube经过一个常见的革命:单服务器,然后单master和多read slaves,然后数据库分区,然后sharding方式 
   -痛苦与备份延迟。master数据库是多线程的并且运行在一个大机器上所以它可以处理许多工作,slaves是单线程的并且通常运行在小一些的服务器上并且备份是异步的,所以slaves会远远落后于master 
   -更新引起缓存失效,硬盘的慢I/O导致慢备份 
   -使用备份架构需要花费大量的money来获得增加的写性能 
   -YouTube的一个解决方案是通过把数据分成两个集群来将传输分出优先次序:一个视频查看池和一个一般的集群 
2,后期 
   -数据库分区 
   -分成shards,不同的用户指定到不同的shards 
   -扩散读写 
   -更好的缓存位置意味着更少的IO 
   -导致硬件减少30% 
   -备份延迟降低到0 
   -现在可以任意提升数据库的伸缩性

数据中心策略
1,依赖于信用卡,所以最初只能使用受管主机提供商 
2,受管主机提供商不能提供伸缩性,不能控制硬件或使用良好的网络协议 
3,YouTube改为使用colocation arrangement。现在YouTube可以自定义所有东西并且协定自己的契约 
4,使用5到6个数据中心加CDN 
5,视频来自任意的数据中心,不是最近的匹配或其他什么。如果一个视频足够流行则移到CDN 
6,依赖于视频带宽而不是真正的延迟。可以来自任何colo 
7,图片延迟很严重,特别是当一个页面有60张图片时 
8,使用BigTable将图片备份到不同的数据中心,代码查看谁是最近的

学到的东西
1,Stall for time。创造性和风险性的技巧让你在短期内解决问题而同时你会发现长期的解决方案 
2,Proioritize。找出你的服务中核心的东西并对你的资源分出优先级别 
3,Pick your battles。别怕将你的核心服务分出去。YouTube使用CDN来分布它们最流行的内容。创建自己的网络将花费太多时间和太多money 
4,Keep it simple!简单允许你更快的重新架构来回应问题 
5,Shard。Sharding帮助隔离存储,CPU,内存和IO,不仅仅是获得更多的写性能 
6,Constant iteration on bottlenecks: 
   -软件:DB,缓存 
   -OS:硬盘I/O 
   -硬件:内存,RAID 
7,You succeed as a team。拥有一个跨越条律的了解整个系统并知道系统内部是什么样的团队,如安装打印机,安装机器,安装网络等等的人。 
   With a good team all things are possible。
文章出处:http://www.itivy.com/ivy/archive/2011/3/6/634350416046298451.html
Pages: 3/8 First page Previous page 1 2 3 4 5 6 7 8 Next page Final page [ View by Articles | List ]