文章目录
  1. 1. HTTP协议
    1. 1.1. GET请求
    2. 1.2. POST请求
    3. 1.3. HTTP响应
  2. 2. MINA
  3. 3. Netty
  4. 4. Twisted
  5. 5. 客户端
  6. 6. MINA、Netty、Twisted一起学系列
    1. 6.1. 源码

HTTP协议应该是目前使用最多的应用层协议了,用浏览器打开一个网站就是使用HTTP协议进行数据传输。

HTTP协议也是基于TCP协议,所以也有服务器和客户端。HTTP客户端一般是浏览器,当然还有可能是其他东西。HTTP服务器,也就是Web服务器,目前已经有很多成熟的产品,例如Apache HTTP Server、Tomcat、Nginx、IIS等。

本文的内容不是讲解如何使用以上的HTTP服务器,而是要分别用MINA、Netty、Twisted实现一个简单的HTTP服务器。

HTTP协议

首先,要简单了解一下HTTP协议。

HTTP协议是请求/响应式的协议,客户端需要发送一个请求,服务器才会返回响应内容。例如在浏览器上输入一个网址按下Enter,或者提交一个Form表单,浏览器就会发送一个请求到服务器,而打开的网页的内容,就是服务器返回的响应。

下面了解一下HTTP请求和响应包含的内容。

HTTP请求有很多种method,最常用的就是GET和POST,每种method的请求之间会有细微的区别。下面分别分析一下GET和POST请求。

GET请求

下面是浏览器对http://localhost:8081/test?name=XXG&age=23的GET请求时发送给服务器的数据:
GET请求
可以看出请求包含request line和header两部分。其中request line中包含method(例如GET、POST)、request uri和protocol version三部分,三个部分之间以空格分开。request line和每个header各占一行,以换行符CRLF(即\r\n)分割。

POST请求

下面是浏览器对http://localhost:8081/test的POST请求时发送给服务器的数据,同样带上参数name=XXG&age=23:
POST请求
可以看出,上面的请求包含三个部分:request line、header、message,比之前的GET请求多了一个message body,其中header和message body之间用一个空行分割。POST请求的参数不在URL中,而是在message body中,header中多了一项Content-Length用于表示message body的字节数,这样服务器才能知道请求是否发送结束。这也就是GET请求和POST请求的主要区别。

HTTP响应

HTTP响应和HTTP请求非常相似,HTTP响应包含三个部分:status line、header、massage body。其中status line包含protocol version、状态码(status code)、reason phrase三部分。状态码用于描述HTTP响应的状态,例如200表示成功,404表示资源未找到,500表示服务器出错。
HTTP响应
在上面的HTTP响应中,Header中的Content-Length同样用于表示message body的字节数。Content-Type表示message body的类型,通常浏览网页其类型是HTML,当然还会有其他类型,比如图片、视频等。

学习了HTTP协议后,那么就可以分别通过MINA、Netty、Twisted实现针对请求的解码器和针对响应的编码器来实现一个HTTP服务器。实际上HTTP协议的细节还有很多,自己实现起来没那么容易。不过,MINA、Netty、Twisted都已经提供了针对HTTP协议的编码解码器和一些实用的API。

MINA

MINA中有一个mina-http-2.0.7.jar包,专门用于处理HTTP协议。在下面的代码中,需要将这个jar包引入到项目中。

HTTP协议的请求解码器和响应编码器即HttpServerCodec,它会将HTTP客户端请求转成HttpRequest对象,将HttpResponse对象编码成HTTP响应发送给客户端。需要注意的是,HttpRequest和HttpResponse的实现类对象都没有包含message body部分,所以下面代码中body还通过原始的IoBuffer类型来构造。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
public class HttpServer {

public static void main(String[] args) throws IOException {
IoAcceptor acceptor = new NioSocketAcceptor();
acceptor.getFilterChain().addLast("codec", new HttpServerCodec());
acceptor.setHandler(new HttpServerHandle());
acceptor.bind(new InetSocketAddress(8080));
}
}

class HttpServerHandle extends IoHandlerAdapter {

@Override
public void exceptionCaught(IoSession session, Throwable cause)
throws Exception {

cause.printStackTrace();
}

@Override
public void messageReceived(IoSession session, Object message)
throws Exception {


if (message instanceof HttpRequest) {

// 请求,解码器将请求转换成HttpRequest对象
HttpRequest request = (HttpRequest) message;

// 获取请求参数
String name = request.getParameter("name");
if(name == null) {
name = "World";
}
name = URLDecoder.decode(name, "UTF-8");

// 响应HTML
String responseHtml = "<html><body>Hello, " + name + "</body></html>";
byte[] responseBytes = responseHtml.getBytes("UTF-8");
int contentLength = responseBytes.length;

// 构造HttpResponse对象,HttpResponse只包含响应的status line和header部分
Map<String, String> headers = new HashMap<String, String>();
headers.put("Content-Type", "text/html; charset=utf-8");
headers.put("Content-Length", Integer.toString(contentLength));
HttpResponse response = new DefaultHttpResponse(HttpVersion.HTTP_1_1, HttpStatus.SUCCESS_OK, headers);

// 响应BODY
IoBuffer responseIoBuffer = IoBuffer.allocate(contentLength);
responseIoBuffer.put(responseBytes);
responseIoBuffer.flip();

session.write(response); // 响应的status line和header部分
session.write(responseIoBuffer); // 响应body部分
}
}
}

Netty

Netty和MINA非常类似。唯一有区别的地方就是FullHttpResponse可以包含响应的message body。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
public class HttpServer {

public static void main(String[] args) throws InterruptedException {
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
public void initChannel(SocketChannel ch) throws Exception {
ChannelPipeline pipeline = ch.pipeline();
pipeline.addLast(new HttpServerCodec());
pipeline.addLast(new HttpServerHandler());
}
});
ChannelFuture f = b.bind(8080).sync();
f.channel().closeFuture().sync();
} finally {
workerGroup.shutdownGracefully();
bossGroup.shutdownGracefully();
}
}
}

class HttpServerHandler extends ChannelInboundHandlerAdapter {

@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws UnsupportedEncodingException {

if (msg instanceof HttpRequest) {

// 请求,解码器将请求转换成HttpRequest对象
HttpRequest request = (HttpRequest) msg;

// 获取请求参数
QueryStringDecoder queryStringDecoder = new QueryStringDecoder(request.uri());
String name = "World";
if(queryStringDecoder.parameters().get("name") != null) {
name = queryStringDecoder.parameters().get("name").get(0);
}

// 响应HTML
String responseHtml = "<html><body>Hello, " + name + "</body></html>";
byte[] responseBytes = responseHtml.getBytes("UTF-8");
int contentLength = responseBytes.length;

// 构造FullHttpResponse对象,FullHttpResponse包含message body
FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.OK, Unpooled.wrappedBuffer(responseBytes));
response.headers().set("Content-Type", "text/html; charset=utf-8");
response.headers().set("Content-Length", Integer.toString(contentLength));

ctx.writeAndFlush(response);
}
}

@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
cause.printStackTrace();
ctx.close();
}
}

Twisted

Twisted的HTTP相比MINA、Netty来说功能最完善。Twisted不但包含HTTP协议的编码器和解码器以及相关API,还提供了一整套Web应用解决方案。想完整学习的话可以参考官方文档。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# -*- coding:utf-8 –*-

from twisted.web import server, resource
from twisted.internet import reactor

class MainResource(resource.Resource):

isLeaf = True

# 用于处理GET类型请求
def render_GET(self, request):

# name参数
name = 'World'
if request.args.has_key('name'):
name = request.args['name'][0]

# 设置响应编码
request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")

# 响应的内容直接返回
return "<html><body>Hello, " + name + "</body></html>"


site = server.Site(MainResource())
reactor.listenTCP(8080, site)
reactor.run()

客户端

前几篇文章都提供了一个Java客户端代码用于测试,由于本文是HTTP协议,Web浏览器是一个天然的HTTP客户端,所以可以直接通过浏览器分别测试以上三个服务器。用浏览器打开:

http://localhost:8080/?name=叉叉哥

浏览器测试结果:
将参数显示在页面上

MINA、Netty、Twisted一起学系列

MINA、Netty、Twisted一起学(一):实现简单的TCP服务器

MINA、Netty、Twisted一起学(二):TCP消息边界问题及按行分割消息

MINA、Netty、Twisted一起学(三):TCP消息固定大小的前缀(Header)

MINA、Netty、Twisted一起学(四):定制自己的协议

MINA、Netty、Twisted一起学(五):整合protobuf

MINA、Netty、Twisted一起学(六):session

MINA、Netty、Twisted一起学(七):发布/订阅(Publish/Subscribe)

MINA、Netty、Twisted一起学(八):HTTP服务器

MINA、Netty、Twisted一起学(九):异步IO和回调函数

MINA、Netty、Twisted一起学(十):线程模型

MINA、Netty、Twisted一起学(十一):SSL/TLS

MINA、Netty、Twisted一起学(十二):HTTPS

源码

https://github.com/wucao/mina-netty-twisted

文章目录
  1. 1. HTTP协议
    1. 1.1. GET请求
    2. 1.2. POST请求
    3. 1.3. HTTP响应
  2. 2. MINA
  3. 3. Netty
  4. 4. Twisted
  5. 5. 客户端
  6. 6. MINA、Netty、Twisted一起学系列
    1. 6.1. 源码