Linux下TCP网络服务器实现源代码

peakzhang · 发表于 2008-9-21 17:14:05

作者：zhoulifa(zhoulifa@163.com) 周立发(http://zhoulifa.bokee.com)
大家都知道各类网络服务器程序的编写步骤，并且都知道网络服务器就两大类：循环服务和并发服务。这里附上源代码来个小结吧。

首先，循环网络服务器编程实现的步骤是这样的：

这种服务器模型是典型循环服务，如果不加上多进程/线程技术，此种服务吞吐量有限，大家都可以看到，如果前一个连接服务数据没有收发完毕后面的连接没办法处理。所以一般有多进程技术，对一个新连接启用一个新进程去处理，而监听socket继续监听。

一个循环TCP服务源代码（因为用fork进行多进程服务了，所以这种服务现实中也有用）如下：

/*----------------------源代码开始--------------------------------------------*/
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <sys/types.h>
#include <netinet/in.h>
#include <sys/socket.h>
#include <sys/wait.h>
int main(int argc, char ** argv)
{
int sockfd,new_fd; /* 监听socket: sock_fd,数据传输socket: new_fd */
struct sockaddr_in my_addr; /* 本机地址信息 */
struct sockaddr_in their_addr; /* 客户地址信息 */
unsigned int sin_size, myport, lisnum;

if(argv[1])  myport = atoi(argv[1]);
else myport = 7838;

if(argv[2])  lisnum = atoi(argv[2]);
else lisnum = 2;

if ((sockfd = socket(PF_INET, SOCK_STREAM, 0)) == -1) {
      perror("socket");
      exit(1);
}
my_addr.sin_family=PF_INET;
my_addr.sin_port=htons(myport);
my_addr.sin_addr.s_addr = INADDR_ANY;
bzero(&(my_addr.sin_zero), 0);
if (bind(sockfd, (struct sockaddr *)&my_addr, sizeof(struct sockaddr)) == -1) {
      perror("bind");
      exit(1);
}

if (listen(sockfd, lisnum) == -1) {
      perror("listen");
      exit(1);
}
while(1) {
      sin_size = sizeof(struct sockaddr_in);
      if ((new_fd = accept(sockfd, (struct sockaddr *)&their_addr, &sin_size)) == -1) {
         perror("accept");
         continue;
      }
      printf("server: got connection from %s\n",inet_ntoa(their_addr.sin_addr));
      if (!fork()) { /* 子进程代码段 */
         if (send(new_fd, "Hello, world!\n", 14, 0) == -1) {
            perror("send");
            close(new_fd);
            exit(0);
         }
      }
      close(new_fd); /*父进程不再需要该socket*/
      waitpid(-1,NULL,WNOHANG);/*等待子进程结束，清除子进程所占用资源*/
}
}
/*----------------------源代码结束--------------------------------------------*/

一个测试客户端代码如下：

/*----------------------源代码开始--------------------------------------------*/
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <netdb.h>
#include <sys/types.h>
#include <netinet/in.h>
#include <sys/socket.h>
#define MAXDATASIZE 100 /*每次最大数据传输量 */
/*********************************************************************
*********************************************************************/

int main(int argc, char *argv[])
{
int sockfd, numbytes;
char buf[MAXDATASIZE];
struct hostent *he;
struct sockaddr_in their_addr;
unsigned int myport;

if(argv[2]) myport = atoi(argv[2]);
else myport = 7838;

if (argc != 3) {
      fprintf(stderr,"usage: %s hostname port\n", argv[0]);
      exit(1);
}
if((he=gethostbyname(argv[1]))==NULL) {
      herror("gethostbyname");
      exit(1);
}
if ((sockfd = socket(PF_INET, SOCK_STREAM, 0)) == -1) {
      perror("socket");
      exit(1);
}
their_addr.sin_family=PF_INET;
their_addr.sin_port=htons(myport);
their_addr.sin_addr = *((struct in_addr *)he->h_addr);
bzero(&(their_addr.sin_zero),0);
if (connect(sockfd, (struct sockaddr *)&their_addr, sizeof(struct sockaddr)) == -1) {
      perror("connect");
      exit(1);
}
if ((numbytes=recv(sockfd, buf, MAXDATASIZE, 0)) == -1) {
      perror("recv");
      exit(1);
}
buf[numbytes] = 0;
printf("Received: %s\n",buf);
close(sockfd);
return 0;
}
/*----------------------源代码结束--------------------------------------------*/

用gcc cycletcpserver.c -o tcpserver和gcc cycletcpclient.c -o tcpclient分别编译上述代码后运行情况如下：
服务端运行显示：

administrator@ubuzlf:/data/example/c$ ./tcpserver
server: got connection from 127.0.0.1
server: got connection from 127.0.0.1
server: got connection from 127.0.0.1

客户端运行显示：

administrator@ubuzlf:/data/example/c$ ./tcpclient 127.0.0.1 7838
Received: Hello, world!

administrator@ubuzlf:/data/example/c$ ./tcpclient 127.0.0.1 7838
Received: Hello, world!

administrator@ubuzlf:/data/example/c$ ./tcpclient 127.0.0.1 7838
Received: Hello, world!

不得不说的一个概念性问题：阻塞与非阻塞
在阻塞服务中，当服务器运行到accept语句而没有客户连接服务请求到来，那么会发生什么情况? 这时服务器就会停止在accept语句上等待连接服务请求的到来；同样，当程序运行到接收数据语句recv时，如果没有数据可以读取，则程序同样会停止在接收语句上。这种情况称为阻塞(blocking)。
但如果你希望服务器仅仅注意检查是否有客户在等待连接，有就接受连接;否则就继续做其他事情，则可以通过将 socket设置为非阻塞方式来实现:非阻塞socket在没有客户在等待时就使accept调用立即返回。
通过设置socket为非阻塞方式，可以实现“轮询”若干socket。当企图从一个没有数据等待处理的非阻塞socket读入数据时，函数将立即返回，并且返回值置为-1，并且errno置为EWOULDBLOCK。但是这种“轮询”会使CPU处于忙等待方式，从而降低性能。考虑到这种情况，假设你希望服务器监听连接服务请求的同时从已经建立的连接读取数据，你也许会想到用一个accept语句和多个recv()语句，但是由于accept及recv都是会阻塞的，所以这个想法显然不会成功。
调用非阻塞的socket会大大地浪费系统资源。而调用select()会有效地解决这个问题，它允许你把进程本身挂起来，而同时使系统内核监听所要求的一组文件描述符的任何活动，只要确认在任何被监控的文件描述符上出现活动，select()调用将返回指示该文件描述符已准备好的信息，从而实现了为进程选出随机的变化，而不必由进程本身对输入进行测试而浪费CPU开销。

其次，并发服务器，在上述cycletcpserver.c中，由于使用了fork技术也可以称之为并发服务器，但这种服务器并不是真正意义上的IO多路复用的并发服务器，并且由于没有处理阻塞问题，实际应用有各种各样的问题。

一个典型IO多路复用的单进程并发服务器流程如下：
/*IO多路复用并发服务流程图*/

下面是一个演示IO多路复用的源程序，是一个端口转发程序，但它的用处相当大，实际应用中的各类代理软件或端口映射软件都是基于这样的代码的，比如Windows下的WinGate、WinProxy等都是在此基础上实现的。源代码如下：

/*----------------------源代码开始--------------------------------------------*/
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <sys/time.h>
#include <sys/types.h>
#include <string.h>
#include <signal.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <errno.h>

static int forward_port;

#undef max
#define max(x,y) ((x) > (y) ? (x) : (y))

static int listen_socket (int listen_port) {
struct sockaddr_in a;
int s;
int yes;
if ((s = socket (AF_INET, SOCK_STREAM, 0)) < 0) {
      perror ("socket");
      return -1;
}
yes = 1;
if (setsockopt(s, SOL_SOCKET, SO_REUSEADDR, (char *) &yes, sizeof (yes)) <
0) {
      perror ("setsockopt");
      close (s);
      return -1;
}
memset (&a, 0, sizeof (a));
a.sin_port = htons (listen_port);
a.sin_family = AF_INET;
if (bind(s, (struct sockaddr *) &a, sizeof (a)) < 0) {
      perror ("bind");
      close (s);
      return -1;
}
printf ("accepting connections on port %d\n", (int) listen_port);
listen (s, 10);
return s;
}

static int connect_socket (int connect_port, char *address) {
struct sockaddr_in a;
int s;
if ((s = socket (AF_INET, SOCK_STREAM, 0)) < 0) {
      perror ("socket");
      close (s);
      return -1;
}

memset (&a, 0, sizeof (a));
a.sin_port = htons (connect_port);
a.sin_family = AF_INET;

if (!inet_aton(address, (struct in_addr *) &a.sin_addr.s_addr)) {
      perror ("bad IP address format");
      close (s);
      return -1;
}

if (connect(s, (struct sockaddr *) &a, sizeof (a)) < 0) {
      perror ("connect()");
      shutdown (s, SHUT_RDWR);
      close (s);
      return -1;
}
return s;
}

#define SHUT_FD1 { \
if (fd1 >= 0) { \
      shutdown (fd1, SHUT_RDWR);  \
      close (fd1);  \
      fd1 = -1;    \
} \
}

#define SHUT_FD2 { \
if (fd2 >= 0) { \
      shutdown (fd2, SHUT_RDWR);  \
      close (fd2);  \
      fd2 = -1;    \
} \
}

#define BUF_SIZE 1024

int main (int argc, char **argv) {
int h;
int fd1 = -1, fd2 = -1;
char buf1[BUF_SIZE], buf2[BUF_SIZE];
int buf1_avail, buf1_written;
int buf2_avail, buf2_written;

if (argc != 4) {
      fprintf (stderr, "Usage\n\tfwd \n");
      exit (1);
}

signal (SIGPIPE, SIG_IGN);

forward_port = atoi (argv[2]);

/*建立监听socket*/
h = listen_socket (atoi (argv[1]));
if (h < 0) exit (1);

for (;;) {
      int r, nfds = 0;
      fd_set rd, wr, er;
      FD_ZERO (&rd);
      FD_ZERO (&wr);
      FD_ZERO (&er);
      FD_SET (h, &rd);

      /*把监听socket和可读socket三个一起放入select的可读句柄列表里*/
      nfds = max (nfds, h);
      if (fd1 > 0 && buf1_avail < BUF_SIZE) {
         FD_SET (fd1, &rd);
         nfds = max (nfds, fd1);
      }
      if (fd2 > 0 && buf2_avail < BUF_SIZE) {
         FD_SET (fd2, &rd);
         nfds = max (nfds, fd2);
      }

      /*把可写socket两个一起放入select的可写句柄列表里*/
      if (fd1 > 0 && buf2_avail - buf2_written > 0) {
         FD_SET (fd1, &wr);
         nfds = max (nfds, fd1);
      }
      if (fd2 > 0 && buf1_avail - buf1_written > 0) {
         FD_SET (fd2, &wr);
         nfds = max (nfds, fd2);
      }

      /*把有异常数据的socket两个一起放入select的异常句柄列表里*/
      if (fd1 > 0) {
         FD_SET (fd1, &er);
         nfds = max (nfds, fd1);
      }
      if (fd2 > 0) {
         FD_SET (fd2, &er);
         nfds = max (nfds, fd2);
      }

      /*开始select*/
      r = select (nfds + 1, &rd, &wr, &er, NULL);

      if (r == -1 && errno == EINTR) continue;
      if (r < 0) {
         perror ("select()");
         exit (1);
      }

      /*处理新连接*/
      if (FD_ISSET (h, &rd)) {
         unsigned int l;
         struct sockaddr_in client_address;
         memset (&client_address, 0, l = sizeof (client_address));
         r = accept (h, (struct sockaddr *)&client_address, &l);
         if (r < 0) {
            perror ("accept()");
         } else {
            /*关闭原有连接，把新连接作为fd1，同时连接新的目标fd2*/
            SHUT_FD1;
            SHUT_FD2;
            buf1_avail = buf1_written = 0;
            buf2_avail = buf2_written = 0;
            fd1 = r;
            fd2 = connect_socket (forward_port, argv[3]);
            if (fd2 < 0) {
                  SHUT_FD1;
            } else
                  printf ("connect from %s\n", inet_ntoa(client_address.sin_addr));
         }
      }

      /* NB: read oob data before normal reads */
      if (fd1 > 0)
      if (FD_ISSET (fd1, &er)) {
         char c;
         errno = 0;
         r = recv (fd1, &c, 1, MSG_OOB);
         if (r < 1) {
            SHUT_FD1;
         } else
            send (fd2, &c, 1, MSG_OOB);
      }

      if (fd2 > 0)
      if (FD_ISSET (fd2, &er)) {
         char c;
         errno = 0;
         r = recv (fd2, &c, 1, MSG_OOB);
         if (r < 1) {
            SHUT_FD1;
         } else
            send (fd1, &c, 1, MSG_OOB);
      }

      /* NB: read data from fd1 */
      if (fd1 > 0)
      if (FD_ISSET (fd1, &rd)) {
         r = read (fd1, buf1 + buf1_avail, BUF_SIZE - buf1_avail);
         if (r < 1) {
            SHUT_FD1;
         } else
            buf1_avail += r;
      }

      /* NB: read data from fd2 */
      if (fd2 > 0)
      if (FD_ISSET (fd2, &rd)) {
         r = read (fd2, buf2 + buf2_avail, BUF_SIZE - buf2_avail);
         if (r < 1) {
            SHUT_FD2;
         } else
            buf2_avail += r;
      }

      /* NB: write data to fd1 */
      if (fd1 > 0)
      if (FD_ISSET (fd1, &wr)) {
         r = write (fd1, buf2 + buf2_written, buf2_avail - buf2_written);
         if (r < 1) {
            SHUT_FD1;
         } else
            buf2_written += r;
      }

      /* NB: write data to fd1 */
      if (fd2 > 0)
      if (FD_ISSET (fd2, &wr)) {
         r = write (fd2, buf1 + buf1_written, buf1_avail - buf1_written);
         if (r < 1) {
            SHUT_FD2;
         } else
            buf1_written += r;
      }

      /* check if write data has caught read data */
      if (buf1_written == buf1_avail) buf1_written = buf1_avail = 0;
      if (buf2_written == buf2_avail) buf2_written = buf2_avail = 0;

      /* one side has closed the connection, keep writing to the other side until empty */
      if (fd1 < 0 && buf1_avail - buf1_written == 0) {
         SHUT_FD2;
      }
      if (fd2 < 0 && buf2_avail - buf2_written == 0) {
         SHUT_FD1;
      }
}
return 0;
}
/*----------------------源代码结束--------------------------------------------*/

用gcc tcpforwardport.c -o MyProxy编译此程序后运行效果如下：

当有用户访问本机的8000端口时，MyProxy程序将把此请求转发到172.16.100.218主机的80端口，即实现了一个http代理。

关于select函数：
其函数原型为：
int select(int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
此函数的功能是由内核检测在timeout时间内，是否有readfds，writefds，exceptfds三个句柄集(file descriptors)里的某个句柄（file descriptor)的状态符合寻求，即readfds句柄集里有句柄可读或writefds句柄集里有可写或exceptfds句柄集里有例外发生，任何一个有变化函数就立即返回，返回值为timeout发生状态变化的句柄个数。
n是所有readfds，writefds，exceptfds三个句柄集(file descriptors)里编号最大值加1。比如：要检测两个socket句柄fd1和fd2在timeout时间内是否分别可读和可写就可以这样：
先把两个句柄集(file descriptors)清零：
      FD_ZERO (&readfds);
      FD_ZERO (&writefds);
然后把fd1加入读检测集：
      FD_SET (fd1, &readfds);
然后把fd2加入写检测集：
      FD_SET (fd2, &writefds);
再给timeout设置值，timeout是这样的一个结构：
            struct timeval {
               long tv_sec;       /* seconds */
               long tv_usec;       /* microseconds */
            };
你可以这样赋值：
      timeout.tv_sec=1;
      timeout.tv_uec=0;
表示检测在1秒钟内是否有句柄状态发生变化。
如果有句柄发生变化，就可以用FD_ISSET检测各个句柄，比如：
            FD_ISSET (fd1, &readfds);//检测是否fd1变成可读的了
            FD_ISSET (fd2, &writefds);//检测是否fd2变成可写的了
示意程序代码如下：
/*----------------------示意代码开始--------------------------------------------*/
fd1 = socket();//创建一个socket
fd2 = socket();//创建一个socket
while(1)  {
      FD_ZERO (&readfds);
      FD_ZERO (&writefds);
      FD_SET (fd1, &readfds);
      FD_SET (fd2, &writefds);
      timeout.tv_sec=1;
      timeout.tv_uec=0;
      ret = select(fd1>fd2?(fd1+1):(fd2+1), &readfds, &writefds, NULL, &timeout);
      if(ret < 0) {printf("系统错误，select出错，错误代码：%d, 错误信息：%s", errno, strerror(errno));}
      else if(ret == 0) {printf("select超时返回，没有任何句柄状态发生变化！");}
      //有句柄状态发生了变化
      if(FD_ISSET(fd1, &readfds)) {
         fd1有数据可读;
         fd1里的数据被读出来;
      }
      if(FD_ISSET(fd2, &writefds)) {
         fd2可写;
         fd2里发送数据给对方;
      }
}
/*----------------------示意代码结束--------------------------------------------*/

经常用到的几个自定义函数：
1、开启监听的函数

/*----------------------源代码代码开始--------------------------------------------*/
int
OpenSCPServer(int port, int total, int sendbuflen, int recvbuflen, int blockORnot, int reuseORnot) {
/*************************关于本函数************************************
*function_name: OpenSCPServer
*参数说明：port整数型监听端口号，total整数型监听个数，sendbuflen整数型发送缓冲区大小
*       recvbuflen整数型接收缓冲区大小，blockORnot整数型是否阻塞，reuseORnot整数型是否端口重用
*purpose: 用来建立一个tcp服务端socket
*Note:要使用此函数需要自定义一个全局变量char errorMessage[1024];并包含GetCurrentTime.h头文件
*********************************************************************/
int sockfd = 0, ret = 0, opt = 0, flags=1;
struct sockaddr_in laddr;

ret = sockfd = socket(PF_INET, SOCK_STREAM, 0);
if(ret < 0) {
      sprintf(errorMessage, "OpenTCPServer socket() error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
      return -1;
}

ret = setsockopt(sockfd, SOL_SOCKET, SO_REUSEADDR, &reuseORnot, sizeof(int));
if(ret < 0) {
      sprintf(errorMessage, "OpenTCPServer setsockopt() reuse error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
      return -2;
}

ret = setsockopt(sockfd, SOL_SOCKET, SO_RCVBUF, &recvbuflen, sizeof(int));
if ( ret < 0) {
      sprintf(errorMessage, "OpenTCPServer setsockopt() recvbuf error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
      return -3;
}

ret = setsockopt(sockfd, SOL_SOCKET, SO_SNDBUF, &sendbuflen, sizeof(int));
if (ret < 0) {
      sprintf(errorMessage, "OpenTCPServer setsockopt() sendbuf error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
      return -4;
}

ioctl(sockfd,FIONBIO,&blockORnot);/*block or not*/

laddr.sin_family = PF_INET;
laddr.sin_port = htons(port);
laddr.sin_addr.s_addr = INADDR_ANY;
bzero(&(laddr.sin_zero), 8);

ret = bind(sockfd, (struct sockaddr *)&laddr, sizeof(struct sockaddr));
if(ret < 0) {
      sprintf(errorMessage, "OpenTCPServer bind() error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
      close(sockfd);
      return -5;
}
ret = listen(sockfd, total);
if(ret < 0) {
      sprintf(errorMessage, "OpenTCPServer listen() error! return:%d, errno=%d, errortext:'%s' %s", ret, errno, strerror(errno), GetCurrentTime(0, 0));
      close(sockfd);
      return -6;
}
sprintf(errorMessage, "OpenTCPServer opened on port.%d(%d) OK, socket(%d), buf(%d:%d)! %s", port, total, sockfd, sendbuflen, recvbuflen, GetCurrentTime(0, 0));
return sockfd;
}
/*----------------------源代码代码结束--------------------------------------------*/

2、连接服务器的函数

/*----------------------源代码代码开始--------------------------------------------*/
int
ConnectSCPServer(char * serverip, int serverport, int blockORnot) {
/*************************关于本函数************************************
*function_name: ConnectSCPServer
*参数说明：serverip服务器IP地址或主机名，serverport服务器端口，blockORnot整数型是否阻塞
*purpose: 用来建立一个tcp客户端socket

*Note:要使用此函数需要自定义一个全局变量char errorMessage[1024];并包含自己编写的GetCurrentTime.h头文件
*********************************************************************/
int serversock = 0, ret = 0;
unsigned long addr;
struct sockaddr_in sin;
struct hostent *he;

if((he=gethostbyname(serverip))== 0) {
      sprintf(errorMessage, "ConnectSCPServer IP address '%s' error! return:-1 %s", serverip, GetCurrentTime(0, 0));
      return -1;
}

serversock = socket(PF_INET, SOCK_STREAM, 0);
if(serversock == -1) {
      sprintf(errorMessage, "ConnectSCPServer socket() error! return:-2, errno=%d, errortext:'%s' %s", errno, strerror(errno), GetCurrentTime(0, 0));
      return -2;
}

ioctl(serversock, FIONBIO, &blockORnot);  //block or not

memset((char*)&sin, 0, sizeof(struct sockaddr_in));
sin.sin_family = PF_INET;
sin.sin_port = htons(serverport);
sin.sin_addr = *((struct in_addr *)he->h_addr);

ret = connect(serversock, (struct sockaddr *)&sin, sizeof(sin));

if(ret == -1) {
      sprintf(errorMessage, "ConnectSCPServer connect() error! return:-3, errno=%d, errortext:'%s' %s", errno, strerror(errno), GetCurrentTime(0, 0));
      close(serversock);
      return -3;
}

return serversock;
}
/*----------------------源代码代码结束--------------------------------------------*/

3、发送数据函数Send
/*----------------------源代码代码开始--------------------------------------------*/
int
Send(int sock, char * buf, size_t size, int flag, int timeout) {
/*************************关于本函数************************************
*function_name: Send
*参数说明：sock整数型socket，buf待发送的内容，size要发送的大小，flag发送选项，timeout超时时间值
*purpose: 用来通过一个socket在指定时间内发送数据
*Note:要使用此函数需要自定义一个全局变量char errorMessage[1024];并包含自己编写的GetCurrentTime.h头文件
*********************************************************************/
int i = 0, ret = 0, intretry = 0;

struct timeval tival;
fd_set writefds;
int maxfds = 0;

tival.tv_sec = timeout;
tival.tv_usec = 0;

FD_ZERO(&writefds);

if(sock > 0) {
      FD_SET(sock, &writefds);
      maxfds=((sock > maxfds)?sock:maxfds);
}
else {
      sprintf(errorMessage, "Send socket:%d error! return:-2 %s", sock, GetCurrentTime(0, 0));
      return -2;
}

ret = select(maxfds + 1, NULL, &writefds, NULL, &tival);
if(ret <= 0) {
      if(ret < 0) sprintf(errorMessage, "Send socket:%d select() error! return:%d, errno=%d, errortext:'%s' %s", sock, ret, errno, strerror(errno), GetCurrentTime(0, 0));
      else sprintf(errorMessage, "Send socket:%d select timeout(%d)! %s", sock, timeout, GetCurrentTime(0, 0));
      close(sock);
      return -3;
}
if(!(FD_ISSET(sock, &writefds))) {
      sprintf(errorMessage, "Send socket:%d not in writefds! %s", sock, GetCurrentTime(0, 0));
      close(sock);
      return -4;
}

while(i < size) {
      ret = send(sock, buf + i, size - i, flag);
      if(ret <= 0) {
         sprintf(errorMessage, "Send socket:%d send() error! return:%d, errno=%d, errortext:'%s' %s", sock, ret, errno, strerror(errno), GetCurrentTime(0, 0));

         if (EINTR == errno)
            if(intretry < 10)  {intretry++;continue;}
            else sprintf(errorMessage, "Send socket:%d send() error!EINTR 10 times! %s", sock, GetCurrentTime(0, 0));

         close(sock);
         return -1;
      }
      else i += ret;
}
sprintf(errorMessage, "Send socket:%d send() OK! %d/%d bytes sent! %s", sock, i, size, GetCurrentTime(0, 0));
return i;
}
/*----------------------源代码代码结束--------------------------------------------*/

4、接收数据函数Recv

/*----------------------源代码代码开始--------------------------------------------*/
int
Recv(int sock, char * buf, size_t size, int flag, int timeout) {
/*************************关于本函数************************************
*function_name: Recv
*参数说明：sock整数型socket，buf接收数据的缓冲区，size要接收数据的大小，flag接收选项，timeout超时时间值
*purpose: 用来从一个socket在指定时间内读取数据
*Note:要使用此函数需要自定义一个全局变量char errorMessage[1024];并包含自己编写的GetCurrentTime.h头文件
*********************************************************************/
int i = 0, ret = 0, intretry = 0;

struct timeval tival;
fd_set readfds;
int maxfds = 0;

tival.tv_sec = timeout;
tival.tv_usec = 0;

FD_ZERO(&readfds);

if(sock > 0) {
      FD_SET(sock, &readfds);
      maxfds=((sock > maxfds)?sock:maxfds);
}
else {
      sprintf(errorMessage, "Recv socket:%d error! return:-2 %s", sock, GetCurrentTime(0, 0));
      return -2;
}

ret = select(maxfds + 1, &readfds, NULL, NULL, &tival);
if(ret <= 0) {
      if(ret < 0) sprintf(errorMessage, "Recv socket:%d select() error! return:%d, errno=%d, errortext:'%s' %s", sock, ret, errno, strerror(errno), GetCurrentTime(0, 0));
      else sprintf(errorMessage, "Recv socket:%d select timeout(%d)! %s", sock, timeout, GetCurrentTime(0, 0));
      close(sock);
      return -3;
}
if(!(FD_ISSET(sock, &readfds))) {
      sprintf(errorMessage, "Recv socket:%d not in readfds! %s", sock, GetCurrentTime(0, 0));
      close(sock);
      return -4;
}
while(i < size) {
      ret = recv(sock, buf + i, size - i, flag);
      if(ret <= 0){
         sprintf(errorMessage, "Recv socket:%d recv() error! return:%d, errno=%d, errortext:'%s' %s", sock, ret, errno, strerror(errno), GetCurrentTime(0, 0));
         if(errno == EINTR)
            if(intretry < 10)  {intretry++;continue;}
            else sprintf(errorMessage, "Recv socket:%d recv() error! EINTR 10 times! %s", sock, GetCurrentTime(0, 0));
         close(sock);
         return -1;
      }
      else i += ret;
}
sprintf(errorMessage, "Recv socket:%d recv() OK! %d/%d bytes received! %s", sock, i, size, GetCurrentTime(0, 0));
return i;
}

最后需要说明的是：我这里讲到的源程序并不能实际地作为一个产品程序来用，实际情况下可能会有其它许多工作要做，比如可能要建立共享队列来存放 socket里读到的消息，也可能把发送消息先进行排队然后再调用Send函数。还有，如果不是全数字，在发送前一定要htonl转换为网络字节序，同理接收到后一定要先ntohl由网络字节序转换为主机字节序，否则对方发送过来的0x00000001在你这里可能是0x00010000，因为高低位顺序不同。

进入2.6内核时代, select应该进垃圾堆了
高并发服务器用select效率极低, 特别是使用非阻塞IO时更是慢得一蹋糊涂
改用epoll会大大改善
我一个程序监听从8000到18000共计1万个端口, 启动1万个LISTEN
用epoll来阻塞, 系统非常轻松, 完全没有惊群现象

epoll用法比select简单

初始化:创建epoll描述字; 向epoll描述字添加需要响应的套接字, 初始化过程只要一次即可

使用: 等待epoll事件发生, 提取事件的套接字进行相应的读写操作

static int s_epfd;//epoll描述字

{//初始化epoll
struct epoll_event ev;

//设置epoll
s_epfd = epoll_create(65535);

{//这个过程可以循环以便加入多个LISTEN套接字进入epoll事件集合
//服务器监听创建
rc = listen();//listen参数这里省略

//加入epoll事件集合
ev.events = EPOLLIN;
ev.data.fd = rc;
if (epoll_ctl(s_epfd, EPOLL_CTL_ADD, rc, &ev) < 0) {
fprintf(stderr, "epoll set insertion error: fd=%d", rc);
return(-1);
}
}
}

{//epoll事件处理
int i, nfds, sock_new;
struct epoll_event events[16384];
for( ; ; ) {
//等待epoll事件
nfds = epoll_wait(s_epfd, events, 16384, -1);
//处理epoll事件
for(i = 0; i < nfds; i++) {
//events.data.fd是epoll事件中弹出的套接字
//接收连接
sock_new = accept(events.data.fd);//accept其它参数这里省略了
if(0 > sock_new) {
fprintf(stderr, "接收客户端连接失败\n");
continue;
}
}
}
}

1、为什么select是落后的？

首先，在Linux内核中，select所用到的FD_SET是有限的，即内核中有个参数__FD_SETSIZE定义了每个FD_SET的句柄个数，在我用的2.6.15-25-386内核中，该值是1024，搜索内核源代码得到：

include/linux/posix_types.h:#define __FD_SETSIZE       1024

也就是说，如果想要同时检测1025个句柄的可读状态是不可能用select实现的。或者同时检测1025个句柄的可写状态也是不可能的。

其次，内核中实现select是用轮询方法，即每次检测都会遍历所有FD_SET中的句柄，显然，select函数执行时间与FD_SET中的句柄个数有一个比例关系，即select要检测的句柄数越多就会越费时。

当然，在前文中我并没有提及poll方法，事实上用select的朋友一定也试过poll，我个人觉得select和poll大同小异，个人偏好于用select而已。

/************关于本文档********************************************

*filename: Linux 2.6内核中提高网络I/O性能的新方法epoll

*purpose: 补充“Linux下各类TCP网络服务器的实现源代码”一文的不足之处

*wrote by: zhoulifa(zhoulifa@163.com) 周立发(http://zhoulifa.bokee.com)

Linux爱好者 Linux知识传播者 SOHO族开发者最擅长C语言

*date time:2006-07-06 22:30:00

*Note: 任何人可以任意复制代码并运用这些文档，当然包括你的商业用途

* 但请遵循GPL

*Hope:希望越来越多的人贡献自己的力量，为科学技术发展出力

*********************************************************************/

2、2.6内核中提高I/O性能的新方法epoll

epoll是什么？按照man手册的说法：是为处理大批量句柄而作了改进的poll。要使用epoll只需要这三个系统调用：epoll_create(2)， epoll_ctl(2)， epoll_wait(2)。

当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)

		自动登录	找回密码
密码			用户注册