小小书童记录select

ieasy_tm · · 1459 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

Select IO复用模型是上个世纪90年代的东西,受限于当时的计算机硬软件的限制,这种技术随着epoll的出现逐渐被取代,但它毕竟风光过。了解历史才能更好的展望未来,每一个有情怀的码农都不应该一味抬头看远方,时而低头凝视大地,不亦乐乎~

了解select之前,我们需要了解下位图(bitmap),bitmap其实就是将对象映射到具体的一个bit位上来,表示对象存在或者被标记。bitmap算法有节省内存和快速查询等特点,所以适合处理海量数据的排序和查询。这种古老而牛逼的技术在数据库,操作系统上都有很广泛的应用。好的,下面引入select中使用到bitmap算法的几个API函数,也是在使用select这种IO复用技术时经常使用到的。

int FD_ZERO(fd_set *fdset);    // 复位
int FD_CLR(int fd, fd_set *fdset);   // 清零
int FD_SET(int fd, fd_set *fd_set);   // 设置
int FD_ISSET(int fd, fd_set *fdset);  // 测试设置

这几个函数主要完成具体 fdfd_set rset 映射关系的处理。看下fd_set的存储结构:

#ifndef FD_SETSIZE
#define FD_SETSIZE  1024
#endif

#define NBBY    8       /* number of bits in a byte */
typedef long    fd_mask;
#define NFDBITS (sizeof (fd_mask) * NBBY)   /* bits per mask */
#define howmany(x,y)    (((x)+((y)-1))/(y))

typedef struct _types_fd_set {
    fd_mask fds_bits[howmany(FD_SETSIZE, NFDBITS)];
} _types_fd_set;

清楚的看到,一个long类型8个字节,这样fds_bits就有1024/64 = 16 即16个64bit的数组,每一个数组64bit。设置和清零这两个操作是位操作,很方便,自己写了一个BitMapGolang代码,这里也顺便贴出:

func (b *BitSet) Set(i uint) {
        ....
    b.set[i>>6] = b.set[i>>6] | (1 << (i & (64 - 1)))
}
func (b *BitSet) Clear(i uint) {
    ....
    b.set[i>>6] &^= 1 << (i & (64 - 1))
}

好了,知道fdset的存储结构和简单设置之后,可以看下selectIO模型中的另外一个API:

int select(int maxfdp, fd_set *readset, fd_set *writeset, fd_set *exceptset,struct timeval *timeout);

其中有两个参数需要说明下:

  1. 第一个参数是timeout, 它代表select超时时间。该值有三种状态:timeout == NULL 无条件等待。 select函数将返回 -1, erro设为 EINTR,表示被迫中断。timeout->tv_sec == 0 &&timeout->tv_usec == 0 不等待,直接返回。timeout->tv_sec != 0 || timeout->tv_usec != 0 等待指定的时间,select返回0表示在规定时间内没有fd读写或者异常事件发生。
struct timeval  {
        long tv_sec;   /*秒 */
        long tv_usec;  /*微秒 */   
}
  1. 第二个参数 maxfdp,这个是文件描述符fd的最大值加1。每次调用select之前都需要算出最大的fd,作为maxfd。

关于select的内核实现部分,网上有很多文章进行了详细的描述,这里就不再赘述。好的,这里还是不落俗套地提下select的缺点:<1> 描述符(FD)数量问题 。<2> IO效率随FD的增加而线性下降。select随FD的增加性能下降的问题, 在使用方式上可以感受到:用户态需要每次select之前复位所有fd,然后select之后还得遍历所有fd找到可读写或异常的fd。但至今没有对select做过benchmark

这里随便带上poll小弟:

int poll (struct pollfd *fds, unsigned int nfds, int timeout);

其中pollfd的数据结构:

struct pollfd {
    int fd; /* file descriptor */
    short events; /* requested events to watch */
    short revents; /* returned events witnessed */
};

poll方式并没有采用selectfdset方式,而是每一个fd都有一个自己的pollfd数据结构,里面存放除了fd外,还存放events事件类型,这样poll就没有fd个数的上限问题了,但它仍然需要遍历fds拿到可读写或异常的fd。这点跟select还是一样的。

好了,小小书童简单记录下,end~


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:ieasy_tm

查看原文:小小书童记录select

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1459 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传