python socket 零拷贝

This module provides access to the BSD socket interface. It is available on all modern Unix systems, Windows, MacOS, and probably additional platforms.

python document

Socket 是任何一种计算机网络通讯中最基础的内容。socket起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现,socket即是一种特殊的文件,一些socket函数就是对其进行的操作(读/写IO、打开、关闭)

python socket 介绍

传统的文件传输里面(read/write方式),在实现上需要经过多次上下文的切换,文件数据实际上是经过了四次copy操作:

硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎

1. Socket 类型

套接字格式:

socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号(默认为0)来创建套接字。

socket类型 描述
socket.AF_UNIX 只能够用于单一的Unix系统进程间通信
socket.AF_INET 服务器之间网络通信
socket.AF_INET6 IPv6
socket.SOCK_STREAM 流式socket , for TCP
socket.SOCK_DGRAM 数据报式socket , for UDP
socket.SOCK_RAW 原始套接字,普通的套接字无法处理ICMP、IGMP等网络报文,而SOCK_RAW可以;
其次,SOCK_RAW也可以处理特殊的IPv4报文;此外,利用原始套接字,可以通过IP_HDRINCL套接字选项由用户构造IP头。
socket.SOCK_SEQPACKET 可靠的连续数据包服务
创建TCP Socket: s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
创建UDP Socket: s=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
  1. Socket 函数

    1. TCP发送数据时,已建立好TCP连接,所以不需要指定地址。UDP是面向无连接的,每次发送要指定是发给谁。
    2. 服务端与客户端不能直接发送列表,元组,字典。需要字符串化repr(data)。
服务端socket函数 描述
s.bind(address) 将套接字绑定到地址, 在AF_INET下,以元组(host,port)的形式表示地址.
s.listen(backlog) 开始监听TCP传入连接。backlog指定在拒绝连接之前,操作系统可以挂起的最大连接数量。该值至少为1,大部分应用程序设为5就可以了。
s.accept() 接受TCP连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。
客户端socket函数 描述
s.connect(address) 连接到address处的套接字。一般address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。
s.connect_ex(adddress) 功能与connect(address)相同,但是成功返回0,失败返回errno的值。
公共socket函数 描述
s.recv(bufsize[,flag]) 接受TCP套接字的数据。数据以字符串形式返回,bufsize指定要接收的最大数据量。flag提供有关消息的其他信息,通常可以忽略。
s.send(string[,flag]) 发送TCP数据。将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。
s.sendall(string[,flag]) 完整发送TCP数据。将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。
s.recvfrom(bufsize[.flag]) 接受UDP套接字的数据。与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。
s.sendto(string[,flag],address) 发送UDP数据。将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。
s.close() 关闭套接字。
s.getpeername() 返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。
s.getsockname() 返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value) 设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen]) 返回套接字选项的值。
s.settimeout(timeout) 设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如connect())
s.gettimeout() 返回当前超时期的值,单位是秒,如果没有设置超时期,则返回None。
s.fileno() 返回套接字的文件描述符。
s.setblocking(flag) 如果flag为0,则将套接字设为非阻塞模式,否则将套接字设为阻塞模式(默认值)。
非阻塞模式下,如果调用recv()没有发现任何数据,或send()调用无法立即发送数据,那么将引起socket.error异常。
s.makefile() 创建一个与该套接字相关连的文件
  1. socket编程思路

TCP服务端:

1. 创建套接字,绑定套接字到本地IP与端口 

# socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.bind()

2. 开始监听连接                   #s.listen()

3. 进入循环,不断接受客户端的连接请求              #s.accept()

4. 然后接收传来的数据,并发送给对方数据         #s.recv() , s.sendall()

5. 传输完毕后,关闭套接字                     #s.close()

TCP客户端:

1. 创建套接字,连接远端地址

# socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.connect()

2. 连接后发送数据和接收数据          # s.sendall(), s.recv()

3. 传输完毕后,关闭套接字          #s.close()

socket server 编写步骤该要

1. 第一步是创建socket对象。
    调用socket构造函数。如:
    socket = socket.socket( family, type )
    family参数代表地址家族,可为AF_INET或AF_UNIX。AF_INET家族包括Internet地址,AF_UNIX家族用于同一台机器上的进程间通信。
    type参数代表套接字类型,可为SOCK_STREAM(流套接字)和SOCK_DGRAM(数据报套接字)。
2. 第二步是将socket绑定到指定地址。
    这是通过socket对象的bind方法来实现的:
    socket.bind( address )
    由AF_INET所创建的套接字,address地址必须是一个双元素元组,格式是(host,port)。host代表主机,port代表端口号。
    如果端口号正在使用、主机名不正确或端口已被保留,bind方法将引发socket.error异常。
3. 第三步是使用socket套接字的listen方法接收连接请求。
    socket.listen( backlog )
    backlog指定最多允许多少个客户连接到服务器。它的值至少为1。收到连接请求后,这些请求需要排队,如果队列满,就拒绝请求。
4. 第四步是服务器套接字通过socket的accept方法等待客户请求一个连接。
    connection, address = socket.accept()
    调用accept方法时,socket会时入“waiting”状态。客户请求连接时,方法建立连接并返回服务器。
    accept方法返回一个含有两个元素的元组(connection,address)。
    第一个元素connection是新的socket对象,服务器必须通过它与客户通信;
    第二个元素 address是客户的Internet地址。
5. 第五步是处理阶段。
    服务器和客户端通过send和recv方法通信(传输 数据)。
    服务器调用send,并采用字符串形式向客户发送信息。send方法返回已发送的字符个数。
    服务器使用recv方法从客户接收信息。调用recv 时,服务器必须指定一个整数,它对应于可通过本次方法调用来接收的最大数据量。
    recv方法在接收数据时会进入“blocked”状态,最后返回一个字符串,用它表示收到的数据。
    如果发送的数据量超过了recv所允许的,数据会被截短。多余的数据将缓冲于接收端。以后调用recv时,
    多余的数据会从缓冲区 删除(以及自上次调用recv以来,客户可能发送的其它任何数据)。
6. 传输结束,服务器调用socket的close方法关闭连接。

scoket client 编写步骤该要

1. 创建一个socket以连接服务器:socket = socket.socket( family, type )
2. 使用socket的connect方法连接服务器。对于AF_INET家族,连接格式如下:
    socket.connect( (host,port) )
    host代表服务器主机名或IP,port代表服务器进程所绑定的端口号。
    如连接成功,客户就可通过套接字与服务器通信,如果连接失败,会引发socket.error异常。
3. 处理阶段,客户和服务器将通过send方法和recv方法通信。
4. 传输结束,客户通过调用socket的close方法关闭连接。

python scoket 零拷贝代码实例

接受服务端基本代码实现

    import socket

    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server_port =5678
    server_addr = ("0.0.0.0", server_port)
    print(f"Start server on port{server_port}")
    sock.bind(server_addr)

    sock.listen(1)

    while True:
        print("Waiting for connection")
        connection, client_addr = sock.accept()
        size =0
        try:
            i =0
            while  True:
                data = connection.recv(65536)
                i +=1
                if data:
                    size += len(data)
                else:
                    print("Done receiving data")
                    break
            print(f"Total size:{size}")
        except Exception as e:
            print(e)
        finally:
            connection.close()

传输客户端实现, 零拷贝的主要实现代码是通过 os.sendfile来达到目的

    import socket
    import time, os

    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

    server_port =5678
    server_address = ('127.0.0.1', server_port)

    sock.connect(server_address)
    start = time.time()

    try:
        with open(r'/tmp/吞噬星空.txt','rb') as f:
            # 普通方式传输代码实现
            # message = f.read()
            # sock.sendall(message)
            ret =0
            offset =0
            while True:
                ret = os.sendfile(sock.fileno(), f.fileno(), offset,65536)
                offset += ret
                if ret ==0:
                    break
    except Exception as e:
        print(e)
    finally:
        sock.close()
    end = time.time()
    print("Total time: ", end - start)

python init new metaclass

在python这个开发语言中同样也有很多特殊的方法,其中__new__是在实例创建之前被调用的,用于创建实例,然后返回该实例对象,是个静态方法。__init__是当实例对象创建完成后被调用的,用于初始化一个类实例,是个实例方法。

python init new 方法都是其构造方法。

__init__方法: init方法通常用在初始化一个类实例的时候.init其实不是实例化一个类的时候第一个被调用的方法。通常来实例化一个类时,最先被调用的方法,其实是new方法。

__new__: new方法接受的参数也是和init一样,但init是在类实例创建之后调用,而new方法也是创建这个类实例的方法

  • init通常用于初始化一个新实例,控制这个初始化的过程,比如添加一些属性,做一些额外的操作,发生在类实例被创建完成之后。它是实例级别的方法
  • new通常用于控制生成一个新实例的过程,他是类级别的方法。
class Animal(object):
    def __init__(self, name, color):
        print('__init__ called')
        self.name = name
        self.color = color

    def __new__(cls, *args, **kwargs):
        print('__new__ called')
        print(args)
        print(kwargs)
        return super(Animal, cls).__new__(cls)

    def __str__(self):
        return '<Animal %s %s>' % (self.name, self.color)

if __name__ == '__main__':
    dog = Animal('Dog', 'red')
    print(dog)

输出结果如下:

__new__ called
('Dog', 'red')
{}
__init__ called
<Animal Dog red>

new方法主要是当你继承一些不可变的class时,如int,str,tuple,提供给你一个自定义这些类的实例化过程的途径,还有就是实现自定义的metaclass。

还可以用new实现设计模式中的单例模式

class SingleModle(object):
    def __new__(cls):
        if not hasattr(cls, 'instance'):
            cls.instance = super(SingleModle, cls).__new__(cls)
        return cls.instance

if __name__ == '__main__':
    obj1 = SingleModle()
    obj2 = SingleModle()
    obj1.params = 'hello world'
    print(obj1.params)
    print(obj2.params)
    print(obj1 is obj2)

输出结果是

hello world
hello world
True

Metaclass 元类

  • 旧版本的class是来源一个built-in type叫做instance. 如果实例化一个class后得到obj, 那么obj.class会显示它来源于哪个class, 但是type(obj)是instance. 下面的例子env是Python2.7
    class Zoom:
    pass
    z = Zoom()
    print z.__class__
    print type(z)
    #__main__.Zoom
    #<type 'instance'>
  • 新版本的class联合了class和type的概念. 如果obj是一个新版本class的实例, 那么type(obj)和obj.class的返回结果是一样的. 在Python 3中, 所有class都是新版本的class. 有一句话, 那就是在Python中, everything is an object. Class本身也是object
    # 熟悉的built-in class也是type
    for t in int, float, dict, list, tuple:
    print(type(t))
    #<class 'type'>
    #<class 'type'>
    #<class 'type'>
    #<class 'type'>
    #<class 'type'>
    # type本身也是type
    print(type(type))
    #<class 'type'>
  • Zoom()创建了一个class Zoom的实例.
  • Zoom的父class中的call()会被启动, 因为Zoom是新版本的class, 所以它的父class就是type, 所以type的class()方法会被调用.
  • call()方法会调用new()以及init()方法.
  • 如果Zoom没有定义这两个方法, 会使用Zoom的祖先中的这两个方法.
  • 如果Zoom定义了这两个方法, 会覆盖祖先中的这两个方法
class Zoom:
    pass
z = Zoom()
print(z.__class__)
print(type(z))
print(type(Zoom))

#<class '__main__.Zoom'>
#<class '__main__.Zoom'>
#<class 'type'>
1. z是Zoom的实例
2. Zoom是type的实例
3. type是type的实例
  • type是一个metaclass, class是实例. 在Python 3中, 任何class都是type这个metaclass的实例

使用type定义class

  • 使用type创建class. 英文上说叫dynamically创建class
  • 用type创建class时有三个参数(, , )
    1. name指的就是class的名字, 它会变成class.name
    2. bases指的是这个class的祖先
    3. dct指的是class定义的一些method, attribute啥的
def f(self):
    print('in f and attr =', self.attr)
    # return self.attr

Zoom = type(
    'Zoom',
    (),
    {
        'attr': 100,
        'attr_val': f
    }
)

z=Zoom()
print(z.attr)
print(z.attr_val())

常规的定义方式

def fn(self, name = 'world'): #先定义一个函数
    print('Hello, %s' % name)

Hello = type('Hello', (object, ), dict(hello=fn)) #创建Hello class,传入class的名称,继承的父类集合class的方法名与函数绑定,这里我们把fn绑定到hello上

h = Hello()
h.hello()
print(type(Hello))
print(type(h))

#Hello, world
#<class 'type'>
#<class '__main__.Hello'>

type作为元类(Metaclass)被继承

Myclass要继承自type, MyClass这个class本身的创建也需要type, type中的一些方法也会在创建class时用到, 不想把type的所有方法都实现, 只是想做一些基于它的自定义. 这里定义了new这个方法, 我们会打印所有的attrs, 这个方法所需要的三个参数其实跟刚刚type中的三个参数是一样的.

class MyClass(type):
    def __new__(self, class_name, bases, attrs):
        modified = {}
        for name, value in attrs.items():
            if name.startswith("__"):
                modified[name] = value
            else:
                modified[name.upper()] = value
        return type(class_name, bases, modified)

class SonClass(metaclass=MyClass):
    color = "Red"
print(dir(SonClass))

vscode 指定anaconda方式

vscode是一种简化且高效的代码编辑器,同时支持诸如调试,任务执行和版本管理之类的开发操作。它的目标是提供一种快速的编码编译调试工具。然后将其余部分留给IDE。vscode集成了所有一款现代编辑器所应该具备的特性,包括语法高亮、可定制的热键绑定、括号匹配、以及代码片段收集等。

vscode是一种简化且高效的代码编辑器,同时支持诸如调试,任务执行和版本管理之类的开发操作。它的目标是提供一种快速的编码编译调试工具。然后将其余部分留给IDE。vscode集成了所有一款现代编辑器所应该具备的特性,包括语法高亮、可定制的热键绑定、括号匹配、以及代码片段收集等。

Anaconda是专注于数据分析、能够对包和环境进行管理的Python发行版本,包含了conda、Python等多个科学包及其依赖项。conda 是开源包(packages)和虚拟环境(environment)的管理系统

  • 先在本地环境中安装anaconda和vscode
  • vscode安装python插件,新版本的管理设置在左下方齿轮状的图片
  • win系统使用快捷键 CTRL+P的按钮打开搜索,然后输入:> select interpreter
  • Mac系统使用Command+p打开搜索

> select interpreter

⚠️注意: 向左箭头也是要输入的 关键字

  • 弹出如下页面后,请自行选择自己想要的anaconda环境,双击F5运行。