python socket归档 - 无聊世界

This module provides access to the BSD socket interface. It is available on all modern Unix systems, Windows, MacOS, and probably additional platforms.
python document

Socket 是任何一种计算机网络通讯中最基础的内容。socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭）

python socket 介绍

传统的文件传输里面（read/write方式），在实现上需要经过多次上下文的切换,文件数据实际上是经过了四次copy操作：

硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎

1. Socket 类型

套接字格式：

socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号（默认为0）来创建套接字。

socket类型	描述
socket.AF_UNIX	只能够用于单一的Unix系统进程间通信
socket.AF_INET	服务器之间网络通信
socket.AF_INET6	IPv6
socket.SOCK_STREAM	流式socket , for TCP
socket.SOCK_DGRAM	数据报式socket , for UDP
socket.SOCK_RAW	原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。
socket.SOCK_SEQPACKET	可靠的连续数据包服务
创建TCP Socket：	s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
创建UDP Socket：	s=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)

Socket 函数
1. TCP发送数据时，已建立好TCP连接，所以不需要指定地址。UDP是面向无连接的，每次发送要指定是发给谁。
2. 服务端与客户端不能直接发送列表，元组，字典。需要字符串化repr(data)。

服务端socket函数	描述
s.bind(address)	将套接字绑定到地址, 在AF_INET下,以元组（host,port）的形式表示地址.
s.listen(backlog)	开始监听TCP传入连接。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。
s.accept()	接受TCP连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。

客户端socket函数	描述
s.connect(address)	连接到address处的套接字。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。
s.connect_ex(adddress)	功能与connect(address)相同，但是成功返回0，失败返回errno的值。

公共socket函数	描述
s.recv(bufsize[,flag])	接受TCP套接字的数据。数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。
s.send(string[,flag])	发送TCP数据。将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall(string[,flag])	完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
s.recvfrom(bufsize[.flag])	接受UDP套接字的数据。与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto(string[,flag],address)	发送UDP数据。将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。
s.close()	关闭套接字。
s.getpeername()	返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname()	返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value)	设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen])	返回套接字选项的值。
s.settimeout(timeout)	设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）
s.gettimeout()	返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。
s.fileno()	返回套接字的文件描述符。
s.setblocking(flag)	如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。
s.makefile()	创建一个与该套接字相关连的文件

socket编程思路

TCP服务端：

1. 创建套接字，绑定套接字到本地IP与端口 

# socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.bind()

2. 开始监听连接                   #s.listen()

3. 进入循环，不断接受客户端的连接请求              #s.accept()

4. 然后接收传来的数据，并发送给对方数据         #s.recv() , s.sendall()

5. 传输完毕后，关闭套接字                     #s.close()

TCP客户端:

1. 创建套接字，连接远端地址

# socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.connect()

2. 连接后发送数据和接收数据          # s.sendall(), s.recv()

3. 传输完毕后，关闭套接字          #s.close()

socket server 编写步骤该要

1. 第一步是创建socket对象。
    调用socket构造函数。如：
    socket = socket.socket( family, type )
    family参数代表地址家族，可为AF_INET或AF_UNIX。AF_INET家族包括Internet地址，AF_UNIX家族用于同一台机器上的进程间通信。
    type参数代表套接字类型，可为SOCK_STREAM(流套接字)和SOCK_DGRAM(数据报套接字)。
2. 第二步是将socket绑定到指定地址。
    这是通过socket对象的bind方法来实现的：
    socket.bind( address )
    由AF_INET所创建的套接字，address地址必须是一个双元素元组，格式是(host,port)。host代表主机，port代表端口号。
    如果端口号正在使用、主机名不正确或端口已被保留，bind方法将引发socket.error异常。
3. 第三步是使用socket套接字的listen方法接收连接请求。
    socket.listen( backlog )
    backlog指定最多允许多少个客户连接到服务器。它的值至少为1。收到连接请求后，这些请求需要排队，如果队列满，就拒绝请求。
4. 第四步是服务器套接字通过socket的accept方法等待客户请求一个连接。
    connection, address = socket.accept()
    调用accept方法时，socket会时入“waiting”状态。客户请求连接时，方法建立连接并返回服务器。
    accept方法返回一个含有两个元素的元组(connection,address)。
    第一个元素connection是新的socket对象，服务器必须通过它与客户通信；
    第二个元素 address是客户的Internet地址。
5. 第五步是处理阶段。
    服务器和客户端通过send和recv方法通信(传输 数据)。
    服务器调用send，并采用字符串形式向客户发送信息。send方法返回已发送的字符个数。
    服务器使用recv方法从客户接收信息。调用recv 时，服务器必须指定一个整数，它对应于可通过本次方法调用来接收的最大数据量。
    recv方法在接收数据时会进入“blocked”状态，最后返回一个字符串，用它表示收到的数据。
    如果发送的数据量超过了recv所允许的，数据会被截短。多余的数据将缓冲于接收端。以后调用recv时，
    多余的数据会从缓冲区 删除(以及自上次调用recv以来，客户可能发送的其它任何数据)。
6. 传输结束，服务器调用socket的close方法关闭连接。

scoket client 编写步骤该要

1. 创建一个socket以连接服务器：socket = socket.socket( family, type )
2. 使用socket的connect方法连接服务器。对于AF_INET家族,连接格式如下：
    socket.connect( (host,port) )
    host代表服务器主机名或IP，port代表服务器进程所绑定的端口号。
    如连接成功，客户就可通过套接字与服务器通信，如果连接失败，会引发socket.error异常。
3. 处理阶段，客户和服务器将通过send方法和recv方法通信。
4. 传输结束，客户通过调用socket的close方法关闭连接。

python scoket 零拷贝代码实例

接受服务端基本代码实现

    import socket

    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server_port =5678
    server_addr = ("0.0.0.0", server_port)
    print(f"Start server on port{server_port}")
    sock.bind(server_addr)

    sock.listen(1)

    while True:
        print("Waiting for connection")
        connection, client_addr = sock.accept()
        size =0
        try:
            i =0
            while  True:
                data = connection.recv(65536)
                i +=1
                if data:
                    size += len(data)
                else:
                    print("Done receiving data")
                    break
            print(f"Total size:{size}")
        except Exception as e:
            print(e)
        finally:
            connection.close()

传输客户端实现, 零拷贝的主要实现代码是通过 os.sendfile来达到目的

    import socket
    import time, os

    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

    server_port =5678
    server_address = ('127.0.0.1', server_port)

    sock.connect(server_address)
    start = time.time()

    try:
        with open(r'/tmp/吞噬星空.txt','rb') as f:
            # 普通方式传输代码实现
            # message = f.read()
            # sock.sendall(message)
            ret =0
            offset =0
            while True:
                ret = os.sendfile(sock.fileno(), f.fileno(), offset,65536)
                offset += ret
                if ret ==0:
                    break
    except Exception as e:
        print(e)
    finally:
        sock.close()
    end = time.time()
    print("Total time: ", end - start)

标签： python socket

python socket 零拷贝

python socket 介绍

socket server 编写步骤该要

scoket client 编写步骤该要

python scoket 零拷贝代码实例