关于“concurrent模块是什么，如何实现多线程”的知识有一些人不是很理解，对此小编给大家总结了相关内容，具有一定的参考借鉴价值，而且易于学习与理解，希望能对大家有所帮助，有这个方面学习需要的朋友就继续往下看吧。

　　之前也写过多线程的博客，用的是 threading ，今天来讲下 python 的另外一个自带库 concurrent 。concurrent 是在 Python3.2 中引入的，只用几行代码就可以编写出线程池/进程池，并且计算型任务效率和 mutiprocessing.pool 提供的 poll 和 ThreadPoll 相比不分伯仲，而且在 IO 型任务由于引入了 Future 的概念效率要高数倍。而 threading 的话还要自己维护相关的队列防止死锁，代码的可读性也会下降，相反 concurrent 提供的线程池却非常的便捷，不用自己操心死锁以及编写线程池代码，由于异步的概念 IO 型任务也更有优势。

　　concurrent 的确很好用，主要提供了 ThreadPoolExecutor 和 ProcessPoolExecutor 。一个多线程，一个多进程。但 concurrent 本质上都是对 threading 和 mutiprocessing 的封装。看它的源码可以知道，所以最底层并没有异步。
ThreadPoolExecutor 自己提供了任务队列，不需要自己写了。而所谓的线程池，它只是简单的比较当前的 threads 数量和定义的 max_workers 的大小，小于 max_workers 就允许任务创建线程执行任务。

操作多线程/多进程

1、创建线程池

通过 ThreadPoolExecutor 类创建线程池对象，max_workers 设置最大运行线程数数。使用 ThreadPoolExecutor 的好处是不用担心线程死锁问题，让多线程编程更简洁。

from concurrent import futures

pool = futures.ThreadPoolExecutor(max_workers = 2)

2、submit

submit(self, fn, *args, **kwargs):

• fn：需要异步执行的函数
• *args,**kwargs：fn 接受的参数
  

 该方法的作用就是提交一个可执行的回调task，它返回一个Future对象。可以看出此方法不会阻塞主线程的执行。

import requests,datetime,time
from concurrent import futures

def get_request(url):
    r = requests.get(url)
    print('{}:{}  {}'.format(datetime.datetime.now(),url,r.status_code))

urls = ['https://www.baidu.com','https://www.tmall.com','https://www.jd.com']
pool = futures.ThreadPoolExecutor(max_workers = 2)
for url in urls:
    task = pool.submit(get_request,url)
print('{}主线程'.format(datetime.datetime.now()))
time.sleep(2)


# 输出结果
2021-03-12 15:29:10.780141:主线程
2021-03-12 15:29:10.865425:https://www.baidu.com  200
2021-03-12 15:29:10.923062:https://www.tmall.com  200
2021-03-12 15:29:10.940930:https://www.jd.com  200

3、map

map(self, fn, *iterables, timeout=None, chunksize=1):

• fn：需要异步执行的函数
• *iterables：可迭代对象
  

map 第二个参数是可迭代对象，比如 list、tuple 等，写法相对简单。map 方法也不会阻塞主线程的执行。

import requests,datetime,time
from concurrent import futures



def get_request(url):
    r = requests.get(url)
    print('{}:{}  {}'.format(datetime.datetime.now(),url,r.status_code))

urls = ['https://www.baidu.com','https://www.tmall.com','https://www.jd.com']
pool = futures.ThreadPoolExecutor(max_workers = 2)
tasks = pool.map(get_request,urls)
print('{}:主线程'.format(datetime.datetime.now()))
time.sleep(2)


# 输出结果
2021-03-12 16:14:04.854452:主线程
2021-03-12 16:14:04.938870:https://www.baidu.com  200
2021-03-12 16:14:05.033849:https://www.jd.com  200
2021-03-12 16:14:05.048952:https://www.tmall.com  200

4、wait

如果要等待子线程执行完之后再执行主线程要怎么办呢，可以通过 wait 。

wait(fs, timeout=None, return_when=ALL_COMPLETED):

• fs：所有任务 tasks
• return_when：有三个参数 FIRST_COMPLETED：只要有一个子线程完成则返回结果。 FIRST_EXCEPTION：只要有一个子线程抛异常则返回结果，若没有异常则等同于ALL_COMPLETED。 ALL_COMPLETED：默认参数，等待所有子线程完成。

import requests,datetime,time
from concurrent import futures


def get_request(url):
    r = requests.get(url)
    print('{}:{}  {}'.format(datetime.datetime.now(),url,r.status_code))

urls = ['https://www.baidu.com','https://www.tmall.com','https://www.jd.com']
pool = futures.ThreadPoolExecutor(max_workers = 2)
tasks =[]
for url in urls:
    task = pool.submit(get_request,url)
    tasks.append(task)
futures.wait(tasks)
print('{}:主线程'.format(datetime.datetime.now()))
time.sleep(2)


# 输出结果
2021-03-12 16:30:13.437042:https://www.baidu.com  200
2021-03-12 16:30:13.552700:https://www.jd.com  200
2021-03-12 16:30:14.117325:https://www.tmall.com  200
2021-03-12 16:30:14.118284:主线程

5、异常处理

as_completed(fs, timeout=None)

• 所有任务 tasks
  

使用 concurrent.futures 操作 多线程/多进程 过程中，很多函数报错并不会直接终止程序，而是什么都没发生。使用 as_completed 可以捕获异常，代码如下

import requests,datetime,time
from concurrent import futures

def get_request(url):
    r = requests.get(url)
    print('{}:{}  {}'.format(datetime.datetime.now(),url,r.status_code))

urls = ['www.baidu.com','https://www.tmall.com','https://www.jd.com']
# 创建线程池
pool = futures.ThreadPoolExecutor(max_workers = 2)
tasks =[]
for url in urls:
    task = pool.submit(get_request,url)
    tasks.append(task)
# 异常捕获 
errors = futures.as_completed(tasks)
for error in errors:
    # error.result()       等待子线程都完成，并抛出异常，中断主线程
    # 捕获子线程异常，不会终止主线程继续运行
    print(error.exception())
futures.wait(tasks)
print('{}:主线程'.format(datetime.datetime.now()))
time.sleep(2)


# 输出结果
Invalid URL 'www.baidu.com': No schema supplied. Perhaps you meant http://www.baidu.com?
2021-03-12 17:24:26.984933:https://www.tmall.com  200
None
2021-03-12 17:24:26.993939:https://www.jd.com  200
None
2021-03-12 17:24:26.994937:主线程

多进程编程也类似，将 ThreadPoolExecutor 替换成 ProcessPoolExecutor 。

以上就是关于“concurrent模块是什么，如何实现多线程”的相关知识，感谢各位的阅读，想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会，如果想了解更多相关内容的文章，欢迎关注群英网络，小编每天都会为大家更新不同的知识。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python中float()函数的作用是什么，实例是怎样

  Python内置函数-float()函数。float() 函数用于将整数和字符串转换成浮点数。

• Python读取16进制byte数据的实现的代码是什么

  这篇文章主要介绍了Python如何读取16进制byte数据，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

• python中dlib库有什么用处？怎么样安装？

  python中dlib库有什么用处？dlib库是一个机器学习的开源库，包含了机器学习的很多算法，使用起来很方便，直接包含头文件即可，并且不依赖于其他库(自带图像编解码库源码)。简单的了解完dlib库的用处，下面我们就来看看如何安装dlib库。

• dataframe数据选择怎样实现？一文带你快速看懂

  这篇文章主要给大家介绍dataframe数据选择的内容，有时候我们需要对数据进行筛选，选择我们想要的数据，下面给给大家分享使用dataframe数据选择的方法，小编觉得是比较实用的，感兴趣的朋友就往下看吧。

• Python字符串格式化是什么，有哪些

  这篇文章主要为大家介绍了Python中的字符串格式化，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助