博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python中的map_reduce
阅读量:5019 次
发布时间:2019-06-12

本文共 1758 字,大约阅读时间需要 5 分钟。

提起map和reduce想必大家并不陌生,Google公司2003年提出了一个名为MapReduce的编程模型,用于处理大规模海量数据,并在之后广泛的应用于Google的各项应用中,2006年Apache的Hadoop项目正式将MapReduce纳入到项目中。

好吧,闲话少说,今天要介绍的是Python函数式编程中的另外两个内建函数map()和reduce(),而不是Google的MapReduce。

map

格式:map( func, seq1[, seq2...] )

Python函数式编程中的map()函数是将func作用于seq中的每一个元素,并用一个列表给出返回值。如果funcNone,作用同zip()

seq只有一个时

将func函数作用于这个seq的每个元素上,得到一个新的seq。下图说明了只有一个seq的时候map()函数是如何工作的

可以看出,seq中的每个元素都经过了func函数的作用,得到了func(seq[n])组成的列表。

下面举一个例子进行说明。假设我们想要得到一个列表中数字%3的余数,那么可以写成下面的代码。

# 使用mapprint map( lambda x: x%4, range(9) )  # [0, 1, 2, 3, 0, 1, 2, 3, 0]#使用列表解析print [x%4 for x in range(9)]  # [0, 1, 2, 3, 0, 1, 2, 3, 0]

seq多于一个

map可以并行地对每个seq执行如下图所示的过程:

也就是说每个seq的同一位置的元素在执行过一个多元的func函数之后,得到一个返回值,这些返回值放在一个结果列表中。

下面的例子是求两个列表对应元素的积,可以想象,这是一种可能会经常出现的状况,而如果不是用map的话,就要使用一个for循环,依次对每个位置执行该函数。

print map( lambda x, y: x * y, [4, 5, 6],[1, 2, 3] ) # [4, 10, 18]

上面是返回值是一个值的情况,实际上也可以是一个元组。下面的代码不止实现了乘法,也实现了加法,并把积与和放在一个元组中。

print map( lambda x, y: ( x * y, x + y),[4, 5, 6],[1, 2, 3]) # [(4, 5), (10, 7), (18, 9)]

还有就是上面说的funcNone的情况,它的目的是将多个列表相同位置的元素归并到一个元组,在现在已经有了专用的函数zip()了。

print map( None, [1, 2, 3], [4, 5, 6] )  # [(1, 4), (2, 5), (3, 6)]print zip( [1, 2, 3], [4, 5, 6] )  # [(1, 4), (2, 5), (3, 6)]

reduce

格式:reduce( func, seq[, init] )

reduce函数即为化简,它是这样一个过程:每次迭代,将上一次的迭代结果(第一次时为init的元素,如没有init则为seq的第一个元素)与下一个元素一同执行一个二元的func函数。在reduce函数中,init是可选的,如果使用,则作为第一次迭代的第一个元素使用。

简单来说,可以用这样一个形象化的式子来说明:

reduce( func, [1, 2, 3, 4] ) = func( func(1, 2), 3, 4)

下面是reduce函数的工作过程图:

举个例子来说,阶乘是一个常见的数学方法,Python中并没有给出一个阶乘的内建函数,我们可以使用reduce实现一个阶乘的代码。

n = 5print reduce(lambda x, y: x * y, range(1, n + 1))  # 120

那么,如果我们希望得到2倍阶乘的值呢?这就可以用到init这个可选参数了

m = 2n = 5print reduce( lambda x, y: x * y, range( 1, n + 1 ), m )  # 240

转载于:https://www.cnblogs.com/peihao/p/5269121.html

你可能感兴趣的文章
英语单词学习备忘转载
查看>>
【C++】单例模式详解
查看>>
文本框根据关键字异步搜索内容
查看>>
SQLServer 基本语法
查看>>
Python入门基础知识(1) :locals() 和globals()
查看>>
python模块之multiprocessing模块, threading模块, concurrent.futures模块
查看>>
css-文字和图片在容器内垂直居中的简单方法
查看>>
杭电3784(继续xxx定律)
查看>>
PHP 的 HMAC_SHA1算法 实现
查看>>
深入理解javascript原型和闭包_____全部
查看>>
2016年中国的SaaS服务商企业研究
查看>>
HTML5:离线存储(缓存机制)-IndexDB
查看>>
9-5
查看>>
Laxcus大数据管理系统2.0(5)- 第二章 数据组织
查看>>
kafka入门样例 for java
查看>>
Redis存储AccessToken
查看>>
Use commons-email-1.1.jar+activation.jar+mail.jar to send Email
查看>>
hdu 2160 Sequence one(DFS)
查看>>
ATM实验感受
查看>>
csharp基础
查看>>