将条件逻辑表述为数组运算
numpy.where()是一个三目运算的表达式
1 In [34]: xarr = np.array([1.1,1.2,1.3,1.4,1.5]) 2 3 In [35]: yarr = np.array([2.1,2.2,2.3,2.4,2.5]) 4 5 In [36]: condi = np.array([True,False,True,True,False])
假设有上面三个数组，当condi中的值为True的时候，从xarr中选取值，否则从yarr中选取值，组成一个新的数组。利用普通的列表推导式如下：
result = [(x if c else y) for x,y,c in zip(xarr,yarr,condi)]
但是这种方式有缺点：在进行大量数据处理的时候，速度并不快（速度慢就是python的“特色”）。无法运用到多维数组中。
用where方法就简单好多了
result = np.where(condi,xarr,yarr)
numpy.where的第二个和第三个参数，不一定非得是数组，它们也可以是标量。
假设我们希望根据condi生成一个新的数组，如果condi中的值为True时，选择数字1，否则为数字0。
In [41]: res = np.where(condi,1,0) In [42]: res Out[42]: array([1, 0, 1, 1, 0])
在一个多维数组中，用“+”代替正数，“-”代替负数
In [46]: arr = np.random.randn(4,4) In [47]: arr Out[47]: array([[-0.33641281, -0.56924078, 0.25727917, -0.35087934], [-0.00734107, -0.47985579, -1.35289703, -1.31366566], [-0.71342875, -0.21957414, -1.25596815, 0.0859283 ], [-0.93246019, -0.61227975, -0.87573005, 1.4124276 ]]) In [48]: np.where(arr>0,"+","-") Out[48]: array([['-', '-', '+', '-'], ['-', '-', '-', '-'], ['-', '-', '-', '+'], ['-', '-', '-', '+']], dtype='<U1')
where还可以实现多条件运算
In [51]: np.where(cond1 &cond2 ,0, np.where(cond1,1,np.where(cond2,2,3))) #类似于 li=[] for x,y in zip(cond1,cond2): if x and y: li.append(0) elif x : li.append(1) elif y: li.append(2) else: li.append(3)
数学和统计方法
sum、mean、std 既可以作为数组的方法调用，也可以作为NumPy的顶级函数调用。
In [63]: arr = np.arange(15).reshape(3,5) In [64]: arr Out[64]: array([[ 0, 1, 2, 3, 4], [ 5, 6, 7, 8, 9], [10, 11, 12, 13, 14]]) #作为数组的方法调用 In [65]: arr.sum() Out[65]: 105 In [67]: arr.mean() Out[67]: 7.0 #作为numpy的顶级方法调用 In [68]: np.mean(arr) Out[68]: 7.0
mean、sum这类的函数可以接受一个参数，用于计算该轴向上的统计值，最终结果是一个少一维的数组
In [69]: arr = np.arange(60).reshape(3,4,5) In [70]: arr Out[70]: array([[[ 0, 1, 2, 3, 4], [ 5, 6, 7, 8, 9], [10, 11, 12, 13, 14], [15, 16, 17, 18, 19]], [[20, 21, 22, 23, 24], [25, 26, 27, 28, 29], [30, 31, 32, 33, 34], [35, 36, 37, 38, 39]], [[40, 41, 42, 43, 44], [45, 46, 47, 48, 49], [50, 51, 52, 53, 54], [55, 56, 57, 58, 59]]]) In [71]: arr.sum(axis = 1)#参数的值为shape的索引，不了解shape可以去看一下numpy基础知识那一篇blog Out[71]: array([[ 30, 34, 38, 42, 46], [110, 114, 118, 122, 126], [190, 194, 198, 202, 206]])
sum（axis=1）将指定的维度的数组进行聚合求和
其他如cumsum和cumprod之类的方法则不进行聚合，而是产生一个由中间结果组成的数组：
In [72]: arr = np.array([[0,1,2],[3,4,5],[6,7,8]]) In [73]: arr Out[73]: array([[0, 1, 2], [3, 4, 5], [6, 7, 8]]) In [74]: arr.cumsum() Out[74]: array([ 0, 1, 3, 6, 10, 15, 21, 28, 36], dtype=int32) In [75]: arr.cumsum(0) Out[75]: array([[ 0, 1, 2], [ 3, 5, 7], [ 9, 12, 15]], dtype=int32) In [76]: arr.cumsum(1) Out[76]: array([[ 0, 1, 3], [ 3, 7, 12], [ 6, 13, 21]], dtype=int32) In [77]: arr.cumprod(1) Out[77]: array([[ 0, 0, 0], [ 3, 12, 60], [ 6, 42, 336]], dtype=int32)
作为顶级函数的用法
In [78]: np.cumsum(arr) Out[78]: array([ 0, 1, 3, 6, 10, 15, 21, 28, 36], dtype=int32) In [79]: np.cumsum(arr,axis =0) Out[79]: array([[ 0, 1, 2], [ 3, 5, 7], [ 9, 12, 15]], dtype=int32)
用于布尔型数组的方法：sum、any和all
In [82]: bools = np.array([True,False,True,True,False]) In [83]: bools.sum() Out[83]: 3 In [84]: In [84]: bools.any() Out[84]: True In [85]: bools.all() Out[85]: False #顶级函数 In [86]: np.all(bools) Out[86]: False In [87]: np.sum(bools) Out[87]: 3 In [88]:
排序
方法基本跟python的list一样
In [93]: arr = np.random.randn(8) In [94]: arr Out[94]: array([-2.97429771, 0.37645009, -0.04291609, -0.61994895, -0.26251303, -1.1557209 , -0.19910847, -0.11393288]) In [95]: arr.sort() In [96]: arr Out[96]: array([-2.97429771, -1.1557209 , -0.61994895, -0.26251303, -0.19910847, -0.11393288, -0.04291609, 0.37645009])
对于多维数组，可以指定axis参数，用于任意一个轴向上排序
In [97]: arr = np.random.randn(4,5) In [98]: arr Out[98]: array([[-0.78510617, -0.02370449, -0.12615757, -0.15039283, -1.00503264], [ 0.24344011, -1.91231612, 0.80572501, -0.6740432 , -1.62471378], [-0.09096377, 1.79134715, -0.28566318, -0.8119145 , -0.20454602], [ 0.02648784, 0.57795444, -0.53447708, -0.74497177, -0.04684859]]) In [99]: arr.sort(1) In [100]: arr Out[100]: array([[-1.00503264, -0.78510617, -0.15039283, -0.12615757, -0.02370449], [-1.91231612, -1.62471378, -0.6740432 , 0.24344011, 0.80572501], [-0.8119145 , -0.28566318, -0.20454602, -0.09096377, 1.79134715], [-0.74497177, -0.53447708, -0.04684859, 0.02648784, 0.57795444]]) In [101]: arr = np.random.randn(4,5) In [102]: arr Out[102]: array([[-0.99257127, 0.36384095, 1.14265096, 0.23094948, 1.42900315], [ 0.07606583, 1.53456921, 1.15069057, -0.78014895, -0.24934741], [ 0.63191444, 0.23237672, 0.4590821 , 0.01904812, 1.63680472], [-1.24936364, -0.44730791, -0.30612594, -1.05307121, 1.28685507]]) In [103]: arr.sort(0) In [104]: arr Out[104]: array([[-1.24936364, -0.44730791, -0.30612594, -1.05307121, -0.24934741], [-0.99257127, 0.23237672, 0.4590821 , -0.78014895, 1.28685507], [ 0.07606583, 0.36384095, 1.14265096, 0.01904812, 1.42900315], [ 0.63191444, 1.53456921, 1.15069057, 0.23094948, 1.63680472]])
需要注意的是顶级排序函数，返回的数组以排序的副本，而就地排序则会修改数组本身。
In [105]: arr = np.random.randn(4,5) In [106]: arr_repeat=np.sort(arr,axis =1) In [107]: arr_repeat Out[107]: array([[-0.64056336, 0.14082859, 0.44317426, 0.60988308, 0.77472024], [-1.63521891, 0.39869871, 0.55635461, 0.58039867, 0.59073797], [-1.62714899, -0.66642289, -0.16457651, 0.09046719, 0.5139126 ], [-0.79493979, 0.12287039, 0.50570075, 1.08870126, 1.34838367]]) In [108]: arr Out[108]: array([[ 0.60988308, 0.44317426, 0.14082859, 0.77472024, -0.64056336], [ 0.59073797, 0.55635461, 0.58039867, -1.63521891, 0.39869871], [-0.16457651, -1.62714899, -0.66642289, 0.5139126 , 0.09046719], [ 0.50570075, 1.34838367, 0.12287039, 1.08870126, -0.79493979]])
sort还有两个参数kind和order，kind是指定排序的算法，默认是快排，还有堆排序和归并排序 【quicksort,mergesort,heapsort】。order：一个字符串或列表，可以设置按照某个属性进行排序
import numpy as np >>> dtype = [('Name', 'S10'), ('Height', float), ('Age', int)] >>> values = [('Li', 1.8, 41), ('Wang', 1.9, 38),('Duan', 1.7, 38)] >>> a = np.array(values, dtype=dtype) >>> np.sort(a, order='Height') # 按照属性Height进行排序,此时参数为字符串 array([('Duan', 1.7, 38), ('Li', 1.8, 41),('Wang', 1.9, 38)], dtype=[('Name', '|S10'), ('Height', '<f8'), ('Age', '<i4')]) >>> np.sort(a, order=['Age', 'Height']) # 先按照属性Age排序,如果Age相等，再按照Height排序，此时参数为列表 array([('Duan', 1.7, 38), ('Wang', 1.9, 38),('Li', 1.8, 41)], dtype=[('Name', '|S10'), ('Height', '<f8'), ('Age', '<i4')])
唯一化以及其他的一些集合逻辑运算
唯一化其实就是去重。ufunc是 numpy.unique()
In [119]: my_list = np.array([1,3,4,6,7,4,3,1,2]) In [120]: np.unique(my_list) Out[120]: array([1, 2, 3, 4, 6, 7])
注意：数组本身没有unique方法。
numpy的集合函数
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/tech/bigdata/9225.html