NumPy(Numerical Python)，python 数值计算包。是所有 python 数据分析包的基础。NumPy提供了大量的数值编程工具，可以方便地处理向量、矩阵等运算，极大地便利了人们在科学计算方面的工作。
NumPy(Numerical Python)，python 数值计算包。是所有 python 数据分析包的基础。 NumPy提供了大量的数值编程工具，可以方便地处理向量、矩阵等运算，极大地便利了人们在科学计算方面的工作[^1]。
NumPy 的主要功能包括：
- ndarray, 多维数组，支持快速的矢量运算和复杂广播能力（不同大小的数组之间的运算叫广播（broadcasting）)
- 随机数生成
- 标准数学函数，用于对这个数组的数据进行快速运算，无需自己编写循环
- 磁盘及内存 IO 工具
- 线性代数、傅里叶变换
- 提供通用数据接口和工具，便于集成其他语言( 如 C/C++ 等）
在数据分析时，很重要的功能包括：
- 用于数据整理和清理、子集构造和过滤、转换等快速的矢量化运算
- 常用的数组解法，如排序、唯一化、集合运算等
- 高效的描述统计和数据聚合/摘要运算
- 用于异构数据集的合并/连接运算的数据对齐和关系型数据运算
- 将条件逻辑表述为数组表达式（而不是带有if-elif-else分支的循环）
- 数据的分组运算（聚合、转换、函数应用等）。
这些功能 NumPy 都有提供，但是更基础。一般我们不直接使用 Numpy，而是通过 pandas 等包间接调用。
准备工作¶
%pylab inline
# import numpy as np
import pandas as pd
import json
ndarray: 多维数组对象¶
ndarray 要求其中所有元素的类型必须相同。
data = randn(2, 3)
data
data * 10
data + data
Out[4]:
data.shape
data.dtype
Out[5]:
创建数组¶
np.array()将 Python 数组转换为 ndarray 数组np.asarray()？np.zeros()元素全为0的数组np.zeros_like()创建一个与参数数组形状相同的全0数组np.ones()元素全为1的数组np.ones_like()创建一个与参数数组形状相同的全1数组np.empty()没有任何具体值的 ndarray 数组np.empty_like()创建一个与参数数组形状相同的全空数组np.arange()根据 Python 内置函数 range 创建数组np.eye()和np.identity()创建一个 NxN 的单位矩阵（对角线为1，其余全为0）
# 创建一维数组
data1 = [6, 7.5, 8, 0, 1]
arr1 = np.array(data1)
arr1
Out[6]:
# 创建多维数组
data2 = [[1, 2, 3, 4], [5, 6, 7, 8]]
arr2 = np.array(data2)
arr2
Out[7]:
# 特殊数组
print('一维 zero 数组')
print(np.zeros(10))
print('二维空数组')
print(np.empty((2, 3)))
print('二维ones数组')
print(np.ones((3,2)))
print('序列数组')
print(np.arange(15))
print('[0, 1)区间的随机数数组')
print(np.random.rand(5))
# 数组的属性
print(arr1.dtype)
print(arr2.dtype)
print(arr2.ndim)
print(arr2.shape)
数组类型 dtype¶
arr1 = np.array([1, 2, 3], dtype=np.float64)
arr2 = np.array([1, 2, 3], dtype=np.int32)
print(arr1.dtype)
print(arr2.dtype)
# 类型转换
# 调用astype总会创建一个新的数组（原始数组的一个拷贝），即使和原来的数据类型相同
float_arr = arr2.astype(np.float64)
float_arr
Out[11]:
数组运算¶
arr = np.array([[1., 2., 3.], [4., 5., 6.]])
arr
Out[12]:
arr - arr
Out[13]:
arr * arr
Out[14]:
arr ** 0.5
Out[15]:
1 / arr
Out[16]:
arr = np.arange(10)
arr
arr[5]
arr[5:8]
arr[5:8] = 12 # 对切片的操作会改变原始数组
arr
Out[17]:
# 即使创建了新的变量也是如此。不会复制数据，只会改变源数据
arr_slice = arr[5:8]
arr_slice[1] = 12345
arr
arr_slice[:] = 64
arr
Out[18]:
arr2d = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
arr2d[2]
Out[19]:
# 这两种方式等价
arr2d[0][2]
arr2d[0, 2]
Out[20]:
arr3d = np.array([[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]])
arr3d
Out[21]:
arr3d[0]
Out[22]:
# 如果一定要复制数据，使用 `copy()`方法
old_values = arr3d[0].copy()
arr3d[0] = 42
arr3d
arr3d[0] = old_values
arr3d
Out[23]:
arr3d[1, 0]
Out[24]:
切片索引(Indexing with slices)¶
arr[1:6]
Out[25]:
arr2d
arr2d[:2]
Out[26]:
arr2d[:2, 1:]
Out[27]:
arr2d[1, :2]
arr2d[2, :1]
Out[28]:
arr2d[:, :1]
Out[29]:
arr2d[:2, 1:] = 0
布尔索引¶
names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])
data = randn(7, 4)
names
data
Out[31]:
names == 'Bob'
Out[32]:
data[names == 'Bob']
Out[33]:
data[names == 'Bob', 2:]
data[names == 'Bob', 3]
Out[34]:
names != 'Bob'
data[~(names == 'Bob')]
Out[35]:
mask = (names == 'Bob') | (names == 'Will')
mask
data[mask]
Out[36]:
data[data < 0] = 0
data
Out[37]:
data[names != 'Joe'] = 7
data
Out[38]:
arr = np.empty((8, 4))
for i in range(8):
arr[i] = i
arr
Out[39]:
arr[[4, 3, 0, 6]]
Out[40]:
arr[[-3, -5, -7]]
Out[41]:
# more on reshape in Chapter 12
arr = np.arange(32).reshape((8, 4))
arr
arr[[1, 5, 7, 2], [0, 3, 1, 2]]
Out[42]:
arr[[1, 5, 7, 2]][:, [0, 3, 1, 2]]
Out[43]:
arr[np.ix_([1, 5, 7, 2], [0, 3, 1, 2])]
Out[44]:
数组转置和轴对换¶
转置(transpose)，是一种对源数据的视图，不会进行复制。
arr = np.arange(15).reshape((3, 5))
print(arr)
print('-------')
print(arr.T)
np.dot(): 矩阵乘积
arr = np.arange(6).reshape((2,3))
print(arr)
print('-------')
print(arr.T)
print('-------')
print(np.dot(arr.T, arr))
# 多维的情况比较复杂
arr = np.arange(16).reshape((2, 2, 4))
print(arr)
print('--------')
print(arr.transpose((1, 0, 2)))
交换坐标轴
print(arr)
print('--------')
print(arr.swapaxes(1, 2))
通用函数：快速的元素级数组函数¶
NumPy 中的通用函数(ufunc), 可以对ndarray中的数据逐个执行运算。
常见的 ufunc 包括：
- 一元 ufunc
- abs、fabs： 计算绝对值。对于非复数，fabs 更快
- sqrt: 平方根
- square: 平方
- exp: e^x
- log, log10, log2: 底数为 e,10,2的对数
- log1p: log(1+x)
- sign: 符号。（返回1，0，-1)
- cell: ceiling 值，即>=x 的最小整数
- floor: floor 值，即<=x 的最大整数
- rint: 四舍五入的整数，保留 type
- modf: 将小数和整数部分返回两个独立数组
- isnan: 返回是否为 非数字(NaN)的布尔数组
- isfinite, isinf: 返回是否为有穷(非 inf,非 NaN) / 无穷 的布尔数组
- cos, cosh, sin, sinh, tan, tanh: 三角函数
- arcos, arccosh, arcsin, arcsinh, arctan, arctanh: 反三角函数
- logical_not: 计算 非， 相当于
~attr
- 二元 ufunc
//TODO:
arr = np.arange(10)
np.sqrt(arr)
np.exp(arr)
Out[49]:
x = randn(8)
y = randn(8)
x
y
# 以两个数组为参数，并返回数组
np.maximum(x, y) # element-wise maximum
Out[50]:
arr = randn(7) * 5
# 返回两个数组
np.modf(arr)
Out[51]:
利用数组进行数据处理¶
矢量化数组运算比纯pyhton方式快1-2个数量级（or more）, 因为broadcasting作用很强大。
points = np.arange(-5, 5, 0.01) # 1000 equally spaced points
xs, ys = np.meshgrid(points, points)
ys
Out[52]:
from matplotlib.pyplot import imshow, title
import matplotlib.pyplot as plt
z = np.sqrt(xs ** 2 + ys ** 2)
z
plt.imshow(z, cmap=plt.cm.gray); plt.colorbar()
plt.title("Image plot of $\sqrt{x^2 + y^2}$ for a grid of values")
Out[53]:
将条件逻辑表述为数组运算¶
np.where(): x if condition else y 的矢量版
xarr = np.array([1.1, 1.2, 1.3, 1.4, 1.5])
yarr = np.array([2.1, 2.2, 2.3, 2.4, 2.5])
cond = np.array([True, False, True, True, False])
result = [(x if c else y)
for x, y, c in zip(xarr, yarr, cond)]
result
Out[55]:
result = np.where(cond, xarr, yarr)
result
Out[56]:
arr = randn(4, 4)
arr
np.where(arr > 0, 2, -2)
np.where(arr > 0, 2, arr) # set only positive values to 2
Out[57]:
# 更复杂的用法
# result = 1 * cond1 + 2 * cond2 + 3 * -(cond1 | cond2)
# np.where(cond1 & cond2, 0,
# np.where(cond1, 1,
# np.where(cond2, 2, 3)))
数学和统计方法¶
常用的统计计算
- sum: 求和
- mean: 算术平均数
- min, max: 最小值、最大值
- argmin, argmax: 最小元素、最大元素的索引
- std,var: 标准差和方差
- cumsum: 所有元素的累计和
- cumprod: 所有元素的累计积
用于布尔数组时
- sum: 用于 True 的加和
- any: 是否存在 True
- all: 是否全为 True
常用集合运算
- sort: 排序
- unique: 唯一化，返回有序结果
- intersect1d(x,y): 计算公共元素，返回有序结果
- union1d(x,y): 计算并集，返回有序结果
- in1d(x,y): 返回关于“x数组中的元素是否在y中” 的布尔数组
- setdiff1d(x,y): 集合的差，返回元素在 x 中且不在 y 中的数组
- setxor1d(x,y): 集合异或，返回元素在一个集合中但不同时在两个集合中的数组
这些运算可以使用参数axis表示对哪个维度计算
arr = np.random.randn(5, 4) # 正态分布数据
print(arr.mean())#等价于 np.mean(arr)
print(arr.sum())
print(arr.mean(axis=1)) #
print(arr.sum(0))
arr = np.array([[0, 1, 2], [3, 4, 5], [6, 7, 8]])
print(arr.cumsum(0))
print('-------')
print(arr.cumprod(1))
Methods for boolean arrays¶
arr = randn(100)
(arr > 0).sum() # Number of positive values
Out[62]:
bools = np.array([False, False, True, False])
bools.any()
bools.all()
Out[63]:
Sorting¶
arr = randn(8)
arr
arr.sort()
arr
Out[64]:
arr = randn(5, 3)
arr
arr.sort(1)
arr
Out[65]:
large_arr = randn(1000)
large_arr.sort()
large_arr[int(0.05 * len(large_arr))] # 5% quantile
Out[66]:
Unique and other set logic¶
names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])
print(np.unique(names))
ints = np.array([3, 3, 3, 2, 2, 1, 1, 4, 4])
print(np.unique(ints))
sorted(set(names))
Out[68]:
values = np.array([6, 0, 0, 3, 2, 5, 6])
np.in1d(values, [2, 3, 6])
Out[69]:
保存和读取数组文件（二进制）¶
arr = np.arange(10)
np.save('some_array', arr)
np.load('some_array.npy')
Out[71]:
np.savez('array_archive.npz', a=arr, b=arr) # 压缩保存
arch = np.load('array_archive.npz') # 解压读取
arch['b']
Out[73]:
!rm some_array.npy
!rm array_archive.npz
保存和读取文本文件¶
#!cat array_ex.txt
#arr = np.loadtxt('array_ex.txt', delimiter=',')
#arr
线性代数 (Linear algebra)¶
NumPy 的linalg中有很多关于矩阵的函数，与MATLAB、R使用的是相同的行业标准级Fortran库。
常用的函数包括：
- diag 返回方阵的对角线/非对角线元素数组，或者将一位数组转换为方阵
- dot 矩阵相乘
- trace 计算对角线元素之和
- det 计算矩阵行列式
- eig 计算方阵的本征值和本征向量
- inv 计算方阵的逆
- pinv 计算矩阵的 Moore-Penrose 伪逆
- qr 计算 QR 分解
- svd 计算奇异值分解(SVD)
- solve 解线性方程组 Ax=b, 其中 A 为一个方阵
- lstsq 计算 Ax=b 的最小二乘解
x = np.array([[1., 2., 3.], [4., 5., 6.]])
y = np.array([[6., 23.], [-1, 7], [8, 9]])
x
y
x.dot(y) # equivalently np.dot(x, y)
Out[78]:
np.dot(x, np.ones(3))
Out[79]:
np.random.seed(12345)
from numpy.linalg import inv, qr
X = randn(5, 5)
mat = X.T.dot(X)
inv(mat)
mat.dot(inv(mat))
q, r = qr(mat)
r
Out[81]:
生成随机数¶
NumPy.random模块对Python内置的random进行了补充，增加了一些用于高效生成多种概率分布的样本值的函数。
常用的函数包括：
- seed
- permutation
- shuffle
- rand
- randint
- randn
- binomial
- normal
- beta
- chisquare
- gamma
- uniform
samples = np.random.normal(size=(4, 4))
samples
Out[82]:
from np.random import normalvariate
N = 1000000
%timeit samples = [normalvariate(0, 1) for _ in xrange(N)]
%timeit np.random.normal(size=N)
示例：随机漫步¶
nsteps = 1000
draws = np.random.randint(0, 2, size=nsteps)
steps = np.where(draws > 0, 1, -1)
walk = steps.cumsum()
plt.plot(walk)
Out[84]:
print(walk.min())
print(walk.max())
print((np.abs(walk) >= 10).argmax())
一次模拟多个随机漫步¶
nwalks = 500
nsteps = 100
draws = np.random.randint(0, 2, size=(nwalks, nsteps)) # 0 or 1
steps = np.where(draws > 0, 1, -1)
walks = steps.cumsum(1)
# X = range(100)
# plt.plot(X,walks.T)
print(walks.max())
print(walks.min())
hits30 = (np.abs(walks) >= 30).any(1)
hits30
hits30.sum() # Number that hit 30 or -30
Out[4]:
crossing_times = (np.abs(walks[hits30]) >= 30).argmax(1)
crossing_times.mean()
Out[5]:
steps = np.random.normal(loc=0, scale=0.25,
size=(nwalks, nsteps))
steps
Out[6]:
Out[9]:
参考资料¶
- [^1]: 一大波金融Library来袭之numpy篇
- [^2]: 司空格子Ored 的笔记