2021 年 8 月 – 无聊世界

numpy random multinomial 多项式分布函数入门介绍

NumPy是一个开源的Python科学计算库,我们在之前的文章中已经对其做了基本的介绍，而且也对numpy的数据结构、基础函数等做了入门的讲解。

numpy random是其很重要的一个模块，在此模块中有很多有实际应用价值的函数，每个函数都会对应一个或者多个数学场景。本篇旨在介绍其中的一个关于多项式分布取样本的函数– multinomial

1、multinomial介绍

numpy.random.multinomial(n, pvals, size=None)

n : int：实验次数
pvals：浮点数序列，长度p。P个不同结果的概率。这些值应该和为1（但是，只要求和（pvals[：-1]）<=1，最后一个元素总是被假定为考虑剩余的概率）。
size : int 或 int的元组，可选。输出形状。如果给定形状为（m，n，k），则绘制 mnk 样本。默认值为无，在这种情况下返回单个值。

返回值： ndarray，每个条目 [i，j，…，：] 都是从分布中提取的一个n维值。

多项式分布，从多项式分布中提取样本。

多项式分布是二项式分布的多元推广。做一个有P个可能结果的实验。这种实验的一个例子是掷骰子，结果可以是1到6。从分布图中提取的每个样本代表n个这样的实验。其值x_i = [x_0，x_1，…，x_p] 表示结果为i的次数。

2、实例介绍

官方文档中已经给出了非常简洁易懂的实例，我们直接拿过来摆一下。这个实例就是掷骰子。

场景描述：我们知道骰子一共是6面，每个面代表一个数字，分别是1、2、3、4、5、6.我们每次抛骰子得到的数字公概率上来讲都是等概率的1/6；那么我们做一组实验，抛20次骰子得到的样本会是什么样的呢？通过 numpy.random.multinomial 函数将此场景再现出来就是以下代码：

>>> np.random.multinomial(20, [1/6.]*6, size=1)
array([[4, 1, 7, 5, 2, 1]])

以上的代码和结果输出表示的是：我们得到数字是1的次数是4次，得到2的次数是1词，得到3的次数是7次，以此类推。

返回值的数字表示样本值的次数，而对应数字的数组索引位置表示的是实际的值。

如果我们循环来对同一场景做多次样本实验呢？

for i in range(4):
    a =np.random.multinomial(20, [1/6.]*6, size=1)
    print(a)

#[[2 6 3 5 3 1]]
#[[4 4 1 3 4 4]]
#[[0 4 3 5 2 6]]
#[[4 3 2 5 3 3]]

我们可以看出每次的实验结果都是不一样的。这也体现了实际情况下有限实现取样的随机性。

多次取样在官方实验的代码demo是通过参数来控制的。

>>> np.random.multinomial(20, [1/6.]*6, size=2)
array([[3, 4, 3, 3, 4, 3],
       [2, 4, 3, 4, 0, 7]])

size在这个地方跟我们通过循环多次实验是一样的效果。

自然语言处理(NLP)-nltk 安装 wordnet使用简介

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。nltk (Natural Language Toolkit)，自然语言处理工具包，在NLP领域中，最常使用的一个Python库。

nltk是一个开源的项目，包含：Python模块，数据集和教程，用于NLP的研究和开发；NLTK由Steven Bird和Edward Loper在宾夕法尼亚大学计算机和信息科学系开发。NLTK包括图形演示和示例数据。其提供的教程解释了工具包支持的语言处理任务背后的基本概念。

一、安装

NLTK requires Python versions 3.5, 3.6, 3.7, 3.8, or 3.9

Mac/Unix的环境下： pip install –user -U nltk

windows环境下：http://www.python.org/downloads/ 下载后安装，也可以在cmd窗口下通过pip命令按照。

二、语料下载

我们使用windows环境，在cmd命令下输入python，回车，进去python命令交互窗口，然后输入一下代码；也可以是在IED里输入一下代码，之后运行脚本。

import nltk
#然后下载语料库
nltk.download()

代码运行后会弹出窗口如下，按需下载，我最初不确定自己会用什么语料，所以双击了all。整个下载完占用3个G左右的空间。

其中corpora为语料库，也可以下载自己需要的语料库：http://www.nltk.org/nltk_data/

corpora中有好多文章和字典，wordnet是面向语义的词典，names里包含了好多名字，stopwords包含了可忽略的语法上的高频词汇，words包含平时常用的单词可用来做拼写检查，还有city_database，webtext，unicode_samples等语料。

wordnet语料库：wordnet是普林斯顿大学创建的语义词典，特点是其中包含了大量的单词间的联系，可以看作是一个巨大的词汇网络。

词与词之间的关系可以为同义，反义，上下位（水果－苹果），整体部分（汽车－轮胎）。建立关系是大脑学习的首要过程，知识的脉络必定可达，孤立点会被遗忘。

wordnet API：http://www.nltk.org/howto/wordnet.html

三、语料使用

使用的时候直接import即可，如

from nltk.corpus import gutenberg
from nltk.corpus import stopwords

使用 wordnet

from nltk.corpus import wordnet as wn
from nltk.corpus import wordnet as wn
print(wn.synsets('food'))
# 输出：[Synset('food.n.01'), Synset('food.n.02'), Synset('food.n.03')]

注： synsets()用来查询一个单词，返回结果是Synset数组，一个Synset由单词－词性－序号组成

numpy array sort 数组操作的基本函数入门(三)

NumPy 是 Python 科学计算的基础包。之前我们已经介绍过了三角函数、算术函数、统计函数等基础函数；此外NumPy还提供了多种排序的方法。这些排序函数实现不同的排序算法，每个排序算法的特征在于执行速度，最坏情况性能，所需的工作空间和算法的稳定性。

1、numpy.sort()：函数返回输入数组的排序副本。

numpy.sort(a, axis, kind, order)

参数说明：

a: 要排序的数组
axis: 沿着它排序数组的轴，如果没有数组会被展开，沿着最后的轴排序， axis=0 按列排序，axis=1 按行排序
kind: 默认为'quicksort'（快速排序）
order: 如果数组包含字段，则是要排序的字段

种类	速度	最坏情况	工作空间	稳定性
`'quicksort'`（快速排序）	1	`O(n^2)`	0	否
`'mergesort'`（归并排序）	2	`O(n*log(n))`	~n/2	是
`'heapsort'`（堆排序）	3	`O(n*log(n))`	0	否

三种排序算法比较

    a = np.array([[3, 7], [8, 6]])
    print("a = ", a)
    print("np.sort(a) = ", np.sort(a))
    print("np.sort(a, axis=0) = ", np.sort(a, axis=0))
    print("np.sort(a, axis=1) = ", np.sort(a, axis=1))

    # 在 sort 函数中排序字段
    dt = np.dtype([('maoxian', 'S10'), ('age', int)])
    a = np.array([("raju", 21), ("anil", 25), ("ravi", 17), ("amar", 27)], dtype=dt)
    print(np.sort(a, order='age'))

2、numpy.argsort() 函数返回的是数组值从小到大的索引值。

    x = np.array([6, 4, 8])
    print("np.argsort(x) = ", np.argsort(x))

3、msort、sort_complex、partition、argpartition、numpy.lexsort()

函数	描述
msort(a)	数组按第一个轴排序，返回排序后的数组副本。np.msort(a) 相等于 np.sort(a, axis=0)。
sort_complex(a)	对复数按照先实部后虚部的顺序进行排序。
partition(a, kth[, axis, kind, order])	指定一个数，对数组进行分区
argpartition(a, kth[, axis, kind, order])	可以通过关键字 kind 指定算法沿着指定轴对数组进行分区

其它排序函数介绍

numpy.lexsort() 用于对多个序列进行排序。把它想象成对电子表格进行排序，每一列代表一个序列，排序时优先照顾靠后的列。

这里举一个应用场景：小升初考试，重点班录取学生按照总成绩录取。在总成绩相同时，数学成绩高的优先录取，在总成绩和数学成绩都相同时，按照英语成绩录取…… 这里，总成绩排在电子表格的最后一列，数学成绩在倒数第二列，英语成绩在倒数第三列。

    a = np.array([3, 4, 2, 1])
    np.partition(a, 3)  # 将数组 a 中所有元素（包括重复元素）从小到大排列，3 表示的是排序数组索引为 3 的数字，比该数字小的排在该数字前面，比该数字大的排在该数字的后面
    np.partition(a, (1, 3))  # 小于 1 的在前面，大于 3 的在后面，1和3之间的在中间

4、numpy.argmax() 和 numpy.argmin()

numpy.argmax() 和 numpy.argmin()函数分别沿给定轴返回最大和最小元素的索引。

5、numpy.nonzero()、numpy.where()、numpy.extract()

numpy.nonzero() 函数返回输入数组中非零元素的索引。
numpy.where() 函数返回输入数组中满足给定条件的元素的索引。
numpy.extract() 函数根据某个条件从数组中抽取元素，返回满条件的元素。

    a = np.array([[30, 40, 0], [0, 20, 10], [50, 0, 60]])
    print("np.nonzero(a) = ", np.nonzero(a))
    print("np.where(a > 20) =", np.where(a > 20))
    condition = np.mod(a, 6) == 0
    print("'np.mod(a, 6) == 0' =", condition)
    print(np.extract(condition, a))

# 返回两个数组对象，两个数组对应索引位置的值组成一个原始数组元素的位置
np.nonzero(a) =  (array([0, 0, 1, 1, 2, 2], dtype=int64), array([0, 1, 1, 2, 0, 2], dtype=int64))
np.where(a > 20) = (array([0, 0, 2, 2], dtype=int64), array([0, 1, 0, 2], dtype=int64))
'np.mod(a, 6) == 0' = [[ True False  True]
 [ True False False]
 [False  True  True]]
[30  0  0  0 60]