anaconda pip 添加国内加速源 镜像源 提升安装速度

我们在使用anaconda或者pip安装python包的时候经常会遇到类似的错误,如Timeout,或者PackagesNotFoundError: The following packages are not available from current channels。一般这些情况都是由于不可描述原因导致的请求连接异常而不能正常安装我们所需要的包。

我们可以指定anaconda的chanles或者在pip安装某个包时临时指定源;通过添加国内的源来加速安装,以及拓宽对所需包的检索范围。

狗头保佑

1、添加清华镜像(源)

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

conda config --set show_channel_urls yes

2、添加豆瓣镜像(源)

conda config --add channels https://pypi.douban.com/anaconda/cloud/conda-forge/
conda config --add channels https://pypi.douban.com/anaconda/cloud/msys2/
conda config --add channels https://pypi.douban.com/anaconda/cloud/bioconda/
conda config --add channels https://pypi.douban.com/anaconda/cloud/menpo/
conda config --add channels https://pypi.douban.com/anaconda/cloud/pytorch/

conda config --set show_channel_urls yes

3、删除源

conda config --remove-key channels

4、pip带源安装

可以临时指定安装所需要的源

pip install -i https://pypi.douban.com/simple tensorflow-gpu==1.14

python tsv TSV 文件扩展名是什么文件

在一些经典的机器学习算法实验过程中,一般常见的数据格式会是.tsv和.csv格式。那么TSV扩展名的文件是什么呢?

TSV 是Tab-separated values的缩写,即制表符分隔值。
相对来说CSV,Comma-separated values(逗号分隔值)更常见一些。

TSV与CSV的区别:

1)从名称上即可知道,TSV是用制表符(Tab,’\t’)作为字段值的分隔符;CSV是用半角逗号(’,’)作为字段值的分隔符;

2)IANA规定的标准TSV格式,字段值之中是不允许出现制表符的。

Python对TSV文件的支持:

Python的csv模块准确的讲应该叫做dsv模块,因为它实际上是支持范式的分隔符分隔值文件(DSV,delimiter-separated values)的。
delimiter参数值默认为半角逗号,即默认将被处理文件视为CSV。
当delimiter=’\t’时,被处理文件就是TSV。
http://docs.python.org/library/csv.html

hadoop rm 程序猿删集群跑路 忘记怎么操作

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架,程序猿在对它的日常运维有涉及到集群数据的删除 hadoop rm(hdfs dfs -rm) 操作。

hadoop 小象

1、直接删除

hdfs dfs -rm /path/to/file/you/want/to/remove/permanently

删除的目录会放入/user/hdfs/.Trash中。如果加上-skipTrash 参数则不放入回收站。如下:

hdfs dfs -rm -skipTrash /path/to/file/you/want/to/remove/permanently

2、清空回收站

hdfs dfs -expunge
# 输出 This should give you output similar to this. Basically in a minute the trash will be emptied.

执行完命令后,回收站的数据不会立即被清理,而是先打了一个checkpoint。显示的是一分钟后清除。