大數(shù)據(jù)、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)類命令行工具匯總

IT資訊 2017/1/21

抓緊你的鍵盤!無(wú)需鼠標(biāo)或者GUI，我們完全能夠在OS X與Linux上完成大量操作。面向各類*N*X系統(tǒng)的大量出色命令行工具一直在技術(shù)行業(yè)擁有極高人氣，且已經(jīng)擴(kuò)展至Python、Go、NodeJS乃至各類混合型工具當(dāng)中。即使大家并不打算通過(guò)命令行運(yùn)行整條數(shù)據(jù)處理管道，這些工具仍然能夠帶來(lái)可觀助益。

《命令行上的數(shù)據(jù)科學(xué)(Data Science at the Command Line)》一書(shū)與GitHub皆為我們帶來(lái)大量高水平的預(yù)處理與后處理類工具選項(xiàng)，大家亦可根據(jù)需要對(duì)其進(jìn)行針對(duì)性調(diào)整。在今天的文章中，我將向各位強(qiáng)烈推薦自己最為喜愛(ài)的那些相關(guān)工具。

CSVKit絕對(duì)值得一試。其能夠利用逗號(hào)分隔值實(shí)現(xiàn)您所需要的一切。大家可以通過(guò)cvs cut剪切列、使用cvsgrip進(jìn)行列過(guò)濾、通過(guò)sql2csv將PostgreSQL中的數(shù)據(jù)提取至CSV、使用cols從列中剪切子集并通過(guò)in2cv將微軟Excel轉(zhuǎn)換為CSV。

快速工具推薦清單

Python Data Analysis (Agate).

ImageMagick (edit, create, convert, flip, and alter images from the command-line).

JSON 2 CSV.

XML2JSON via NodeJS.

HTML to image.

HTML to PDF.

Weather Underground CLI.

NIFI Shell.

Gatling for Testing with Scala/JVM.

Kafka Producer with JSON.

Kafka Consumer with JSON.

Create JSON.

Image MetaData Extraction.

OSQuery for Querying Infrastructure.

Tesseract for Command Line OCR.

Hadoop/HDFS Command Line Tools.

CURL.

WGET.

MQTT CLI (NPM.JS).

大家亦可以編寫(xiě)簡(jiǎn)短的Python腳本以通過(guò)命令行實(shí)現(xiàn)數(shù)據(jù)處理。

from nltk.sentiment.vader 

import SentimentIntensityAnalyzer 

import sys 

sid = SentimentIntensityAnalyzer() 

ss = sid.polarity_scores(sys.argv[1]) 

print('Compound {0} Negative {1} Neutral {2} Positive {3} '.format(ss['compound'], ss['neg'], ss['neu'], ss['pos'])) 

只需要五行Python腳本即可實(shí)現(xiàn)情緒分析。

大家甚至可以通過(guò)命令行實(shí)現(xiàn)TensorFlow調(diào)試(不過(guò)其目前尚處于beta測(cè)試階段，所以可能會(huì)出現(xiàn)一些問(wèn)題)。

原文標(biāo)題：Big Data, Machine Learning, and Deep Learning Command Line Tools

原文作者：Tim Spann