インターネット企業がデータサイエンティストの仕事にJava / Pythonを好むのはなぜですか？

Python / Javaの経験を求め、Rを無視するデータサイエンティストの職務記述書を何度も参照します。以下は、linkinを通じて応募した会社のチーフデータサイエンティストから受け取った個人メールです。

X、関心を示してくれてありがとう。優れた分析スキルがあります。しかし、私たちはインターネット/モバイル組織であり、すべてがオンラインであるため、すべてのデータサイエンティストはJava / Pythonの優れたプログラミングスキルを持っている必要があります。

チーフデータサイエンティストの決定を尊重しますが、RができないPythonが実行できるタスクについて明確に把握することはできません。誰でも手入れを気にかけることができますか？私は実際にPython / Javaをもっと学びたいと思っています。

編集：Quoraで興味深い議論を見つけました。 Pythonがデータサイエンティストにとって最適な言語であるのはなぜですか？

Edit2：機械学習のための言語とライブラリに関するUdacityのブログ

したがって、残りのコードベースと統合できます。あなたの会社はJavaとpythonの組み合わせを使用しているようです。サイトの小さなコーナーで機械学習が必要な場合はどうしますか。データベースやキャッシュでデータを渡したり、Rにドロップしたりしますか？すべてを同じ言語で行わないのはなぜですか？より高速で、クリーンで、保守が簡単です。

Rのみで実行しているオンライン企業を知っていますか？私もそうではないです...

Javaが私がデータサイエンスを行う最後の言語であるということはすべてです。

次のような多くの理由があります。

1. 従業員の柔軟性：1人のJava / Pythonプログラマーを他のタスクやプロジェクトに簡単に移動できます。

2. 候補者の利用可能性：Java / Pythonプログラマーはたくさんいます。新しいプログラミング言語を導入して、有能な労働者がいないか、または彼らがあまりにも高価であることを後で知ることは望ましくありません。

3. 統合とETL：適切な品質のデータを取得することがプロジェクトの最も難しい部分である場合があります。そのため、他のシステムと同じ言語を使用するのが自然です。

4. ビジネスモデルの定義：ほとんどのビジネスルールとビジネスモデルは、すでにこの言語で記述されています。

5. 物事をシンプルに保つだけです。テクノロジーを最新の状態にするのは、すでに十分に困難です。言語の多様な基盤は混oticとしている場合があります。このためのR、そのためのRuby、Scala、Clojure、F＃、Swift、Dart ...異なるサーバー、異なるパス、管理するための地獄が必要な場合があります。すべてにツールとプラグインを備えた独自のIDEがあります（常に無料ではありません）。言語選択と新技術に関するボブおじさんのポイントをご覧ください

したがって、特定のタスクにRを使用して5％から15％の生産性の利点がある場合でも、最も効率的な方法でなくてもジョブを実行するツールを好む場合があります。

一般的に、純粋にデータサイエンスと統計の演習では、Rが最高で最速の（特にdata.tableパッケージを使用する場合）ツールとメソッドを提供することは事実です。 ）。実際、ほとんどのデータサイエンティストはRを使用してモデルや計算を実行したり、データの動作を確認したりしています。

演習が完了したら、それを使用する（展開する）必要がある残りの人々が利用できるようにします。この目的のために、次の2つの主な理由から、Pythonでコードを送信することがしばしば好まれます。

1. ほとんどのアーキテクチャはPythonで記述されているか、Pythonに対応しているため、その言語でネイティブに記述されたモデルを実装する方が簡単です。
2. Rの構文と文法は非常に複雑です。私自身は他の何よりもRを強く支持していますが、構文は本当に単純ではなく、学習曲線が厳選されていることを認めなければなりません。

上記のことは、メソッド、ライブラリ、およびパッケージが利用可能な場合、Rコードを他の言語に簡単に翻訳できることは依然として真実です（Pythonではほとんどの言語が利用できるため、まったく問題ありません）。多くのインフラストラクチャとデータベースが基礎となるRコードをサポートしているため、特に計算の結果を送信するだけの場合（特に、基礎となるコードは実際には誰も見ない場合）、移植性は実際には問題ではありません。

Javaは純粋なデータサイエンス自体にはほとんど役に立ちません（ただし、スタンフォード大学には、Javaで記述された機械学習NLPライブラリのコレクションがありますが、私が覚えている限りでは確認してください）。それが必要になる唯一の理由は、会社の他の部分がそれを大いに使用しているだけであり、彼らがそれを何か新しいものに置き換えたくないということだけです。

「データエンジニア」タイプの役割に「データサイエンティスト」というタイトルを使用している企業を見てきました。特にビッグデータ空間で。

会社がHadoopまたはSparkなどの分散フレームワークを使用して分析を行う場合、JavaまたはPython（またはおそらくScala）が最も意味のある言語になります。

Java

Javaの質問に関する他のポスターに同意する必要があります。javaで mapreduce ジョブを作成する必要がある特定のnoSQLデータベース（hadoopなど）があります。これで、HIVEを使用してほぼ同じ結果を得ることができます。

Python

python / Rの議論は続いています。どちらも拡張可能な言語であるため、潜在的に両方が同じ処理能力を持つことができます。私はRのみを知っており、私のPythonの知識は非常に表面的なものです。中小企業のオーナーとして言えば、ビジネスにあまり多くのツールを持たないようにしたいと思うでしょう。さもないと、それらのツールに一般的な深みがなくなり、それらをサポートすることが難しくなります。チーム内のツールの知識の深さになると思います。チームがpythonに焦点を合わせている場合、別のpythonデータサイエンティストを雇うことは、既存のコードベースと歴史的な実験コードを扱うことができるため、理にかなっています。

少なくとも私の現在のチーム（〜80人のデータサイエンティストおよびエンジニア）にとっては、そのような好みはありません。ここのデータサイエンティストの半分はRを使用し、もう半分はPythonを使用しています。多くは両方でコーディングできます。PythonおよびRコードを実稼働環境にデプロイします。

私たちのデータ科学者がJavaを使用しているとはまったく思いません。ビッグデータを処理する必要がある場合、SparkSQLまたはPySparkを使用できます。データエンジニアリングチームは、Java / Scala / Python / Goを組み合わせて使用​​しています。

あなたが小さな会社にいる数少ないデータ担当者の1人であれば、データ科学とエンジニアリングの両方を行えるように特定の言語スキルが必要な理由を理解できます。しかし、ほとんどの小規模企業は、PythonやRが本番環境で処理できないほど大きなデータを持っていないと思います。

Rの経験が少しある汎用プログラマーとしての私の視点：Rはデータサイエンスには優れていますが、データを手動で解釈する人々を対象としています。結果を自動化された何かに使用したい場合は、他の何かとインターフェースする必要があり、Rのような問題固有の言語では他の何かを行うのは難しいでしょう。RでWebサイトを作成できますか？:)一方で、Pythonはデータサイエンス関連のライブラリをすでに作成しており、汎用プログラミング言語であり、他のことを邪魔することはありません。Javaについては、数十万から数百万行のコードを持つ大規模なプログラミングプロジェクトに適しています。データサイエンスの部分がそれとやり取りする必要がある場合は、Javaですべてを実行するのが理にかなっています。

ランダムな泣き声：各StackExchangeサイトに個別にサインインする必要があるのはなぜですか？

PythonのツールはRよりも優れています。Rコミュニティはかなり停滞していますが、Pythonコミュニティは急速に進化しています。特にデータサイエンスのツールで。
また、Pythonは周囲のすべてで簡単に機能します。Webを簡単にスクレイプしたり、データベースに接続したりできます。これにより、プロトタイピングが非常に高速になります。
また、動作するプロトタイプがあり、それをより速くしたり、会社のワークフローに統合したりする場合、通常はJavaで再実装されます。

Rにはいくつかのすてきなツールと視覚化がありますが、Rに新しいものを作成するのはそれほど素晴らしいことではありません。