タグ付けされた質問 「neural-networks」

ニューラルネットワークは有向重み付きグラフです。これらは（スパース）行列で表すことができます。そうすることで、ネットワークのいくつかのエレガントなプロパティを公開できます。 この手法はニューラルネットワークを調べるのに役立ちますか？

9 neural-networks 

Deep Mindは過去数年間にディープラーニングに関する多くの作品を発表しており、そのほとんどはそれぞれのタスクに関する最先端の技術です。しかし、この作品のどれだけが実際にAIコミュニティによって再現されたのでしょうか。たとえば、他の研究者によると、Neural Turing Machine紙は再現が非常に難しいようです。

9 neural-networks  deep-learning  research 

出力層を追加せずに、自動エンコーダを教師あり学習に使用できますか？トレーニングのために連結された入出力ベクトルを単純にフィードして、推論を行うときに入力部分から出力部分を再構築できますか？出力部分は、推論中に欠損値として扱われ、補完が適用されます。

9 neural-networks 

特に、（限られたリソースを持つ）組み込みコンピュータは、交通カメラからのライブビデオストリームを分析し、通過する車のナンバープレート番号を含む適切なフレームを選択しようとします。プレートが見つかると、フレームがOCRライブラリに渡され、登録が抽出されてさらに使用されます。 私の国では、2種類のナンバープレートが一般的に使用されています。長方形（標準）と正方形です。実際には、長方形であるが「幅よりも高い」ので、登録が2行に分かれています。 （さらにいくつかのタイプがありますが、それらは無視してください。それらは小さな割合であり、通常、私たちの関心の外にある車両に属しています。） 限られたリソースと迅速なリアルタイム処理の必要性により、システムが処理できるネットワークの最大サイズ（セルと接続の数）は固定されています。 これを2つの小さなネットワークに分割し、それぞれが1種類の登録プレートを認識するようにするのが良いでしょうか。それとも、より大きな単一のネットワークが2つのタイプをより適切に処理するのでしょうか。

9 neural-networks  image-recognition 

この質問にはすでに回答があります： 各データポイントまたはデータポイントのバッチにバックプロパゲーションが適用されますか？ （1つの答え） 7か月前に閉鎖。 この一連のビデオを見て、Pythonで単純なニューラルネットワークを実装することで、ニューラルネットワークを学習しようとしています。 ここで、私が疑問に思っていることが1つあります。ニューラルネットワークをサンプルデータでトレーニングしていて、サンプルが1,000あります。トレーニングは、重みとバイアスを徐々に変更して、コスト関数がより小さなコストになるようにします。 私の質問：次のサンプルに移る前に、すべてのサンプルの重み/バイアスを変更する必要がありますか、それとも最初に1,000サンプルのロット全体の望ましい変更を計算してから、ネットワークへの適用を開始する必要がありますか？

9 neural-networks  python 

簡単にディープラーニングについて（参考）： ディープラーニングは、複数の線形変換と非線形変換で構成される複数の処理層を持つディープグラフを使用して、データの高レベルの抽象化をモデル化しようとする一連のアルゴリズムに基づく機械学習の分岐です。 ディープニューラルネットワーク、たたみ込みディープニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワークなどのさまざまなディープラーニングアーキテクチャが、コンピュータービジョン、自動音声認識、自然言語処理、音声認識、バイオインフォマティクスなどの分野に適用され、それらが生成することが示されていますさまざまなタスクに関する最新の結果。 することができ、深いニューラルネットワークや畳み込み深いニューラルネットワークは、と見ることがアンサンブルベースの機械学習の方法？それとも別のアプローチですか？

9 neural-networks  machine-learning  deep-learning  convolutional-neural-networks  computer-vision 

進化的アルゴリズムを使用して人工ニューラルネットワークを設計およびトレーニングすることには、従来の逆伝播アルゴリズムを使用するよりもどのように利点がありますか？

9 neural-networks  comparison  backpropagation  evolutionary-algorithms 

トランジスタを使用してニューロンとシナプスを実装できる場合、GPUを作成するのと同じ方法を使用して任意の大規模ニューラルネットワークを作成できないのはなぜですか。 本質的に、シーケンシャルプロセッサに実装された非常に優れた仮想ニューラルネットワークがどのように機能するかを見てきました（GPUもシーケンシャルマシンですが、大量のコアがあります）。 GPUの設計原則（基本的には並列に動作する数千のプログラム可能な処理ユニットを備える）を使用すると想像できますが、はるかに単純な「ニューロン処理ユニット」を作成し、数百万または数十億のこれらのNPUを1つの大きなチップに配置できます。それらは（重みを保存するための）独自のメモリを持ち、バスを共有することにより数百の他のニューロンに接続されます。それらは、例えば20Hzの周波数を持つことができ、それにより、他の多くのニューロンとデータバスを共有することができます。 明らかに、ここにはいくつかの電気工学の課題がありますが、すべての大手テクノロジー企業がこのルートを今までに探究しているように思えます。 多くのAI研究者は、超知能が2045年頃に来ると言います。彼らの推論はムーアの法則と、私たちが持っている最速のコンピューターで実行されるソフトウェアに実装できるニューロンの数に基づいていると思います。 しかし、実際には、今日、何十億ものトランジスタを搭載したシリコンチップを製造しています。SPARK M7には100億個のトランジスタがあります。 （プログラム不可能な）ニューロンとそのための数百のシナプスを実装する場合、たとえば100 000のトランジスタが必要であれば、100 000のニューロンをエミュレートするハードウェアでニューラルネットワークを作成できます。 より多くのニューロンが必要な場合に、物理的に大きくできるようにこのようなチップを設計すると、任意の大きなニューラルネットワークは単に予算の問題であるように思えます。 現在の技術を使用して、ハードウェアで任意の大規模ニューラルネットワークを技術的に作成できますか？ 覚えておいてください。そのようなネットワークが実際に非常にインテリジェントになるかどうかは尋ねていません。私がこれを行うためにインテルに支払うことを決定した場合、私が事実上、任意に大きく、高度に相互接続されたニューラルネットワークを作成できるかどうか尋ねているだけですか？ つまり、一部の科学者がソフトウェアで一般的なインテリジェンスを作成できる日に、ハードウェア機能を使用して、この一般的なインテリジェンスを人間のレベル以上に成長させることができます。

9 neural-networks  recurrent-neural-networks  hardware 

ニューロンの現実的なモデルを使用する研究はありますか？通常、ニューラルネットワークのニューロンのモデルは、数百のタンパク質と数百万の分子（またはさらに多くの数）を含む現実的なニューロンとは対照的に、非常に単純です。この現実から含意を引き出し、ニューロンの現実的なモデルを設計しようとする研究はありますか？ 特に最近、ローズヒップニューロンが発見されました。このようなニューロンは、人間の脳細胞にのみ存在します（他の種には存在しません）。このローズヒップニューロンを現実的にモデル化することによって描画できる、ニューラルネットワークの設計と操作に何らかの影響がありますか？

8 neural-networks  artificial-neuron  neurons  brain  neuromorphic-engineering 

スパイダーに一度攻撃された場合、チャンスがあれば、再びスパイダーに近づくことは決してありません。 ニューラルネットワークモデルでは、クモでの経験が悪いと、学習率によってはクモに近づく可能性がわずかに低下します。 これは良くない。クモを無視するためにクモにかまれた例が何百も必要ないように、ニューラルネットワークに恐怖をプログラムするにはどうすればよいでしょうか。また、クモの近くに行く確率を下げるだけではないのですか？

8 neural-networks  theory  emotional-intelligence 

私はTensorflowの初心者で、チュートリアルに従っているだけです。私のコードには問題はありませんが、出力に関して質問があります accuracy: 0.95614034 accuracy_baseline: 0.6666666 auc: 0.97714674 auc_precision_recall: 0.97176754 average_loss: 0.23083039 global_step: 760 label/mean: 0.33333334 loss: 6.578666 prediction/mean: 0.3428335 「予測/平均」と「ラベル/平均」が何を表すのか知りたいのですが？

8 neural-networks  tensorflow  python  artificial-neuron 

私はニューラルネットを構築して、さまざまな入力（サイズ、アートメディアなど）で芸術作品の価値を予測し、著者も入力として含めたいと思います（多くの場合、膨大な1つの芸術作品の価値を考慮します）。 私の現在の懸念は、著者の名前がNNの理想的な数値入力ではないことです（つまり、増加する整数値で各著者をコーディングするだけで、リストのさらに下の著者に間接的により多くの値を割り当てます-_-） 。私の考えは、データセット内のすべての著者に対して個別の入力を作成し、1つのホットエンコーディングを使用してNNへの入力をより適切に表すことでした。 ただし、このアプローチは、私のトレーニングデータに含まれていない作成者がNNへの入力として使用されている場合（つまり、新しい作成者）に問題が発生します。「他の著者」入力フィールドでこれを回避できますが、この入力のNNをトレーニングしなかったため、これが正確ではないのではないかと心配しています（評価付きのすべての芸術作品には著者がいます）。 私はこれまで十分に考えていませんでしたが、おそらく著者がいない評価と、著者との評価の2つのNNをトレーニングして、「著者のない評価」が十分に正確であるために十分なトレーニングデータがあることを確認しました。 実装に取り​​掛かる前に、私はまだ最高のNNアーキテクチャを概念化しようとしています。そのため、誰かが提案やコメントを持っている場合は、とても感謝しています！ 前もって感謝します、ヴィンス PS私はこれを、友達との小さな競争として、NNと従来の商業的評価手法を比較するためにやっています。保険数理科学よりもコンピュータサイエンスで勝利を収めるのを手伝ってください。

8 neural-networks 

画像の認識と分解（国境の顔、自動車のストリートシーン、不確実な/複雑な状況での意思決定、または部分的なデータによる）など、NNベースのアプローチが多くのAI領域で非常に強力なツールになっていると言うことは、かなり議論の余地がないようです。ほとんどの場合必然的に、これらの使用の一部は、NNベースのAIが人間の負担の一部またはすべてを引き受ける状況に発展し、一般的に人々が一般的に行うよりも優れています。 例としては、自動運転車、医療診断、人間/身元の検証、回路/設計の検証、疑わしいトランザクションアラートのステップとして仮想的に使用されるNNが含まれる場合があります。次の10年かそこらでおそらく多くの分野。 これが発生し、一般的には成功していると見なされているとします（たとえば、人間の医師の65％などに対して診断が80％正しく行われるか、またはNNコンポーネントを含むAIを備えた車が人間が運転する車や代替車よりも8％少ないクラッシュ、または何でも）。 さて-これらの1つが異常にそして真剣に1つのケースで何か非常に間違っていると仮定します。どうすればそれに取り組むことができますか？正式な論理ステップを使用すると、正式な決定プロセスを追跡できますが、NNを使用すると、正式なロジックがない場合があります。特に、それが十分に複雑になると（数十年で）、200億のニューラルプロセッサとそのI / Oの重みしかありません。と接続、命が失われた場合でも、いくつかの事件の原因を特定することができない場合があります。また、システムが継続的に学習する以上のことを言うことは不可能であり、そのような事件はまれです。 私はまた、NNで「ブラックボックス」または同等のフライトレコーダーを実行する意味のある方法を聞いたことがありません。製品の欠陥に対する他の対応とは異なり、イベント後にこのようなケースを修正するためにNNをトレーニングできたとしても、新しいNN設定によって問題が修正されたか、またはそうすることにおける他の問題のリスクとバランス。非常に不透明です。それでも、明らかに、AIアプローチとしては非常に価値があります。 20年後、NNが飛行機の飛行または航空機の設計における（安全で成功したと認められた）コンポーネントであるか、緊急事態を監視するため、または銀行で詐欺を発見するために病院システムに組み込まれ、通常どおり規制および市場の要求が存在し、一般的な市場での年間の良い記録で行われ、可能性があると、その後1ケースでは、そのようなシステムいくつかの時間後に1つの機会にはっきりmisacts -それは危険な誤読道路、生活損傷薬または露骨に誤診を推奨していますか送金される前に偶然に捕まった清算銀行で、2億ポンドのあからさまな不正取引を清算します。 製造業者は、公衆または市場の懸念に対処するために、または事件を説明するために何ができますか？取締役会から「これはどのようにして起こり、修正されたことを確認したのですか」と言われたとき、技術チームは何をしますか？どのような意味のあるログを保持できますか？社会は、不確実性と時折の風変わりな行動が固有である可能性があることを受け入れなければならないでしょうか？または、NNにより適したロギング/デバッグ/決定アクティビティにアプローチするより良い方法はありますか？

8 neural-networks  machine-learning  philosophy  security  explainable-ai 

約半年間ニューラルネットワークを使用してきたので、主な欠点としてよく主張されていること、つまり過剰適合と局所的な最小値での行き詰まりを直接体験しました。ただし、ハイパーパラメーターの最適化と新しく発明されたいくつかのアプローチにより、これらは私のシナリオで克服されました。私自身の実験から： ドロップアウトは非常に優れた正則化方法のようです（これも疑似アンサンブラーですか？）、 バッチ正規化は、トレーニングを容易にし、多くのレイヤーにわたって信号強度を一定に保ちます。 Adadeltaは常に非常に良いオプティマに到達します SVMのSciKit-learns実装をニューラルネットワークでの実験と一緒に実験しましたが、ハイパーパラメーターのグリッド検索を行った後でも、パフォーマンスが比較して非常に悪いことがわかりました。他にも無数の方法があり、SVMはNNのサブクラスと見なすことができますが、それでもそうです。 だから、私の質問に： ニューラルネットワークのために研究されたすべての新しい方法で、ゆっくりと（または、それらは）他の方法よりも「優れた」ものになりますか？ニューラルネットワークには、他のネットワークと同様に欠点がありますが、すべての新しい方法で、これらの欠点は軽微な状態にまで軽減されていますか？ 多くの場合、モデルの複雑さの点で「少ないほど多く」ですが、それもニューラルネットワーク用に設計することができます。「無料の昼食なし」という考えは、1つのアプローチが常に優れていると考えることを禁じています。私自身の実験-さまざまなNNの素晴らしいパフォーマンスに関する無数の論文と合わせて-少なくとも、非常に安いランチがあるかもしれないことを示しています。

8 neural-networks 

ディープラーニングで使用される2つの一般的な活性化関数は、双曲線正接関数とシグモイド活性化関数です。双曲線正接はシグモイド関数の再スケーリングと変換にすぎないと理解しています。 tanh(z)=2σ(z)−1tanh⁡(z)=2σ(z)−1\tanh(z) = 2\sigma(z) - 1。 これらの2つのアクティベーション関数の間に大きな違いはありますか、特に、一方が他方より好ましい場合はいつですか？ （確率を推定する場合など）場合によっては、範囲の出力が範囲の出力よりも便利であることを理解しています。2つのアクティベーション機能を区別する便利さ以外の違いがあるかどうかを知りたいです。[0,1][0,1][0,1][−1,1][−1,1][-1,1]

8 neural-networks  machine-learning  deep-network  comparison  hidden-layers