webRTCとサーバーベースのピア接続を使用してWebカメラとオーディオを録音する方法


90

ユーザーのウェブカメラとオーディオを録音して、サーバー上のファイルに保存したいと思います。これらのファイルは、他のユーザーに提供できるようになります。

再生に問題はありませんが、コンテンツを記録するのに問題があります。

私の理解では、getUserMedia.record()関数はまだ作成されていません。これまでのところ、提案のみが行われています。

PeerConnectionAPIを使用してサーバー上にピア接続を作成したいと思います。これは少しハッキーだと思いますが、サーバー上にピアを作成し、クライアントピアが送信する内容を記録できるはずだと思います。

これが可能であれば、このデータをflvまたはその他のビデオ形式で保存できるはずです。

私の好みは、実際にはWebカメラとオーディオのクライアント側を記録して、アップロード前の最初の試行が気に入らなかった場合にクライアントがビデオを再記録できるようにすることです。これにより、ネットワーク接続の中断も可能になります。データをキャンバスに送信することで、Webカメラから個々の「画像」を記録できるコードを見たことがあります。これはすばらしいことですが、音声も必要です。

これが私がこれまでに持っているクライアント側のコードです:

  <video autoplay></video>

<script language="javascript" type="text/javascript">
function onVideoFail(e) {
    console.log('webcam fail!', e);
  };

function hasGetUserMedia() {
  // Note: Opera is unprefixed.
  return !!(navigator.getUserMedia || navigator.webkitGetUserMedia ||
            navigator.mozGetUserMedia || navigator.msGetUserMedia);
}

if (hasGetUserMedia()) {
  // Good to go!
} else {
  alert('getUserMedia() is not supported in your browser');
}

window.URL = window.URL || window.webkitURL;
navigator.getUserMedia  = navigator.getUserMedia || navigator.webkitGetUserMedia ||
                          navigator.mozGetUserMedia || navigator.msGetUserMedia;

var video = document.querySelector('video');
var streamRecorder;
var webcamstream;

if (navigator.getUserMedia) {
  navigator.getUserMedia({audio: true, video: true}, function(stream) {
    video.src = window.URL.createObjectURL(stream);
    webcamstream = stream;
//  streamrecorder = webcamstream.record();
  }, onVideoFail);
} else {
    alert ('failed');
}

function startRecording() {
    streamRecorder = webcamstream.record();
    setTimeout(stopRecording, 10000);
}
function stopRecording() {
    streamRecorder.getRecordedData(postVideoToServer);
}
function postVideoToServer(videoblob) {
/*  var x = new XMLHttpRequest();
    x.open('POST', 'uploadMessage');
    x.send(videoblob);
*/
    var data = {};
    data.video = videoblob;
    data.metadata = 'test metadata';
    data.action = "upload_video";
    jQuery.post("http://www.foundthru.co.uk/uploadvideo.php", data, onUploadSuccess);
}
function onUploadSuccess() {
    alert ('video uploaded');
}

</script>

<div id="webcamcontrols">
    <a class="recordbutton" href="javascript:startRecording();">RECORD</a>
</div>

同じ問題があります。getRecordedData()メソッドは機能していますか?それは私の新しく更新されたブラウザにはありません。
フィラス2013年

いいえ-「GoogleCanary」も試しました。
Dave Hilditch 2013年

ええ、私はそれを注意深く見守っています-適切な解決策があれば、このスレッドを更新します。
デイブヒルディッチ2013

2
上記の質問の解決策が得られた場合は、私と共有してください、ありがとう
ムハンマド

2
サーバーサイドのRTCマジックを介してMediaStreamバイトを取得できる人はいますか?
Vinay

回答:


44

あなたは間違いなく見ておくべきです クレントをです。WebRTCフィードなどから記録できるWebRTCサーバーインフラストラクチャを提供します。計画しているアプリケーションの例もここにあります。そのデモに記録機能を追加し、メディアファイルをURI(ローカルディスクまたはどこでも)に保存するのは本当に簡単です。

プロジェクトは以下の下でライセンスされています ます


編集1

この投稿以降、いくつかのシナリオでレコーダーを追加する方法を示す新しいチュートリアルを追加しました

免責事項:私はクレントを開発するチームの一員です。


2
@Redtopia最近のいくつかの負荷テストでは、i5 / 16GBRAMでwebrtcの150個のone2one接続を取得できました。これらの数値は将来的に良くなると期待できますが、奇跡は期待しないでください。SRTPには多くの暗号化が行われており、それは厳しいものです。ハードウェアアクセラレーションによる暗号化/復号化を検討しており、数値はさらに高くなります。さらに徹底的にテストするまで、どれだけ優れているかはわかりませんが、3倍の改善が見込まれます
igracia 2015年

2
@ user344146それはおそらく私が答えたものでした。その投稿へのリンクを共有していただけませんか?その答えが得られた場合、それはおそらく、すでにそこにあるかリストにある何かを尋ねたためです。SNAPSHOTバージョンをコンパイルしようとしていたようです。これらのアーティファクトはセントラルで公開されないため、チュートリアルのリリースをチェックアウトするか、内部の開発リポジトリを使用してください。これはリストで何度も回答されており、開発バージョンの操作に関するドキュメントにエントリがあります...時間をかけて作成したので、時間をかけて読んでいただければ幸いです。
igracia 2015

2
そんなレコーディングにクレントを使っているだけです。複雑ではありませんが、概念を理解するには少し時間が必要です。ドキュメントの中には本当に意味のあるものがあるためです。kurentoに何を送信できるか、イベントの説明などを見つけるのは、非常にイライラすることがあります。しかしとにかく-このようなオープンプロジェクトは本当に素晴らしい仕事であり、使う価値があります。KurentoはLinuxでのみ動作します(Windowsバージョンは公式ではなく、完全な機能では動作しません)。
クリスチャン2016年

1
上記の質問に対する回答が見つかりました(他の人のためにここに投稿してください)、Kurentoは現在JDK 7.0をサポートしています、Ubuntu 14.04に依存する必要はありません、それ以降のバージョンもサポートする必要がありますが、KurentoはUbuntuの他のバージョンで公式にテストされていません/その他のLinuxバージョン。また、Kurentoは64ビットバージョンをすぐにインストールできるようにリリースしていますが、32ビットバージョンのサーバーをインストールすることはできますが、最初にビルドする必要があります。
ビルボバギンズ2017年

1
残念ながら、私の回答で述べたように、Twilioの買収後、Kurentoの開発は大幅に減速しました。代わりにJanusを使用することをお勧めします。
jamix

17

RecordRTCを確認してください

RecordRTCは、githubでMITライセンスを取得しています。


2
それはかなり素晴らしいです-私の質問:それはビデオとオーディオを一緒に記録できますか(2つの別々のものではなく実際のビデオを生きますか?)
ブライアン親愛なる

同意しました-素晴らしいですが、データを個別に記録するだけのようです。
Dave Hilditch 2013

3
@BrianDearには1つのRecordRTCがあります-一緒に
Mifeng 2013年

2
このアプローチは、ChromeのWhammy.jsを介して機能します。WhammyがChromeにMediaStreamRecorderがないために提供するエミュレーションから品質がはるかに低くなる傾向があるため、これは問題があります。基本的に発生するのは、WhammyRecorderがビデオタグをMediaStreamオブジェクトのURLにポイントし、特定のフレームレートでcanvas要素のwebpスナップショットを取得することです。次に、Whammyを使用して、これらすべてのフレームをWebMビデオにまとめます。
Vinay

15

ビデオを録画するためだけにkurentoまたは他のMCUを使用することは、特にChromeがv47およびv25以降のFirefoxからMediaRecorder APIをサポートしているという事実を考えると、少しやり過ぎだと思います。したがって、このジャンクションでは、ジョブを実行するために外部jsライブラリさえ必要ない場合があります。MediaRecorderを使用してビデオ/オーディオを記録するために作成したこのデモを試してください。

デモ-chromeとfirefoxで動作します(意図的にblobをサーバーコードにプッシュすることを省略しました)

Githubコードソース

Firefoxを実行している場合は、ここでテストできます(chromeが必要ですhttps):

'use strict'

let log = console.log.bind(console),
  id = val => document.getElementById(val),
  ul = id('ul'),
  gUMbtn = id('gUMbtn'),
  start = id('start'),
  stop = id('stop'),
  stream,
  recorder,
  counter = 1,
  chunks,
  media;


gUMbtn.onclick = e => {
  let mv = id('mediaVideo'),
    mediaOptions = {
      video: {
        tag: 'video',
        type: 'video/webm',
        ext: '.mp4',
        gUM: {
          video: true,
          audio: true
        }
      },
      audio: {
        tag: 'audio',
        type: 'audio/ogg',
        ext: '.ogg',
        gUM: {
          audio: true
        }
      }
    };
  media = mv.checked ? mediaOptions.video : mediaOptions.audio;
  navigator.mediaDevices.getUserMedia(media.gUM).then(_stream => {
    stream = _stream;
    id('gUMArea').style.display = 'none';
    id('btns').style.display = 'inherit';
    start.removeAttribute('disabled');
    recorder = new MediaRecorder(stream);
    recorder.ondataavailable = e => {
      chunks.push(e.data);
      if (recorder.state == 'inactive') makeLink();
    };
    log('got media successfully');
  }).catch(log);
}

start.onclick = e => {
  start.disabled = true;
  stop.removeAttribute('disabled');
  chunks = [];
  recorder.start();
}


stop.onclick = e => {
  stop.disabled = true;
  recorder.stop();
  start.removeAttribute('disabled');
}



function makeLink() {
  let blob = new Blob(chunks, {
      type: media.type
    }),
    url = URL.createObjectURL(blob),
    li = document.createElement('li'),
    mt = document.createElement(media.tag),
    hf = document.createElement('a');
  mt.controls = true;
  mt.src = url;
  hf.href = url;
  hf.download = `${counter++}${media.ext}`;
  hf.innerHTML = `donwload ${hf.download}`;
  li.appendChild(mt);
  li.appendChild(hf);
  ul.appendChild(li);
}
      button {
        margin: 10px 5px;
      }
      li {
        margin: 10px;
      }
      body {
        width: 90%;
        max-width: 960px;
        margin: 0px auto;
      }
      #btns {
        display: none;
      }
      h1 {
        margin-bottom: 100px;
      }
<link type="text/css" rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.6/css/bootstrap.min.css">
<h1> MediaRecorder API example</h1>

<p>For now it is supported only in Firefox(v25+) and Chrome(v47+)</p>
<div id='gUMArea'>
  <div>
    Record:
    <input type="radio" name="media" value="video" checked id='mediaVideo'>Video
    <input type="radio" name="media" value="audio">audio
  </div>
  <button class="btn btn-default" id='gUMbtn'>Request Stream</button>
</div>
<div id='btns'>
  <button class="btn btn-default" id='start'>Start</button>
  <button class="btn btn-default" id='stop'>Stop</button>
</div>
<div>
  <ul class="list-unstyled" id='ul'></ul>
</div>
<script src="https://code.jquery.com/jquery-2.2.0.min.js"></script>
<script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.6/js/bootstrap.min.js"></script>


Chrome 49は、フラグなしでMediaRecorderAPIをサポートする最初の製品です。
Octavian Naicu 2016年

7

はい、ご存知のとおり、MediaStreamRecorderは現在実装されていません。

MediaStreamRecorderは、getUserMedia()ストリームを記録するためのWebRTCAPIです。これにより、Webアプリはライブオーディオ/ビデオセッションからファイルを作成できます。

あるいは、このhttp://ericbidelman.tumblr.com/post/31486670538/creating-webm-video-from-getusermediaのようにすることもできますが、オーディオの一部が欠落しています。


1
はい、オーディオファイルをキャプチャしてサーバーに送信し、そこで結合してサーバー側で実際のビデオファイルを作成できます。しかし、このソリューションは、キャンバスを使用して画像ファイルを作成し、オーディオをキャプチャする必要があるため、クライアント側では非常に遅い可能性があります。これらすべてをRAMに保存する必要があります...ところで、Firefoxチームはそれに取り組んでいます、うまくいけば、彼らはすぐにそれをリリースするでしょう。
フィラス2013年

4

RecordRTCを一緒に使用できます

ビデオとオーディオを別々のファイルに一緒に録音することをサポートします。ffmpegサーバー上で2つのファイルを1つにマージするようなツールが必要になります。


2
これはブラウザソリューションであり、サーバー側ではありません。
ブラッド

2

Web Call Server 4は、WebRTCオーディオとビデオをWebMコンテナーに記録できます。録音は、オーディオ用のVorbisコーデックとビデオ用のVP8コーデックを使用して行われます。初期のWebRTCコーデックは、OpusまたはG.711およびVP8です。したがって、サーバー側の記録には、別のコンテナ、つまりAVIを使用する必要がある場合は、Opus /G.711からVorbisへのサーバー側トランスコーディングまたはVP8-H.264トランスコーディングのいずれかが必要です。


これは商用のものですか?
StepanYakovenko19年

0

記録のために、私もこれについて十分な知識を持っていません、

しかし、私はこれをGitハブで見つけました-

<!DOCTYPE html>
 <html>
<head>
  <title>XSockets.WebRTC Client example</title>
  <meta charset="utf-8" />


<style>
body {

  }
.localvideo {
position: absolute;
right: 10px;
top: 10px;
}

.localvideo video {
max-width: 240px;
width:100%;
margin-right:auto;
margin-left:auto;
border: 2px solid #333;

 }
 .remotevideos {
height:120px;
background:#dadada;
padding:10px; 
}

.remotevideos video{
max-height:120px;
float:left;
 }
</style>
</head>
<body>
<h1>XSockets.WebRTC Client example </h1>
<div class="localvideo">
    <video autoplay></video>
</div>

<h2>Remote videos</h2>
<div class="remotevideos">

</div>
<h2>Recordings  ( Click on your camera stream to start record)</h2>
<ul></ul>


<h2>Trace</h2>
<div id="immediate"></div>
<script src="XSockets.latest.js"></script>
<script src="adapter.js"></script>
<script src="bobBinder.js"></script>
<script src="xsocketWebRTC.js"></script>
<script>
    var $ = function (selector, el) {
        if (!el) el = document;
        return el.querySelector(selector);
    }
    var trace = function (what, obj) {
        var pre = document.createElement("pre");
        pre.textContent = JSON.stringify(what) + " - " + JSON.stringify(obj || "");
        $("#immediate").appendChild(pre);
    };
    var main = (function () {
        var broker;
        var rtc;
        trace("Ready");
        trace("Try connect the connectionBroker");
        var ws = new XSockets.WebSocket("wss://rtcplaygrouund.azurewebsites.net:443", ["connectionbroker"], {
            ctx: '23fbc61c-541a-4c0d-b46e-1a1f6473720a'
        });
        var onError = function (err) {
            trace("error", arguments);
        };
        var recordMediaStream = function (stream) {
            if ("MediaRecorder" in window === false) {
                trace("Recorder not started MediaRecorder not available in this browser. ");
                return;
            }
            var recorder = new XSockets.MediaRecorder(stream);
            recorder.start();
            trace("Recorder started.. ");
            recorder.oncompleted = function (blob, blobUrl) {
                trace("Recorder completed.. ");
                var li = document.createElement("li");
                var download = document.createElement("a");
                download.textContent = new Date();
                download.setAttribute("download", XSockets.Utils.randomString(8) + ".webm");
                download.setAttribute("href", blobUrl);
                li.appendChild(download);
                $("ul").appendChild(li);
            };
        };
        var addRemoteVideo = function (peerId, mediaStream) {
            var remoteVideo = document.createElement("video");
            remoteVideo.setAttribute("autoplay", "autoplay");
            remoteVideo.setAttribute("rel", peerId);
            attachMediaStream(remoteVideo, mediaStream);
            $(".remotevideos").appendChild(remoteVideo);
        };
        var onConnectionLost = function (remotePeer) {
            trace("onconnectionlost", arguments);
            var peerId = remotePeer.PeerId;
            var videoToRemove = $("video[rel='" + peerId + "']");
            $(".remotevideos").removeChild(videoToRemove);
        };
        var oncConnectionCreated = function () {
            console.log(arguments, rtc);
            trace("oncconnectioncreated", arguments);
        };
        var onGetUerMedia = function (stream) {
            trace("Successfully got some userMedia , hopefully a goat will appear..");
            rtc.connectToContext(); // connect to the current context?
        };
        var onRemoteStream = function (remotePeer) {
            addRemoteVideo(remotePeer.PeerId, remotePeer.stream);
            trace("Opps, we got a remote stream. lets see if its a goat..");
        };
        var onLocalStream = function (mediaStream) {
            trace("Got a localStream", mediaStream.id);
            attachMediaStream($(".localvideo video "), mediaStream);
            // if user click, video , call the recorder
            $(".localvideo video ").addEventListener("click", function () {
                recordMediaStream(rtc.getLocalStreams()[0]);
            });
        };
        var onContextCreated = function (ctx) {
            trace("RTC object created, and a context is created - ", ctx);
            rtc.getUserMedia(rtc.userMediaConstraints.hd(false), onGetUerMedia, onError);
        };
        var onOpen = function () {
            trace("Connected to the brokerController - 'connectionBroker'");
            rtc = new XSockets.WebRTC(this);
            rtc.onlocalstream = onLocalStream;
            rtc.oncontextcreated = onContextCreated;
            rtc.onconnectioncreated = oncConnectionCreated;
            rtc.onconnectionlost = onConnectionLost;
            rtc.onremotestream = onRemoteStream;
            rtc.onanswer = function (event) {
            };
            rtc.onoffer = function (event) {
            };
        };
        var onConnected = function () {
            trace("connection to the 'broker' server is established");
            trace("Try get the broker controller form server..");
            broker = ws.controller("connectionbroker");
            broker.onopen = onOpen;
        };
        ws.onconnected = onConnected;
    });
    document.addEventListener("DOMContentLoaded", main);
</script>

私の場合の行番号89で、コードOnrecordCompleteは実際にレコーダーファイルのリンクを追加します。そのリンクをクリックするとダウンロードが開始され、サーバーへのパスをファイルとして保存できます。

録音コードは次のようになります

recorder.oncompleted = function (blob, blobUrl) {
                trace("Recorder completed.. ");
                var li = document.createElement("li");
                var download = document.createElement("a");
                download.textContent = new Date();
                download.setAttribute("download", XSockets.Utils.randomString(8) + ".webm");
                download.setAttribute("href", blobUrl);
                li.appendChild(download);
                $("ul").appendChild(li);
            };

blobUrlはパスを保持します。私はこれで私の問題を解決しました、誰かがこれが役に立つと思うことを願っています


-4

技術的には、バックエンドでFFMPEGを使用してビデオとオーディオをミックスできます


7
ええ、でもどうやってそこに着くの?
Eddie Monge Jr
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.