オーディオ録音のコーパス内の音節の数を検出する方法を見つけようとしています。良いプロキシは、Waveファイルのピークかもしれません。

英語で話す私のファイルで試してみたものがあります（私の実際の使用例は、キスワヒリ語です）。このサンプル録音のトランスクリプトは、「これはタイマー機能を使用しようとしている私です。一時停止、発声を見ています。」このパッセージには合計22音節があります。

wavファイル：https : //www.dropbox.com/s/koqyfeaqge8t9iw/test.wav? dl=0

seewaveR のパッケージは素晴らしく、いくつかの潜在的な機能があります。まず最初に、waveファイルをインポートします。

library(seewave)
library(tuneR)
w <- readWave("YOURPATHHERE/test.wav")  
w
# Wave Object
# Number of Samples:      278528
# Duration (seconds):     6.32
# Samplingrate (Hertz):   44100
# Channels (Mono/Stereo): Stereo
# PCM (integer format):   TRUE
# Bit (8/16/24/32/64):    16

私が最初に試したのはtimer()関数です。返されるものの1つは、各発声の持続時間です。この関数は7つの発声を識別しますが、これは22音節に相当しません。プロットをざっと見てみると、発声は音節に等しくないことが示唆されています。

t <- timer(w, threshold=2, msmooth=c(400,90), dmin=0.1)
length(t$s)
# [1] 7

また、しきい値を設定せずにfpeaks機能を試しました。54のピークを返しました。

ms <- meanspec(w)
peaks <- fpeaks(ms)

これは、時間ではなく周波数で振幅をプロットします。0.005に等しいしきい値パラメーターを追加すると、ノイズが除去され、カウントが23ピークに減少します。これは実際の音節の数にかなり近い値です（22）。

これが最善のアプローチかどうかはわかりません。結果は、thresholdパラメーターの値に敏感であり、大量のファイルを処理する必要があります。これをコード化して音節を表すピークを検出する方法についてのより良いアイデアはありますか？

以下が最善の解決策だとは思いませんが、@ eipi10にはCrossValidatedでこの答えを確認する良い提案がありました。だから私はやった。

一般的なアプローチは、データを平滑化し、局所最大フィルターと平滑化を比較してピークを見つけることです。

最初のステップは、argmax関数を作成することです：

argmax <- function(x, y, w=1, ...) {
  require(zoo)
  n <- length(y)
  y.smooth <- loess(y ~ x, ...)$fitted
  y.max <- rollapply(zoo(y.smooth), 2*w+1, max, align="center")
  delta <- y.max - y.smooth[-c(1:w, n+1-1:w)]
  i.max <- which(delta <= 0) + w
  list(x=x[i.max], i=i.max, y.hat=y.smooth)
}

その戻り値には、質問に答えるローカル最大値（x）の引数と、それらのローカル最大値が発生するxおよびy配列のインデックス（i）が含まれます。

testプロット関数を少し変更しました。（a）xとyを明示的に定義し、（b）ピークの数を表示します。

test <- function(x, y, w, span) {
  peaks <- argmax(x, y, w=w, span=span)

  plot(x, y, cex=0.75, col="Gray", main=paste("w = ", w, ", span = ", 
                                              span, ", peaks = ", 
                                              length(peaks$x), sep=""))
  lines(x, peaks$y.hat,  lwd=2) #$
  y.min <- min(y)
  sapply(peaks$i, function(i) lines(c(x[i],x[i]), c(y.min, peaks$y.hat[i]),
                                    col="Red", lty=2))
  points(x[peaks$i], peaks$y.hat[peaks$i], col="Red", pch=19, cex=1.25)
}

fpeaks元の質問で述べたアプローチと同様に、このアプローチでもかなりのチューニングが必要です。これに該当する「正しい」答え（つまり、音節/ピークの数）がわからないので、決定ルールを定義する方法がわかりません。

par(mfrow=c(3,1))
test(ms[,1], ms[,2], 2, 0.01)
test(ms[,1], ms[,2], 2, 0.045)
test(ms[,1], ms[,2], 2, 0.05)

この時点でfpeaks、私には少し複雑ではないように見えますが、まだ満足できるものではありません。

タンパク質電気泳動プロファイルを分析する際にも、同様の問題がありました。プロファイルの2番目の派生物にmsprocess Rパッケージのいくつかの関数を適用することでそれらを解決しました（https://fr.wikipedia.org/wiki/D%C3%A9pouillement_d 'une_courbe＃Position_et_hauteur_du_picを参照）。これはここで公開されています：http : //onlinelibrary.wiley.com/doi/10.1111/1755-0998.12389/abstract ; jsessionid=8EE0B64238728C0979FF71C576884771.f02t03

同様の解決策があなたのために働くことができるかどうかはわかりません。幸運を

ここでは、自己相関関数のピークを見つけることによって周期を推定しようとしたときに、Pythonの私でライブラリが以前に使用しています。

ピーク検出に1次差分/離散微分を使用し、しきい値と最小距離（連続するピーク間の）パラメーターによる調整をサポートします。ガウス密度推定と補間を使用してピーク分解能を向上させることもできます（リンクを参照）。

ノイズの多いデータであっても、微調整することなくすぐに使用できました。試してみる。

changepointパッケージを利用したソリューションを提案したいと思います。以下の単純化した例では、利用可能なデータから1つのチャネルを見ることにより、ここで変化点として定義されているピークを識別しようとします。

例

データソース

# Libs
library(seewave)
library(tuneR)

# Download
tmpWav <- tempfile(fileext = ".wav")
download.file(url = "https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0",
              destfile = tmpWav)

# Read
w <- readWave(filename = tmpWav)

データ準備

# Libs
require(changepoint)

# Create time series data for one channel as an example
leftTS <- ts(data = w@left)

## Preview
plot.ts(leftTS)

plot.ts呼び出しによって生成されたチャート：

変化点分析

このchangepointパッケージには、データの変更/ピークを識別するための多数のオプションが用意されています。以下のコードは、BinSegメソッドを使用して3つのピークを見つける簡単な例を示しています。

# BinSeg method (example)
leftTSpelt <- cpt.var(data = leftTS, method = "BinSeg", penalty = "BIC", Q = 3)
## Preview
plot(leftTSpelt, cpt.width = 3)

得られたチャート： 値を取得することも可能です：

cpts(leftTSpelt)
[1]  89582 165572 181053

サイドノート

提供された例は、提供されたデータに変更点分析を適用する方法を説明することに主に関係しています。cp.var関数に渡されるパラメーターに関しては注意が必要です。パッケージと利用可能な機能の詳細な説明は、次のペーパーに記載されています。

Killick、Rebecca、Eckley、Idris（2014）changepoint：チェンジポイント分析用のRパッケージ。Journal of Statistics Software、58（3）。1-19ページ

ecp

ecp、Rパッケージに言及する価値があります。これecpにより、ノンパラメトリックな多変量変化点分析が容易になります。これは、複数のチャネルで発生する変化点を特定したい場合に便利です。