L-infinityノルム線形回帰を解決するソフトウェアパッケージ

L無限大ノルムを最小化する目的で線形回帰を解決するソフトウェアパッケージはありますか？

短い答え：問題は線形プログラム（LP）として定式化できるため、タスクに適したLPソルバーを選択できます。問題をLPとして記述する方法については、以下をお読みください。

この最小化問題は、しばしばチェビシェフ近似と呼ばれます。

$\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$$\X \in \reals^{n \times p}$$i$$\x_i$$\b \in \reals^p$$f(\b) = \|\y - \X \b\|_\infty$$\b$

$$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$$

これをLPとして再キャストするための鍵は、問題をエピグラフ形式で書き直すことです。実際、

$$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$$

ここで、関数定義を使用して、上記の右側を 、回帰設定でノルム を最小化することは、LPと同等であることが 最適化が行われる場所over、およびは長さ 1のベクトルを示します。私は、読者が上記のLPを標準形式で再キャストするための（簡単な）演習として残します。$f$

$$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $\ell_\infty$ $$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$$ $(\b, t)$$\ones$$n$

線形回帰の（全変動）バージョンとの関係$\ell_1$

非常によく似たものがノルムでも実行できることに注意してください。してみましょう。次に、同様の引数により、 対応するLPは $\ell_1$$g(\b) = \|\y - \X \b \|_1$

$$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$$

場合とは、はスカラーではなく長さベクトルになっていることに注意してください。$\t$$n$$\ell_\infty$

これら2つの問題の類似点と、両方をLPとしてキャストできるという事実は、もちろん偶然ではありません。2つの基準は、相互に二重の基準であるという点で関連しています。

Malabはcvxを使用してそれを行うことができます。cvx（無料）を取得するには：

http://cvxr.com/cvx/download/

cvxでは、次のように記述します。

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

（マニュアルの例ページ12を確認してください）

CVXのPython実装（ここ）がありますが、コマンドは少し異なります...

@cardinalの答えは適切であり、受け入れられていますが、このスレッドを完全に閉じるために、以下を提供します。IMSL数値ライブラリには、L無限大のノルム回帰を実行するためのルーチンが含まれています。このルーチンは、Fortran、C、Java、C＃、およびPythonで使用できます。私は、メソッドがlnorm_regressionを呼び出すCバージョンとPythonバージョンを使用しました。これは、一般的な回帰、もサポートしています。$L_p$$p >= 1$

これらは商用ライブラリですが、Pythonバージョンは（ビールのように）非商用目的で無料です。