回答:
Windows XPの場合
Documents and Settings\<User>\Application Data\Apple Computer\iTunes\iPhone Software Updates
Windows Vista / Windows 7の場合
Users\<User>\AppData\Roaming\Apple Computer\iTunes\iPhone Software Updates
Mac
~/Library/iTunes/iPhone Software Updates
更新プログラムはインストール後に削除されないと思います。
経由でこのiPhoneのFAQの記事。