《視頻監(jiān)控與視頻分析-第十四章 深度學(xué)習(xí)》由會(huì)員分享，可在線閱讀，更多相關(guān)《視頻監(jiān)控與視頻分析-第十四章 深度學(xué)習(xí)（126頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第 十 四 章 ： 深 度 學(xué) 習(xí) 2015.9于 深 圳視 頻 監(jiān) 控 與 視 頻 分 析 目 錄o 概 述o 動(dòng) 機(jī)o 深 度 學(xué) 習(xí) 簡(jiǎn) 介o 深 度 學(xué) 習(xí) 的 訓(xùn) 練 過 程o 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 深 度 學(xué) 習(xí) 的 性 能 比 較o 深 度 學(xué) 習(xí) 的 應(yīng) 用o 展 望o 參 考 文 獻(xiàn)o 相 關(guān) 程 序 軟 件 及 鏈 接 概 述o 深 度 學(xué) 習(xí) ： 一 種 基 于 無 監(jiān) 督 特 征 學(xué) 習(xí) 和 特 征 層 次結(jié) 構(gòu) 的 學(xué) 習(xí) 方 法o 可 能 的 的 名 稱 ：n 深 度 學(xué) 習(xí)n 特 征 學(xué) 習(xí)n 無 監(jiān) 督 特 征 學(xué) 習(xí) 動(dòng) 機(jī) 良 好

2、 的 特 征 表 達(dá) ， 對(duì) 最 終 算 法 的 準(zhǔn) 確 性 起 了 非 常 關(guān) 鍵 的 作 用 ； 識(shí) 別 系 統(tǒng) 主 要 的 計(jì) 算 和 測(cè) 試 工 作 耗 時(shí) 主 要 集 中 在 特 征 提 取 部 分 ； 特 征 的 樣 式 目 前 一 般 都 是 人 工 設(shè) 計(jì) 的 ， 靠 人 工 提 取 特 征 。Low-level sensing Pre-processing Feature extract. Feature selection Inference: prediction, recognition傳 統(tǒng) 的 模 式 識(shí) 別 方 法 ： 動(dòng) 機(jī) 為 什 么 要 自 動(dòng) 學(xué) 習(xí) 特

3、征o 實(shí) 驗(yàn) ： LP- Multiple Kernel Learningn Gehler and Nowozin, On Feature Combination for Multiclass Object Classification, ICCV 09o 采 用 39 個(gè) 不 同 的 特 征n PHOG, SIFT, V1S+,Region Cov. Etc. o 在 普 通 特 征 上 MKL表 現(xiàn)有 限結(jié) 論 ： 特 征 更 重 要 動(dòng) 機(jī) 為 什 么 要 自 動(dòng) 學(xué) 習(xí) 特 征o 機(jī) 器 學(xué) 習(xí) 中 ， 獲 得 好 的 特 征 是 識(shí) 別 成 功 的 關(guān) 鍵o 目 前 存 在 大 量

4、人 工 設(shè) 計(jì) 的 特 征 ， 不 同 研 究 對(duì) 象 特 征 不 同 ， 特 征具 有 多 樣 性 ， 如 ： SIFT, HOG, LBP等o 手 工 選 取 特 征 費(fèi) 時(shí) 費(fèi) 力 ， 需 要 啟 發(fā) 式 專 業(yè) 知 識(shí) ， 很 大 程 度 上 靠經(jīng) 驗(yàn) 和 運(yùn) 氣o 是 否 能 自 動(dòng) 地 學(xué) 習(xí) 特 征 ？ 中 層 特 征 中 層 信 號(hào) ：動(dòng) 機(jī) 為 什 么 要 自 動(dòng) 學(xué) 習(xí) 特 征“Tokens” from Vision by D.Marr:連 續(xù) 平 行 連 接 拐 角 物 體 部 件 : 他 們 對(duì) 于 人 工 而 言 是 十 分 困 難 的 ， 那 么 如 何 學(xué) 習(xí) 呢

5、 ？ 動(dòng) 機(jī) 為 什 么 要 自 動(dòng) 學(xué) 習(xí) 特 征o 一 般 而 言 ， 特 征 越 多 ， 給 出 信 息 就 越 多 ， 識(shí) 別 準(zhǔn) 確 性 會(huì) 得 到 提 升 ； o 但 特 征 多 ， 計(jì) 算 復(fù) 雜 度 增 加 ， 探 索 的 空 間 大 ， 可 以 用 來 訓(xùn) 練 的 數(shù) 據(jù)在 每 個(gè) 特 征 上 就 會(huì) 稀 疏 。o 結(jié) 論 ： 不 一 定 特 征 越 多 越 好 ！ 需 要 有 多 少 個(gè) 特 征 ， 需 要學(xué) 習(xí) 確 定 。 動(dòng) 機(jī) 為 什 么 采 用 層 次 網(wǎng) 絡(luò) 結(jié) 構(gòu)o 人 腦 視 覺 機(jī) 理 1981年 的 諾 貝 爾 醫(yī) 學(xué) 獎(jiǎng) 獲 得 者 David Hube

6、l和TorstenWiesel發(fā) 現(xiàn) 了 視 覺 系 統(tǒng) 的 信 息 處 理 機(jī) 制 發(fā) 現(xiàn) 了 一 種 被 稱 為 “ 方 向 選 擇 性 細(xì) 胞 的 神 經(jīng) 元 細(xì) 胞 ， 當(dāng)瞳 孔 發(fā) 現(xiàn) 了 眼 前 的 物 體 的 邊 緣 ， 而 且 這 個(gè) 邊 緣 指 向 某 個(gè)方 向 時(shí) ， 這 種 神 經(jīng) 元 細(xì) 胞 就 會(huì) 活 躍 動(dòng) 機(jī) 為 什 么 采 用 層 次 網(wǎng) 絡(luò) 結(jié) 構(gòu)o 人 腦 視 覺 機(jī) 理 人 的 視 覺 系 統(tǒng) 的 信 息 處 理 是 分 級(jí) 的 高 層 的 特 征 是 低 層 特 征 的 組 合 ， 從 低 層 到 高 層 的 特 征 表 示 越 來 越 抽象 ， 越 來

7、 越 能 表 現(xiàn) 語 義 或 者 意 圖 抽 象 層 面 越 高 ， 存 在 的 可 能 猜 測(cè) 就 越 少 ， 就 越 利 于 分 類 動(dòng) 機(jī) 為 什 么 采 用 層 次 網(wǎng) 絡(luò) 結(jié) 構(gòu)o 視 覺 的 層 次 性 屬 性 學(xué) 習(xí) ， 類 別 作 為 屬 性 的 一 種 組 合 映 射 Lampert et al. CVPR 09類 別 標(biāo) 簽屬 性 圖 像 特 征 動(dòng) 機(jī) 為 什 么 采 用 層 次 網(wǎng) 絡(luò) 結(jié) 構(gòu)o 特 征 表 示 的 粒 度 具 有 結(jié) 構(gòu) 性 （ 或 者 語 義） 的 高 層 特 征 對(duì) 于 分 類更 有 意 義 動(dòng) 機(jī) 為 什 么 采 用 層 次 網(wǎng) 絡(luò) 結(jié) 構(gòu)o 初

8、 級(jí) （ 淺 層 ） 特 征 表 示 高 層 特 征 或 圖 像 ， 往 往 是 由 一 些 基 本 結(jié) 構(gòu) （ 淺 層 特 征 ） 組 成 的 動(dòng) 機(jī) 為 什 么 采 用 層 次 網(wǎng) 絡(luò) 結(jié) 構(gòu)o 結(jié) 構(gòu) 性 特 征 表 示 動(dòng) 機(jī) 為 什 么 采 用 層 次 網(wǎng) 絡(luò) 結(jié) 構(gòu)o 淺 層 學(xué) 習(xí) 的 局 限 人 工 神 經(jīng) 網(wǎng) 絡(luò) （ BP算 法 ） 雖 被 稱 作 多 層 感 知 機(jī) ， 但 實(shí) 際 是 種 只 含 有 一 層 隱 層節(jié) 點(diǎn) 的 淺 層 模 型 SVM、 Boosting、 最 大 熵 方 法 （ 如 LR， Logistic Regression） 帶 有 一 層 隱 層

9、節(jié) 點(diǎn) （ 如 SVM、 Boosting） ， 或 沒 有隱 層 節(jié) 點(diǎn) （ 如 LR） 的 淺 層 模 型局 限 性 ： 有 限 樣 本 和 計(jì) 算 單 元 情 況 下 對(duì) 復(fù) 雜 函 數(shù) 的 表示 能 力 有 限 ， 針 對(duì) 復(fù) 雜 分 類 問 題 其 泛 化 能 力 受 限。 深 度 學(xué) 習(xí)o 2006年 ， 加 拿 大 多 倫 多 大 學(xué) 教 授 、 機(jī) 器 學(xué) 習(xí) 領(lǐng) 域的 泰 斗 Geoffrey Hinton在 科 學(xué) 上 發(fā) 表 論 文 提出 深 度 學(xué) 習(xí) 主 要 觀 點(diǎn) ：1） 多 隱 層 的 人 工 神 經(jīng) 網(wǎng) 絡(luò) 具 有 優(yōu) 異 的 特 征 學(xué) 習(xí) 能 力， 學(xué) 習(xí)

10、得 到 的 特 征 對(duì) 數(shù) 據(jù) 有 更 本 質(zhì) 的 刻 畫 ， 從 而有 利 于 可 視 化 或 分 類 ；2） 深 度 神 經(jīng) 網(wǎng) 絡(luò) 在 訓(xùn) 練 上 的 難 度 ， 可 以 通 過 “ 逐 層初 始 化 ” （ layer-wise pre-training） 來 有 效 克服 ， 逐 層 初 始 化 可 通 過 無 監(jiān) 督 學(xué) 習(xí) 實(shí) 現(xiàn) 的 。 深 度 學(xué) 習(xí)o 本 質(zhì) ： 通 過 構(gòu) 建 多 隱 層 的 模 型 和 海 量 訓(xùn) 練 數(shù) 據(jù) （可 為 無 標(biāo) 簽 數(shù) 據(jù) ） ， 來 學(xué) 習(xí) 更 有 用 的 特 征 ， 從 而最 終 提 升 分 類 或 預(yù) 測(cè) 的 準(zhǔn) 確 性 。 “ 深

11、 度 模 型 ” 是手 段 ， “ 特 征 學(xué) 習(xí) ” 是 目 的 。o 與 淺 層 學(xué) 習(xí) 區(qū) 別 ：1） 強(qiáng) 調(diào) 了 模 型 結(jié) 構(gòu) 的 深 度 ， 通 常 有 5-10多 層 的 隱 層節(jié) 點(diǎn) ；2） 明 確 突 出 了 特 征 學(xué) 習(xí) 的 重 要 性 ， 通 過 逐 層 特 征 變換 ， 將 樣 本 在 原 空 間 的 特 征 表 示 變 換 到 一 個(gè) 新 特征 空 間 ， 從 而 使 分 類 或 預(yù) 測(cè) 更 加 容 易 。 與 人 工 規(guī)則 構(gòu) 造 特 征 的 方 法 相 比 ， 利 用 大 數(shù) 據(jù) 來 學(xué) 習(xí) 特 征， 更 能 夠 刻 畫 數(shù) 據(jù) 的 豐 富 內(nèi) 在 信 息 。

12、深 度 學(xué) 習(xí)o 好 處 ： 可 通 過 學(xué) 習(xí) 一 種 深 層 非 線 性 網(wǎng) 絡(luò) 結(jié) 構(gòu) ， 實(shí)現(xiàn) 復(fù) 雜 函 數(shù) 逼 近 ， 表 征 輸 入 數(shù) 據(jù) 分 布 式 表 示 。 深 度 學(xué) 習(xí) vs. 神 經(jīng) 網(wǎng) 絡(luò)神 經(jīng) 網(wǎng) 絡(luò) ： 深 度 學(xué) 習(xí) ： 深 度 學(xué) 習(xí) vs. 神 經(jīng) 網(wǎng) 絡(luò)相 同 點(diǎn) ： 二 者 均 采 用 分 層 結(jié) 構(gòu) ， 系 統(tǒng) 包 括 輸 入 層 、 隱層 （ 多 層 ） 、 輸 出 層 組 成 的 多 層 網(wǎng) 絡(luò) ， 只 有 相 鄰 層節(jié) 點(diǎn) 之 間 有 連 接 ， 同 一 層 以 及 跨 層 節(jié) 點(diǎn) 之 間 相 互 無連 接 ， 每 一 層 可 以 看 作 是

13、 一 個(gè) logistic 回 歸 模 型。不 同 點(diǎn) ：神 經(jīng) 網(wǎng) 絡(luò) ： 采 用 BP算 法 調(diào) 整 參 數(shù) ， 即 采 用 迭 代 算 法 來訓(xùn) 練 整 個(gè) 網(wǎng) 絡(luò) 。 隨 機(jī) 設(shè) 定 初 值 ， 計(jì) 算 當(dāng) 前 網(wǎng) 絡(luò) 的 輸出 ， 然 后 根 據(jù) 當(dāng) 前 輸 出 和 樣 本 真 實(shí) 標(biāo) 簽 之 間 的 差 去改 變 前 面 各 層 的 參 數(shù) ， 直 到 收 斂 ；深 度 學(xué) 習(xí) ： 采 用 逐 層 訓(xùn) 練 機(jī) 制 。 采 用 該 機(jī) 制 的 原 因 在于 如 果 采 用 BP機(jī) 制 ， 對(duì) 于 一 個(gè) deep network（ 7層以 上 ） ， 殘 差 傳 播 到 最 前 面

14、的 層 將 變 得 很 小 ， 出 現(xiàn)所 謂 的 gradient diffusion（ 梯 度 擴(kuò) 散 ） 。 深 度 學(xué) 習(xí) vs. 神 經(jīng) 網(wǎng) 絡(luò)o 神 經(jīng) 網(wǎng) 絡(luò) 的 局 限 性 ：1） 比 較 容 易 過 擬 合 ， 參 數(shù) 比 較 難 調(diào) 整 ， 而 且 需 要 不少 技 巧 ；2） 訓(xùn) 練 速 度 比 較 慢 ， 在 層 次 比 較 少 （ 小 于 等 于 3） 的情 況 下 效 果 并 不 比 其 它 方 法 更 優(yōu) ； 深 度 學(xué) 習(xí) 訓(xùn) 練 過 程o 不 采 用 BP算 法 的 原 因（ 1） 反 饋 調(diào) 整 時(shí) ， 梯 度 越 來 越 稀 疏 ， 從 頂 層 越 往 下，

15、 誤 差 校 正 信 號(hào) 越 來 越 小 ；（ 2） 收 斂 易 至 局 部 最 小 ， 由 于 是 采 用 隨 機(jī) 值 初 始 化， 當(dāng) 初 值 是 遠(yuǎn) 離 最 優(yōu) 區(qū) 域 時(shí) 易 導(dǎo) 致 這 一 情 況 ；（ 3） BP算 法 需 要 有 標(biāo) 簽 數(shù) 據(jù) 來 訓(xùn) 練 ， 但 大 部 分 數(shù) 據(jù)是 無 標(biāo) 簽 的 ； 深 度 學(xué) 習(xí) 訓(xùn) 練 過 程o 第 一 步 ： 采 用 自 下 而 上 的 無 監(jiān) 督 學(xué) 習(xí)1） 逐 層 構(gòu) 建 單 層 神 經(jīng) 元 。2） 每 層 采 用 wake-sleep算 法 進(jìn) 行 調(diào) 優(yōu) 。 每 次 僅 調(diào) 整一 層 ， 逐 層 調(diào) 整 。 這 個(gè) 過 程 可

16、 以 看 作 是 一 個(gè) feature learning的 過 程， 是 和 傳 統(tǒng) 神 經(jīng) 網(wǎng) 絡(luò) 區(qū) 別 最 大 的 部 分 。 深 度 學(xué) 習(xí) 訓(xùn) 練 過 程o wake-sleep算 法 :1） wake階 段 ： 認(rèn) 知 過 程 ， 通 過 下 層 的 輸 入 特 征 （ Input） 和 向 上 的 認(rèn) 知 （Encoder） 權(quán) 重 產(chǎn) 生 每 一 層 的 抽 象 表 示 （ Code） ， 再 通 過 當(dāng) 前的 生 成 （ Decoder） 權(quán) 重 產(chǎn) 生 一 個(gè) 重 建 信 息 （ Reconstruction） ， 計(jì) 算 輸 入 特 征 和 重 建 信 息 殘 差 ，

17、使 用 梯 度 下 降 修 改 層 間 的下 行 生 成 （ Decoder） 權(quán) 重 。 也 就 是 “ 如 果 現(xiàn) 實(shí) 跟 我 想 象 的 不一 樣 ， 改 變 我 的 生 成 權(quán) 重 使 得 我 想 象 的 東 西 變 得 與 現(xiàn) 實(shí) 一 樣 ”。2） sleep階 段 ： 生 成 過 程 ， 通 過 上 層 概 念 （ Code） 和 向 下 的 生 成 （ Decoder） 權(quán)重 ， 生 成 下 層 的 狀 態(tài) ， 再 利 用 認(rèn) 知 （ Encoder） 權(quán) 重 產(chǎn) 生 一 個(gè)抽 象 景 象 。 利 用 初 始 上 層 概 念 和 新 建 抽 象 景 象 的 殘 差 ， 利 用 梯

18、度 下 降 修 改 層 間 向 上 的 認(rèn) 知 （ Encoder） 權(quán) 重 。 也 就 是 “ 如 果 夢(mèng) 中 的 景 象 不 是 我 腦 中 的 相 應(yīng) 概 念 ， 改 變 我 的 認(rèn) 知 權(quán) 重 使 得 這種 景 象 在 我 看 來 就 是 這 個(gè) 概 念 ” 。 深 度 學(xué) 習(xí) 訓(xùn) 練 過 程 EncoderDecoder Input Image Class labele.g.FeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder: 深 度 學(xué) 習(xí) 訓(xùn) 練 過 程o 第 二 步 ： 自 頂 向 下 的 監(jiān) 督 學(xué) 習(xí) 這 一 步

19、是 在 第 一 步 學(xué) 習(xí) 獲 得 各 層 參 數(shù) 進(jìn) 的 基 礎(chǔ)上 ， 在 最 頂 的 編 碼 層 添 加 一 個(gè) 分 類 器 （ 例 如 羅 杰斯 特 回 歸 、 SVM等 ） ， 而 后 通 過 帶 標(biāo) 簽 數(shù) 據(jù) 的 監(jiān)督 學(xué) 習(xí) ， 利 用 梯 度 下 降 法 去 微 調(diào) 整 個(gè) 網(wǎng) 絡(luò) 參 數(shù) 。 深 度 學(xué) 習(xí) 的 第 一 步 實(shí) 質(zhì) 上 是 一 個(gè) 網(wǎng) 絡(luò) 參 數(shù) 初 始化 過 程 。 區(qū) 別 于 傳 統(tǒng) 神 經(jīng) 網(wǎng) 絡(luò) 初 值 隨 機(jī) 初 始 化 ，深 度 學(xué) 習(xí) 模 型 是 通 過 無 監(jiān) 督 學(xué) 習(xí) 輸 入 數(shù) 據(jù) 的 結(jié) 構(gòu)得 到 的 ， 因 而 這 個(gè) 初 值 更 接

20、 近 全 局 最 優(yōu) ， 從 而 能夠 取 得 更 好 的 效 果 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 自 動(dòng) 編 碼 器 （ AutoEncoder ）o 稀 疏 自 動(dòng) 編 碼 器 (Sparse AutoEncoder)o 降 噪 自 動(dòng) 編 碼 器 (Denoising AutoEncoders) 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法EncoderDecoder Input (Image/ Features)Output Featurese.g.Feed-back /generative /top-downpath Feed-forward /bottom-

21、up path自 動(dòng) 編 碼 器 （ AutoEncoder ） 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法 (Wx) (WTz) (Binary) Input x(Binary) Features ze.g. 自 動(dòng) 編 碼 器 （ AutoEncoder ） Encoder filters WSigmoid function (.)Decoder filters WTSigmoid function (.) 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 稀 疏 自 動(dòng) 編 碼 器 (Sparse AutoEncoder)限 制 每 次 得 到 的 表 達(dá) code盡 量 稀 疏限

22、制 每 次 得 到 的 表 達(dá) code盡 量 稀 疏 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 稀 疏 自 動(dòng) 編 碼 器 (Sparse AutoEncoder) Filters Features Sparse CodingInput Patch 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法 (Wx)Dz Input Patch xSparse Features ze.g. Encoder filters WSigmoid function (.)Decoder filters DL1 SparsityTraining 稀 疏 自 動(dòng) 編 碼 器 (Sparse AutoEnco

23、der) 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o稀 疏 自 動(dòng) 編 碼 器 (Sparse AutoEncoder)1） Training階 段 ： 給 定 一 系 列 的 樣 本 圖 片 x1, x 2, ， 我們 需 要 學(xué) 習(xí) 得 到 一 組 基 1, 2, ， 也 就 是 字 典 。 可 使 用 K-SVD方 法 交 替 迭 代 調(diào) 整 a k， k， 直 至 收 斂 ， 從而 可 以 獲 得 一 組 可 以 良 好 表 示 這 一 系 列 x的 字 典 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o稀 疏 自 動(dòng) 編 碼 器 (Sparse AutoEncoder)2

24、） Coding階 段 ： 給 定 一 個(gè) 新 的 圖 片 x， 由 上 面 得 到 的 字 典 ，利 用 OMP算 法 求 解 一 個(gè) LASSO問 題 得 到 稀 疏 向 量 a。 這 個(gè) 稀 疏向 量 就 是 這 個(gè) 輸 入 向 量 x的 一 個(gè) 稀 疏 表 達(dá) 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 稀 疏 自 動(dòng) 編 碼 器 (Sparse AutoEncoder) 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 降 噪 自 動(dòng) 編 碼 器 (Denoising AutoEncoders)o 在 自 動(dòng) 編 碼 器 的 基 礎(chǔ) 上 ， 對(duì) 訓(xùn) 練 數(shù) 據(jù) 加 入 噪

25、聲 ， 自 動(dòng) 編 碼 器必 須 學(xué) 習(xí) 去 去 除 這 種 噪 聲 而 獲 得 真 正 的 沒 有 被 噪 聲 污 染 過 的輸 入 。 因 此 ， 這 就 迫 使 編 碼 器 去 學(xué) 習(xí) 輸 入 信 號(hào) 的 更 加 魯 棒 的表 達(dá) ， 這 也 是 它 的 泛 化 能 力 比 一 般 編 碼 器 強(qiáng) 的 原 因 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o Autoencoder (most Deep Learning methods)n RBMs / DBMs Lee / Salakhutdinovn Denoising autoencoders Ranzaton Predict

26、ive sparse decomposition Ranzatoo Decoder-onlyn Sparse coding Yun Deconvolutional Nets Yu o Encoder-only n Neural nets (supervised) Ranzato 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 限 制 波 爾 茲 曼 機(jī) （ Restricted Boltzmann Machine）o 定 義 ： 假 設(shè) 有 一 個(gè) 二 部 圖 ， 同 層 節(jié) 點(diǎn) 之 間 沒 有 鏈 接 ， 一 層 是 可視 層 ， 即 輸 入 數(shù) 據(jù) 層 （ v)， 一 層 是 隱 藏 層

27、 (h)， 如 果 假 設(shè) 所 有的 節(jié) 點(diǎn) 都 是 隨 機(jī) 二 值 （ 0， 1值 ） 變 量 節(jié) 點(diǎn) ， 同 時(shí) 假 設(shè) 全 概 率分 布 p(v,h)滿 足 Boltzmann 分 布 ， 我 們 稱 這 個(gè) 模 型 是 Restricted BoltzmannMachine (RBM)。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 限 制 波 爾 茲 曼 機(jī) （ Restricted Boltzmann Machine）o 限 制 波 爾 茲 曼 機(jī) （ RBM） 是 一 種 深 度 學(xué) 習(xí) 模 型 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 限 制 波 爾 茲 曼 機(jī)

28、 （ Restricted Boltzmann Machine） 定 義 聯(lián) 合 組 態(tài) （ jointconfiguration） 能 量 ： 這 樣 某 個(gè) 組 態(tài) 的 聯(lián) 合 概 率 分 布 可 以 通 過 Boltzmann 分布 和 這 個(gè) 組 態(tài) 的 能 量 來 確 定 ： 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 限 制 波 爾 茲 曼 機(jī) （ Restricted Boltzmann Machine） 給 定 隱 層 h的 基 礎(chǔ) 上 ， 可 視 層 的 概 率 確 定 ： （ 可 視 層 節(jié) 點(diǎn) 之 間 是 條 件 獨(dú) 立 的 ） 給 定 可 視 層 v的 基 礎(chǔ) 上

29、 ， 隱 層 的 概 率 確 定 ： 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 限 制 波 爾 茲 曼 機(jī) （ Restricted Boltzmann Machine） 待 求 問 題 ： 給 定 一 個(gè) 滿 足 獨(dú) 立 同 分 布 的 樣 本 集 ： D=v(1), v(2), , v(N)， 需 要 學(xué) 習(xí) 模 型 參 數(shù) =W,a,b。 求 解 ： 最 大 似 然 估 計(jì) ： 我 們 需 要 選 擇 一 個(gè) 參 數(shù) ， 讓 我 們 當(dāng) 前 的 觀 測(cè) 樣 本 的 概 率 最 大 對(duì) 最 大 對(duì) 數(shù) 似 然 函 數(shù) 求 導(dǎo) ， 即 可 得 到 L最 大 時(shí) 對(duì) 應(yīng) 的 參 數(shù) W

30、：p 若 隱 藏 層 層 數(shù) 增 加 ， 可 得 到 Deep Boltzmann Machine(DBM) 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o Deep Boltzmann Machine(DBM) 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 深 信 度 網(wǎng) 絡(luò) （ Deep Belief Networks） Deep Belief Networks是 在 靠 近 可 視 層 的 部 分 使 用 貝 葉 斯 信 念網(wǎng) 絡(luò) （ 即 有 向 圖 模 型 ） ， 而 在 最 遠(yuǎn) 離 可 視 層 的 部 分 使 用Restricted Boltzmann Machine的 模 型

31、 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 深 信 度 網(wǎng) 絡(luò) （ Deep Belief Networks） 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 卷 積 波 爾 茲 曼 機(jī) （ Convolutional RBM） CRBM是 為 識(shí) 別 二 維 圖 像 信 息 而 特 殊 設(shè) 計(jì) 的 一 個(gè) 多 層 感 知 器 。概 念 示 范 ： 輸 入 圖 像 通 過 與 m個(gè) 可訓(xùn) 練 的 濾 波 器 和 可 加 偏 置 進(jìn) 行 卷 積 ，在 C1層 產(chǎn) 生 m個(gè) 特 征 映 射 圖 ， 然 后特 征 映 射 圖 中 每 組 的 n個(gè) 像 素 再 進(jìn)行 求 和 ， 加 權(quán)

32、值 ， 加 偏 置 ， 通 過 一 個(gè) Sigmoid函 數(shù) 得 到 m個(gè) S2層 的 特 征映 射 圖 。 這 些 映 射 圖 再 進(jìn) 過 濾 波 得到 C3層 。 這 個(gè) 層 級(jí) 結(jié) 構(gòu) 再 和 S2一 樣產(chǎn) 生 S4。 最 終 ， 這 些 像 素 值 被 光 柵化 ， 并 連 接 成 一 個(gè) 向 量 輸 入 到 傳 統(tǒng)的 神 經(jīng) 網(wǎng) 絡(luò) ， 得 到 輸 出 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 卷 積 波 爾 茲 曼 機(jī) （ Convolutional RBM） 權(quán) 值 共 享減 少 參 數(shù) 的 方 法 ： 每 個(gè) 神 經(jīng) 元 無 需 對(duì) 全 局 圖 像 做 感 受 ，

33、只 需 感 受 局 部 區(qū) 域 （ Feature Map） ， 在 高 層 會(huì) 將 這 些 感 受 不 同 局 部 的 神 經(jīng) 元 綜 合 起 來 獲 得 全 局 信 息 。每 個(gè) 神 經(jīng) 元 參 數(shù) 設(shè) 為 相 同 ， 即 權(quán) 值 共 享 ， 也 即 每 個(gè) 神 經(jīng) 元 用 同 一 個(gè) 卷積 核 去 卷 積 圖 像 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 卷 積 波 爾 茲 曼 機(jī) （ Convolutional RBM） 隱 層 神 經(jīng) 元 數(shù) 量 的 確 定 p神 經(jīng) 元 數(shù) 量 與 輸 入 圖 像 大小 、 濾 波 器 大 小 和 濾 波 器 的滑 動(dòng) 步 長(zhǎng) 有 關(guān)

34、。 例 如 ， 輸 入 圖 像 是 1000 x1000像 素 ，濾 波 器 大 小 是 10 x10， 假 設(shè) 濾 波 器 間沒 有 重 疊 ， 即 步 長(zhǎng) 為 10， 這 樣 隱 層 的神 經(jīng) 元 個(gè) 數(shù) 就 是 (1000 x1000 )/ (10 x10)=10000個(gè) 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 卷 積 波 爾 茲 曼 機(jī) （ Convolutional RBM） 多 濾 波 器 情 形 不 同 的 顏 色 表 示 不 同 種 類 的 濾 波 器 p每 層 隱 層 神 經(jīng) 元 的 個(gè) 數(shù) 按濾 波 器 種 類 的 數(shù) 量 翻 倍p每 層 隱 層 參 數(shù) 個(gè) 數(shù)

35、僅 與 濾波 器 大 小 、 濾 波 器 種 類 的 多少 有 關(guān)例 如 ： 隱 含 層 的 每 個(gè) 神 經(jīng) 元 都 連 接10 x10像 素 圖 像 區(qū) 域 ， 同 時(shí) 有 100種卷 積 核 （ 濾 波 器 ） 。 則 參 數(shù) 總 個(gè) 數(shù)為 ： （ 10 x10+1） x100=10100個(gè) 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 卷 積 波 爾 茲 曼 機(jī) （ Convolutional RBM）p卷 積 過 程 ： 用 一 個(gè) 可 訓(xùn) 練 的 濾 波 器 fx去 卷 積 一 個(gè) 輸 入 的 圖像 （ 第 一 階 段 是 輸 入 的 圖 像 ， 后 面 的 階 段 就 是 Fe

36、ature Map了 ） ， 然 后 加 一 個(gè) 偏 置 bx， 得 到 卷 積 層 Cx。p子 采 樣 過 程 ： 每 鄰 域 n個(gè) 像 素 通 過 池 化 （ pooling） 步 驟變 為 一 個(gè) 像 素 ， 然 后 通 過 標(biāo) 量 W x+1加 權(quán) ， 再 增 加 偏 置 bx+1，然 后 通 過 一 個(gè) sigmoid激 活 函 數(shù) ， 產(chǎn) 生 一 個(gè) 大 概 縮 小 n倍 的特 征 映 射 圖 Sx+1。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 卷 積 波 爾 茲 曼 機(jī) （ Convolutional RBM）CNN的 關(guān) 鍵 技 術(shù) ： 局 部 感 受 野 、 權(quán) 值

37、 共 享 、 時(shí) 間 或 空 間 子 采 樣CNN的 優(yōu) 點(diǎn) ： 1、 避 免 了 顯 式 的 特 征 抽 取 ， 而 隱 式 地 從 訓(xùn) 練 數(shù) 據(jù) 中 進(jìn) 行 學(xué) 習(xí) ；2、 同 一 特 征 映 射 面 上 的 神 經(jīng) 元 權(quán) 值 相 同 ， 從 而 網(wǎng) 絡(luò) 可 以 并 行 學(xué) 習(xí) ， 降 低 了 網(wǎng) 絡(luò) 的 復(fù) 雜 性 ；3、 采 用 時(shí) 間 或 者 空 間 的 子 采 樣 結(jié) 構(gòu) ， 可 以 獲 得 某 種 程 度 的 位 移 、 尺 度 、 形 變 魯 棒 性 ；3、 輸 入 信 息 和 網(wǎng) 絡(luò) 拓 撲 結(jié) 構(gòu) 能 很 好 的 吻 合 ， 在 語 音 識(shí) 別 和 圖 像 處 理 方

38、面 有 著 獨(dú) 特 優(yōu) 勢(shì) 。 深 度 學(xué) 習(xí) 的 具 體 模 型 及 方 法o 基 于 CRBM的 深 度 學(xué) 習(xí) 框 架 深 度 學(xué) 習(xí) 性 能 比 較o Deep nets VS. Boosting 深 度 學(xué) 習(xí) 性 能 比 較o Deep nets VS. Probabilistic Models 深 度 學(xué) 習(xí) 性 能 比 較o 隨 機(jī) 文 法 模 型n Set of production rules for objectsn Zhu & Mumford, Stochastic Grammar of Images, F&T 2006自 動(dòng) 學(xué) 習(xí)人 工 指 定 S.C. Zhu e

39、t al. 深 度 學(xué) 習(xí) 性 能 比 較 基 于 文 法 模 型 的 物 體 檢 測(cè) -R. Girshick, P. Felzenszwalb, D. McAllester, NIPS 2011 -Learn local appearance& shape人 工 指 定自 動(dòng) 學(xué) 習(xí) 深 度 學(xué) 習(xí) 性 能 比 較o 部 件 和 結(jié) 構(gòu) 模 型n Defined connectivity graphn Learn appearance / relative position Felzenszwalb & Huttenlocher CVPR00 Fischler and R. Elschla

40、ger 1973 人 工 指 定 自 動(dòng) 學(xué) 習(xí) 深 度 學(xué) 習(xí) 性 能 比 較 基 于 部 件 與 結(jié) 構(gòu) 的 分 層 模 型 -Fidler et al. ECCV10 -Fidler & Leonardis CVPR07人 工 指 定自 動(dòng) 學(xué) 習(xí) 深 度 學(xué) 習(xí) 性 能 比 較o 遞 歸 和 與 圖 模 型 -Leo Zhu, Yuanhao Chen, Alan Yuille & collaboratorsn Recursive composition, AND/OR graphn Learn # units at layer人 工 指 定自 動(dòng) 學(xué) 習(xí) 深 度 學(xué) 習(xí) 性 能 比

41、較 自 動(dòng) 編 碼 模 型 Hinton et al. ICANN11 反 卷 積 網(wǎng) 絡(luò) 模 型 Zeiler et al. ICCV11 -Explicit representation of what/where人 工 指 定自 動(dòng) 學(xué) 習(xí) 深 度 學(xué) 習(xí) 性 能 比 較o 神 經(jīng) 網(wǎng) 絡(luò)n Dedicated pooling / LCNlayersn No separation of what/wheren Modality independent (e.g. speech, images) Le et al., ICML12人 工 指 定 自 動(dòng) 學(xué) 習(xí) 深 度 學(xué) 習(xí) 性 能 比

42、較o 波 爾 茲 曼 機(jī)n Homogenous architecturen No separation of what/wheren Modality independent (e.g. speech, images) Salakhutdinov & Hinton AISTATS09人 工 指 定 自 動(dòng) 學(xué) 習(xí) 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 圖 像 識(shí) 別 上 的 應(yīng) 用空間金字塔（Spatial Pyramids ） 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 圖 像 識(shí) 別 上 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 圖 像 識(shí) 別 上

43、的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 圖 像 識(shí) 別 上 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 圖 像 識(shí) 別 上 的 應(yīng) 用 實(shí) 驗(yàn) 在 Caltech 256數(shù) 據(jù) 集 上 ， 利 用 單 特 征 識(shí) 別 ， Sparse CRBM性 能 最 優(yōu) 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 音 頻 識(shí) 別 上 的 應(yīng) 用 Convolutional DBN for audio Max pooling node Detection nodes Max p oling node Detection nodes 深 度 學(xué) 習(xí) 的 應(yīng) 用o

44、深 度 學(xué) 習(xí) 在 音 頻 識(shí) 別 上 的 應(yīng) 用 Convolutional DBN for audio 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 音 頻 識(shí) 別 上 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 音 頻 識(shí) 別 上 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 視 頻 識(shí) 別 上 的 應(yīng) 用 SPACE-TIME DEEP BELIEF NETWORKS 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 視 頻 識(shí) 別 上 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 多 模 態(tài) 學(xué) 習(xí) 中 的 應(yīng) 用 深 度 學(xué) 習(xí)

45、 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 多 模 態(tài) 學(xué) 習(xí) 中 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 多 模 態(tài) 學(xué) 習(xí) 中 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 多 模 態(tài) 學(xué) 習(xí) 中 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 多 模 態(tài) 學(xué) 習(xí) 中 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 多 模 態(tài) 學(xué) 習(xí) 中 的 應(yīng) 用 如 果 模 態(tài) 間 存 在 著 內(nèi) 在 的 聯(lián) 系 ， 即 存 在 shared Representation， 那 么 理 論 上 模 型 應(yīng) 支 持 訓(xùn) 練 一 個(gè) 模態(tài) ， 而

46、測(cè) 試 另 一 個(gè) 模 態(tài) 時(shí) ， 仍 能 獲 得 好 的 分 類 性 能 。 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 多 任 務(wù) 學(xué) 習(xí) 中 的 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 多 任 務(wù) 學(xué) 習(xí) 中 的 應(yīng) 用 在 深 度 學(xué) 習(xí) 模 型 中 ， 對(duì) 于 相 關(guān) 任 務(wù) 的 聯(lián) 合 學(xué) 習(xí) ，往 往 會(huì) 取 得 較 好 的 特 征 表 達(dá) ； 多 任 務(wù) 聯(lián) 合 學(xué) 習(xí) ， 能 夠 增 強(qiáng) 損 失 函 數(shù) 的 作 用 效 能； 比 如 ： 單 獨(dú) 進(jìn) 行 人 臉 檢 測(cè) 會(huì) 比 較 難 （ 光 照 、 遮 擋 等 因 素 ）， 但 是 當(dāng) 人 臉 檢 測(cè)

47、 與 人 臉 識(shí) 別 這 兩 個(gè) 相 關(guān) 的 任 務(wù) 聯(lián) 合 學(xué) 習(xí)時(shí) ， 人 臉 檢 測(cè) 的 難 度 反 而 降 低 了 。 深 度 學(xué) 習(xí) 的 應(yīng) 用o 基 于 深 度 學(xué) 習(xí) 的 遷 移 學(xué) 習(xí) 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 基 于 深 度 學(xué) 習(xí) 的 遷 移 學(xué) 習(xí) 應(yīng) 用 特 征 共 享 深 度 學(xué) 習(xí) 的 應(yīng) 用o 基 于 深 度 學(xué) 習(xí) 的 遷 移 學(xué) 習(xí) 應(yīng) 用 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 大 尺 度 數(shù) 據(jù) 集 上 的 應(yīng) 用p 大 尺 度 數(shù) 據(jù) 集 ： 樣 本 總 數(shù) 100M, 類 別 總 數(shù) 10K, 特 征 維 度 10K 深 度 學(xué)

48、習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 大 尺 度 數(shù) 據(jù) 集 上 的 應(yīng) 用 模 型 的 并 行 運(yùn) 算 化 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 大 尺 度 數(shù) 據(jù) 集 上 的 應(yīng) 用 分 布 式 深 度 學(xué) 習(xí) 模 型 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 大 尺 度 數(shù) 據(jù) 集 上 的 應(yīng) 用 分 布 式 深 度 學(xué) 習(xí) 模 型 深 度 學(xué) 習(xí) 的 應(yīng) 用o 深 度 學(xué) 習(xí) 在 大 尺 度 數(shù) 據(jù) 集 上 的 應(yīng) 用 參 數(shù) 個(gè) 數(shù) 達(dá) 到 1.15 billion， 若 不 能 并 行 優(yōu) 化 參 數(shù) ， 任 務(wù) 無 法 完 成 ！ 深 度 學(xué) 習(xí) 的 應(yīng) 用o

49、 深 度 學(xué) 習(xí) 的 State-of-the-art 展 望未 來 需 解 決 的 問 題 ：o 對(duì) 于 一 個(gè) 特 定 的 框 架 ， 多 少 維 的 輸 入 它 可 以 表 現(xiàn) 得 較 優(yōu) ？o 對(duì) 捕 捉 短 時(shí) 或 者 長(zhǎng) 時(shí) 間 的 時(shí) 間 依 賴 ， 哪 種 架 構(gòu) 才 是 有 效 的？o 如 何 對(duì) 于 一 個(gè) 給 定 的 深 度 學(xué) 習(xí) 架 構(gòu) ， 融 合 多 種 感 知 的 信 息？o 如 何 分 辨 和 利 用 學(xué) 習(xí) 獲 得 的 中 、 高 層 特 征 語 義 知 識(shí) ？o 有 什 么 正 確 的 機(jī) 理 可 以 去 增 強(qiáng) 一 個(gè) 給 定 的 深 度 學(xué) 習(xí) 架 構(gòu)

50、，以 改 進(jìn) 其 魯 棒 性 和 對(duì) 變 形 及 數(shù) 據(jù) 丟 失 的 不 變 性 ？o 模 型 方 面 是 否 有 其 他 更 為 有 效 且 有 理 論 依 據(jù) 的 深 度 模 型 學(xué)習(xí) 算 法 ？ o 是 否 存 在 更 有 效 的 可 并 行 訓(xùn) 練 算 法 ？ 參 考 文 獻(xiàn)o Tutorials & Background Material Yoshua Bengio, Learning Deep Architectures for AI, Foundations and Trends in Machine Learning, 2(1), pp.1-127, 2009. LeCun,

51、Chopra, Hadsell, Ranzato, Huang: A Tutorial on Energy-Based Learning, in Bakir, G. and Hofman, T. and Scholkopf, B. and Smola, A. and Taskar, B. (Eds), Predicting Structured Data, MIT Press, 2006o Convolutional Nets LeCun, Bottou, Bengio and Haffner: Gradient-Based Learning Applied to Document Recog

52、nition, Proceedings of the IEEE, 86(11):2278-2324, November 1998 Jarrett, Kavukcuoglu, Ranzato, LeCun: What is the Best Multi-Stage Architecture for Object Recognition?, Proc. International Conference on Computer Vision (ICCV09), IEEE, 2009 Kavukcuoglu, Sermanet, Boureau, Gregor, Mathieu, LeCun: Lea

53、rning Convolutional Feature Hierachies for Visual Recognition, Advances in Neural Information Processing Systems (NIPS 2010), 23, 2010 參 考 文 獻(xiàn)o Unsupervised Learning ICA with Reconstruction Cost for Efficient Overcomplete Feature Learning. Le,Karpenko, Ngiam, Ng. In NIPS 2011 Rifai, Vincent, Muller,

54、 Glorot, Bengio, Contracting Auto-Encoders: Explicit invariance during feature extraction, in: Proceedings of the Twenty-eight International Conference on Machine Learning (ICML11), 2011 - Vincent, Larochelle, Lajoie, Bengio, Manzagol, Stacked Denoising Autoencoders: Learning Useful Representations

55、in a Deep Network with a Local Denoising Criterion, Journal of Machine Learning Research, 11:3371-3408, 2010. - Gregor, Szlam, LeCun: Structured Sparse Coding via Lateral Inhibition, Advances in Neural Information Processing Systems (NIPS 2011), 24, 2011 - Kavukcuoglu, Ranzato, LeCun. Fast Inference

56、 in Sparse Coding Algorithms with Applications to Object Recognition. ArXiv 1010.3467 2008 - Hinton, Krizhevsky, Wang, Transforming Auto-encoders, ICANN, 2011o Multi-modal Learning Multimodal deep learning, Ngiam, Khosla, Kim, Nam, Lee, Ng. In Proceedings of the Twenty-Eighth International Conferenc

57、e on Machine Learning, 2011. 參 考 文 獻(xiàn)o Locally Connected Nets Gregor, LeCun “Emergence of complex-like cells in a temporal product network with local receptive fields” Arxiv. 2009 Ranzato, Mnih, Hinton “Generating more realistic images using gated MRFs”NIPS 2010 Le, Ngiam, Chen, Chia, Koh, Ng “Tiled

58、convolutional neural networks” NIPS 2010o Distributed Learning Le, Ranzato, Monga, Devin, Corrado, Chen, Dean, Ng. Building High-Level Features Using Large Scale Unsupervised Learning. International Conference of Machine Learning (ICML 2012), Edinburgh, 2012.o Papers on Scene Parsing Farabet, Coupri

59、e, Najman, LeCun, “Scene Parsing with Multiscale Feature Learning, Purity Trees, and Optimal Covers”, in Proc. of the International Conference on Machine Learning (ICML12), Edinburgh, Scotland, 2012. - Socher, Lin, Ng, Manning, “Parsing Natural Scenes and Natural Language with Recursive Neural Netwo

60、rks”. International Conference of Machine Learning (ICML 2011) 2011. 參 考 文 獻(xiàn)o Papers on Object Recognition - Boureau, Le Roux, Bach, Ponce, LeCun: Ask the locals: multi-way local pooling for image recognition, Proc. ICCV 2011 - Sermanet, LeCun: Traffic Sign Recognition with Multi-Scale Convolutional

61、 Networks, Proceedings of International Joint Conference on Neural Networks (IJCNN11) - Ciresan, Meier, Gambardella, Schmidhuber. Convolutional Neural Network Committees For Handwritten Character Classification. 11th International Conference on Document Analysis and Recognition (ICDAR 2011), Beijing

62、, China. - Ciresan, Meier, Masci, Gambardella, Schmidhuber. Flexible, High Performance Convolutional Neural Networks for Image Classification. International Joint Conference on Artificial Intelligence IJCAI-2011.o Papers on Action Recognition Learning hierarchical spatio-temporal features for action

63、 recognition with independent subspace analysis, Le, Zou, Yeung, Ng. CVPR 2011o Papers on Segmentation Turaga, Briggman, Helmstaedter, Denk, Seung Maximin learning of image segmentation. NIPS, 2009. 參 考 文 獻(xiàn)o Papers on Vision for Robotics Hadsell, Sermanet, Scoffier, Erkan, Kavackuoglu, Muller, LeCun

64、: Learning Long-Range Vision for Autonomous Off-Road Driving, Journal of Field Robotics,26(2):120-144, February 2009,o Deep Convex Nets & Deconv-Nets Deng, Yu. “Deep Convex Network: A Scalable Architecture for Speech Pattern Classification.” Interspeech, 2011. - Zeiler, Taylor, Fergus Adaptive Decon

65、volutional Networks for Mid and High Level Feature Learning. ICCV. 2011o Papers on Biological Inspired Vision Serre, Wolf, Bileschi, Riesenhuber, Poggio. Robust Object Recognition with Cortex-like Mechanisms, IEEE Transactions on Pattern Analysis and Machine Intelligence, 29, 3, 411-426, 2007. - Pin

66、to, Doukhan, DiCarlo, Cox A high-throughput screening approach to discovering good forms of biologically inspired visual representation. PLoS Computational Biology. 2009 參 考 文 獻(xiàn)o Papers on Embedded ConvNets for Real-Time Vision Applications Farabet, Martini, Corda, Akselrod, Culurciello, LeCun: NeuFlow: A Runtime Reconfigurable Dataflow Processor for Vision, Workshop on Embedded Computer Vision, CVPR 2011o Papers on Image Denoising Using Neural Nets Burger, Schuler, Harmeling: Image Denoisng: Ca