南京師范大學多媒體原理與技術(shù)教學課件,南京師范大學,多媒體,原理,技術(shù),教學,課件 OutlinenThe Contents：多媒體技術(shù)是以計算機為中心，把聲音、圖像和視頻等多媒體信息集成在一起的技術(shù)，主要研究計算機以數(shù)字形式對多媒體信息進行處理（采集、轉(zhuǎn)換、編碼、壓縮）、存儲（理論方法與材料）和傳輸?shù)囊恍┚唧w問題nThe Significance：隨著多媒體技術(shù)的發(fā)展，聲情并茂的多媒體計算機已應用于日常生活的各個方面，作為一個教育技術(shù)專業(yè)的大學生，不但要會用，還要了解它的工作原理，并進一步進行深入的研究，有所建樹nThe Objective：（1）掌握有關(guān)基本原理（2）熟練地使用多媒體計算機和網(wǎng)絡(luò)來獲取知識，利用這個新型工具開展科學研究和學術(shù)交流.Textbook and ReferencesnTextbook:q多媒體應用技術(shù) 王蔚 電子工業(yè)出版社nReferences：q多媒體技術(shù)基礎(chǔ) 清華大學出版社 林福宗qPC多媒體技術(shù) 南開大學出版社 王士元q多媒體技術(shù)簡明教程 電子工業(yè)出版社 洪小達nClass Teaching：（1）theory explanation；（2）discussion；（3）requirements：no absence and be quiet（安排做專題講座）Multimedia Application Technology Teaching（1）n隨著多媒體技術(shù)的日趨成熟，并在工作生活中廣泛應用，熟悉多媒體技術(shù)的有關(guān)知識、掌握多媒體軟件開發(fā)技術(shù)已成為計算機技術(shù)人員不可缺少的能力之一。因此，在近幾年來，很多高校理工科專業(yè)都開設(shè)了多媒體技術(shù)這門課程，其它專業(yè)也開設(shè)了面向操作的多媒體技術(shù)應用課程。但是多媒體技術(shù)包涵的內(nèi)容多而雜，如何編排教學內(nèi)容，選擇教學方法成為課程的突出問題。n當前多媒體技術(shù)教材主要包括兩大類，一類是偏重多媒體工具軟件操作和多媒體配置介紹的基礎(chǔ)類教材，這類教材隨著近年計算機知識的普及和大學生水平的提高，難以成為一門獨立課程教材使用。另一類是偏重多媒體核心技術(shù)的理論教材，這類教材包括了多媒體技術(shù)的主要知識和關(guān)鍵技術(shù)，但一般編寫過于理論化，與實踐脫節(jié)，難以被學生掌握接受。Multimedia Application Technology Teaching（2）n本書以行動體系建構(gòu)知識為指導，將多媒體技術(shù)的主要內(nèi)容根據(jù)實踐應用進行重構(gòu)，編寫上把多媒體技術(shù)的主要理論知識與應用實踐相結(jié)合，在介紹基本理論知識的基礎(chǔ)之上，更側(cè)重于多媒體的高級應用開發(fā)技術(shù)，深入淺出地向讀者介紹了多媒體技術(shù)的一些前沿技術(shù)包括語音合成、圖像處理、語音識別、圖像識別、多媒體網(wǎng)絡(luò)等，并且每章都配備了相應的開發(fā)實例，將源程序刻錄成了光盤，便于讀者進行更深一步的學習。Contents of Course（1）n第一章介紹多媒體技術(shù)的概要，多媒體的定義、多媒體技術(shù)的發(fā)展歷程、關(guān)鍵技術(shù)及其應用；n第二章介紹語音合成技術(shù)，主要講述了語音合成的基本原理與關(guān)鍵技術(shù)；n第三章聲音編碼技術(shù)，聲音信號的數(shù)字化、聲卡的知識以及常用音頻工具軟件的介紹；n第四章語音識別技術(shù)，語音識別基本原理以及主要算法；n第五章是圖像的表示技術(shù)，圖像處理的基本知識；n第六章圖像編碼技術(shù)，圖像編碼基本知識和基本的方法；n第七章是圖像識別技術(shù)，圖像識別技術(shù)的基本原理及圖像識別的一個重要應用手寫體數(shù)字識別；n第八章是數(shù)字視頻壓縮技術(shù)，數(shù)字視頻壓縮技術(shù)的基本知識及其原理；n最后一章是網(wǎng)絡(luò)視頻通信技術(shù)，多媒體通信系統(tǒng)、網(wǎng)絡(luò)流媒體技術(shù)以及視頻會議系統(tǒng)。Contents of Course（2）n從第二章到第九章，在每章的最后一個章節(jié)，都有該章的一個具體應用實例。源碼程序打包后刻錄成光盤。為方便學生學習，在每章的開頭都有一個本章的學習目標，以便學生從整體上把握該章的內(nèi)容，在每章的最后都有思考題，方便學生對該章的進行深一步的思考和探索Chapter One Introduction of Multimedian1.1Multimediatechnologyoverviewq多媒體是融合兩種或者兩種以上媒體的一種人-機交互式信息交流和傳播媒體，使用的媒體包括文字、圖形、圖像、聲音、動畫和電視圖像(video)等。q多媒體技術(shù)是以計算機為中心，把聲音、圖像和視頻等多媒體信息集成在一起的技術(shù)。Category of MultimediaqThesenseofsight：看/顯示qThesenseofhearing：說/聽qThesenseoftouch：感覺（溫度、硬度等）/被感覺qThesenseofsmell：辨別氣味/發(fā)出氣味qThesenseoftaste：辨別口味/產(chǎn)生口味The Sense of Sightq看：攝像、照相等。數(shù)字圖像/視頻。q看懂：圖像識別：指紋識別、人臉識別、文字識別Image and Graphics我想來張彩色的 z z z zVideo and AnimationnVideoAnimationImage showprojectormonitorprinterHeliodisplayM2和M2i能夠?qū)⒎侨D像投射在空氣中，這很像3D顯示器，但它又使用了部分投影機原理，所以目前還不清楚它應該屬于是投影機還是顯示器。HeliodisplayM2和M2i采用USB接口，重35磅，能夠提供標準SVGA(800 x600)、最高1280 x1024分辨率的顯示能力。IO2公司聲稱這種顯示器對比度可高達2000:1。不過這種技術(shù)是將圖像投射在熱空氣中，直接的日光照射或在周圍。The Sense of HearnSpeaking播放:音箱說話：語音合成（TTS)nHearing聽見：錄音聽懂：語音識別Audio（聲音）nAudiodigitizationMusicsynthesisMIDInVoicedigitizationVoicesynthesisTTSTTSLondon celebrated the start of the Chinese Year of the Monkey on Sunday 25 January 2004,with a programme of events spanning Leicester Square,Chinatown,and the newly renovated Trafalgar Square.The square was packed with around 41,230 Londoners throughout the day.The Mayor was given the honour of dotting the eyes of the dragon-symbolising the waking of the mystical beast to mark the new Year of the Monkey.nLe retour du public dans les salles,malgr lexplosion du cinma en chambre,via le DVD,profitera-t-il seulement aux mastodontes,multiplexes et multisalles ou bien les Rex,Arlequin et autres Palace,ces anciens cinmas de quartier,aujourdhui largement subventionns par les villes,auront-ils leur part de gteau?On estime quen Ile-de-France environ 60%des tablissements de cinma relvent,au moins partiellement,de linitiative publique.Mais les chiffres sont trompeurs.Les cinmas de quartier,sauvs,dans les annes 1970-1980,par les municipalits,ne comportent trs souvent quune seule salle.Do leur faible part de march.En Seine-Saint-Denis,par exemple,sans doute le dpartement dIle-de-France o le rseau ancien de cinmas publics est le plus dynamique,ces derniers nont reprsent,en 2003,que 20%des entres.北京是著名的游覽勝地，主要景點有：長城，故宮，頤和園，世界公園等。nEltiemposemostrarnotablementemscalmadoduranteelmircoles,puestoqueelfrentesealejarhaciaelsur.DescargarlluviastodavaenExtremadura,enAndalucayenCastillaLaMancha.Lastemperaturasbajarndeformamuynotable,especialmenteenlamitadeste.Elviento,todavasoplardetramontanamuyintensoalnortedelMediterrneo.The Sense of Smell：n2005美國：狗鼻子的嗅覺特別靈敏，能夠區(qū)分二百萬種不同濃度 的氣味?！澳ёΑ迸艔棛C器人有一項功能可謂獨特，就是它的嗅覺比狗還靈。美軍曾在阿富汗曾經(jīng)使用“魔爪”機器人嗅出過致命的化學與放射性物質(zhì)，在實戰(zhàn)中大顯神通，深得美軍青睞。n2006日本：RI-MAN機器人能辨別八種不同氣味，分辨聲音來源方面，通過視覺能力跟隨人的面孔移動。向井敏春表示：未來機器人還能通過呼吸來判斷護理對象的健康狀況。n2007年英國：通過簡單的化學反應，機械鼻現(xiàn)在已經(jīng)能判斷行李中是否有炸彈還能用于檢查空氣是否受到了污染。The Sense of Touch：可感覺、可以被感覺n2006日本：日本東京大學研究小組近日開發(fā)出表面密布傳感器的人造電子皮膚，能感知外在物體的壓力。這一成果可以使將來機器人的皮膚像人的皮膚一樣有感覺。如果將壓力傳感器換成溫度傳感器，機器人就能感知溫度變化。由橡膠、導電石墨和新型晶體管組成的電子皮膚，它使機器人的觸覺變得更為靈敏。日本科學家開發(fā)出了一種幾乎跟真人皮膚一樣敏感的電子“皮膚”，使機器人的觸覺變得越來越成熟。發(fā)明者表示這種對壓力非常敏感的電子皮膚還可被應用到體育、安全等領(lǐng)域。n2008，英國的Shadow機器人公司發(fā)布了一款用聚亞安酯制成的機器人觸覺手指。有拇指和普通手指兩種形狀，每個手指表面分布有34或22個獨立的觸覺感應器，采用了QTC（Quantum Tunnelling Composite，量子通道合成）技術(shù)，最大限度的增強了感應器的壓力感知范圍，每個感應器能夠承受并感應0.125牛的力量。有了它，機器人就能夠獲得近似于人類的觸覺能力，從而促進人工智能系統(tǒng)的開發(fā)。The Sense of Touch觸摸視覺觸摸視覺 盲人專用電腦盲人專用電腦The Sense of Tasten辨別葡萄酒品質(zhì)優(yōu)劣、由一滴酒判斷出葡萄酒品牌歷來是品酒師的工作。但是，日本最新研發(fā)的一種味覺機器人卻具有相同能力。與人類品酒師不同，這些具有味覺的機器人可以在不開啟瓶蓋的情況下，辨別出葡萄酒的口感及種類。這種機器人由日本電氣公司和三重大學合作研制。據(jù)美聯(lián)社日報道，兩家機構(gòu)于近日聯(lián)合展出了歷時兩年完成的科研成果味覺機器人。這種味覺機器人可以辨別出幾十種葡萄酒、奶酪和開胃食品。Features of Multimedia Computer（1）n融合兩種以上的媒體：q文字、聲音、圖象、電視、動畫。q自然媒體和電腦生成的媒體。q示例：電子圖書n人-機交互式信息傳播媒體。q示例：動物園n以數(shù)字形式進行處理、存儲和傳輸。Features of Multimedia Computer（2）nExamples：q讀心術(shù)q左轉(zhuǎn)右轉(zhuǎn)q心理測試The Expression of MultimediaMultimediaApplicationSoftware多媒體字典互動教學多彩顏色MultimediaInformationRetrievalThe Technology of Multimedia Communication（1）q多媒體通信是一種綜合性技術(shù)，涉及多媒體、計算多媒體通信是一種綜合性技術(shù)，涉及多媒體、計算機和通信等領(lǐng)域，長期以來一直是多媒體應用的一機和通信等領(lǐng)域，長期以來一直是多媒體應用的一個重要方面。個重要方面。q由于多媒體的傳輸涉及到圖像、聲音和數(shù)據(jù)等多個由于多媒體的傳輸涉及到圖像、聲音和數(shù)據(jù)等多個方面，需要完成大數(shù)據(jù)量的連續(xù)媒體信息的實時傳方面，需要完成大數(shù)據(jù)量的連續(xù)媒體信息的實時傳輸、時空同步和數(shù)據(jù)壓縮，如語音和視頻有較強的輸、時空同步和數(shù)據(jù)壓縮，如語音和視頻有較強的實時性要求，它容許出現(xiàn)某些字節(jié)的錯誤，但不能實時性要求，它容許出現(xiàn)某些字節(jié)的錯誤，但不能容忍任何延遲；容忍任何延遲；The Technology of Multimedia Communication（2）n隨著多媒體技術(shù)的發(fā)展成熟，再加上數(shù)據(jù)網(wǎng)絡(luò)、隨著多媒體技術(shù)的發(fā)展成熟，再加上數(shù)據(jù)網(wǎng)絡(luò)、通信網(wǎng)絡(luò)和有線電視網(wǎng)三網(wǎng)合一的趨勢愈發(fā)明通信網(wǎng)絡(luò)和有線電視網(wǎng)三網(wǎng)合一的趨勢愈發(fā)明顯，多媒體網(wǎng)絡(luò)應用愈發(fā)多樣化。顯，多媒體網(wǎng)絡(luò)應用愈發(fā)多樣化。n多目標廣播技術(shù)，影視點播，電視會議，遠程多目標廣播技術(shù)，影視點播，電視會議，遠程教育系統(tǒng)教育系統(tǒng)Intelligent Multimedia TechnologynComputerGamesq教育游戲nRobertMatchq中國青少年機器人比賽q中國大學生機器人比賽q國際機器人比賽nWROnFLLnVEXn機器人足球世界杯nMpeg-1;Mpeg-2均采用圖像塊單元，進行變換、量化、移動補償?shù)忍幚韓電視圖像的數(shù)據(jù)率（電視圖像的數(shù)據(jù)率（P154）nITU-R BT.601標準數(shù)據(jù)率nVCD電視圖象數(shù)據(jù)率的估算 nDVD電視圖象數(shù)據(jù)率的估算 Chapter Ten MPEG TV nData Compression Algorithmn電視圖象壓縮利用的各種冗余信息（電視圖象壓縮利用的各種冗余信息（P156表）表）nMPEG專家組定義的三種圖象：幀內(nèi)圖象專家組定義的三種圖象：幀內(nèi)圖象I(intra)，預預測圖象測圖象P(predicted)和雙向預測圖象和雙向預測圖象B(bidirectionally interpolated)，典型的排列如圖典型的排列如圖10-01所示（所示（P156）Chapter Ten MPEG TV n圖10-02Chapter Ten MPEG TV nPrediction of P image compression algorithm 預測圖象的編碼也是以圖象宏塊(macroblock)為基本編碼單元，一個宏塊定義為IJ象素的圖象塊，一般取1616。預測圖象P使用兩種類型的參數(shù)來表示：一種參數(shù)是當前要編碼的圖象宏塊與參考圖象的宏塊之間的差值差值，另一種參數(shù)是宏塊的移動矢量Chapter Ten MPEG TV 要使預測圖象更精度，就要求找到與參考宏塊MRJ最佳匹配的預測圖象編碼宏塊MPI。所謂最佳匹配是指這兩個宏塊之間的差值最小。Chapter Ten MPEG TV n假設(shè)編碼圖象宏塊MPI是參考圖象宏塊MRJ的最佳匹配塊，它們的差值就是這兩個宏塊中相應象素值之差。對所求得的差值進行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)，Cr和Cb分量值，然后仿照JPEG壓縮算法對差值進行編碼，計算出的移動矢量也要進行霍夫曼編碼。Chapter Ten MPEG TV n10-04Chapter Ten MPEG TV n雙向預測圖象雙向預測圖象B的壓縮編碼算法的壓縮編碼算法Chapter Ten MPEG TV 10.2.5 The Structure of TV Imagen一個典型的I、P、B圖象安排如圖所示。編碼參數(shù)為：幀內(nèi)圖象I的距離為N=15，預測圖象(P)的距離為M=3。10.3 MPEG-2 Dispose and Gradesn在MPEG-2標準化階段，考慮到要適應不同數(shù)據(jù)速率設(shè)備的應用，MPEG專家組定義了三種質(zhì)量不同的編碼方式：信噪比可變性(SNR/Signal-to-Noise Scalability)，空間分辨率可變性(Spatial Scalability)和時間分辨率可變性(Temporal Scalability)。10.4 MPEG-4 TV Image Encoding nMPEG Video專家組建立了一個用來開發(fā)圖象和電視圖象編碼技術(shù)的模型，叫做“試驗模型(Test Model)”或者叫做“驗證模型(VMVerification Model)”。這個模型描述了一個核心的編碼算法平臺，包括編碼器、解碼器以及位流(bitstream)的語法和語義.10.4.1 Concepts of television image and object zonenMPEG-4 Video編碼算法支持由MPEG-1和MPEG-2提供的所有功能，包括對各種輸入格式下的標準矩形圖象、幀速率、位速率和隔行掃描圖象源的支持。MPEG-4 Video算法的核心是支持內(nèi)容基(content-based)的編碼和解碼功能，也就是對場景中使用分割算法抽取的單獨的物理對象進行編碼和解碼。MPEG-4 Video還提供管理這些電視內(nèi)容的最基本方法。10.4.2 TV Image Encoding ProjectnMPEG-4 Video驗證模型對每個電視圖象對象(VO)的形狀、移動和紋理信息進行編碼形成單獨的VOL層，以便能夠單獨對電視圖象對象(VO)進行解碼。n如果輸入圖象序列只包含標準的矩形圖象，就不需要形狀編碼，在這種情況下，MPEG-4 Video使用的編碼算法結(jié)構(gòu)也就與MPEG-1和MPEG-2使用的算法結(jié)構(gòu)相同。TV Image Encoding ProjectnMPEG-4 Video驗證模型對每個電視圖象對象區(qū)(VOP)進行編碼使用的壓縮算法是在MPEG-1和MPEG-2 Video標準的基礎(chǔ)上開發(fā)的，它也是以圖象塊為基礎(chǔ)的混合DPCM和變換編碼技術(shù)(hybrid DPCM/Transform coding)。MPEG-4編碼算法也定義了幀內(nèi)電視圖象對象區(qū)I-VOP(Intra-Frame VOP)編碼方式和幀間電視圖象對象區(qū)預測P-VOP(Inter-frame VOP prediction)編碼方式，它也支持雙向預測電視圖象對象區(qū)B-VOP(B-directionally predicted VOP)方式。在對電視圖象對象區(qū)(VOP)的形狀編碼之后，顏色圖象序列分割成宏塊進行編碼.TV Image Encoding ProjectTV Image Encoding Projectn圖描繪了MPEG-4 Video的編碼算法，用來對矩形和任意形狀的輸入圖象序列進行編碼。這個基本編碼算法結(jié)構(gòu)圖包含了移動矢量(motion vector)的編碼，以及以離散余弦變換為基礎(chǔ)的紋理編碼。10.4.3 Variable Coding of TV Image resolutionn“電視圖象分辨率”是指電視圖象空間分辨率(spatial resolution)和時間分辨率(temporal resolution)?？臻g分辨率是指一幀圖象包含的行數(shù)與每行顯示的象素數(shù)之乘積，而時間分辨率是指每秒種顯示或者傳輸?shù)膱D象幀數(shù)。Variable Coding of TV Image resolutionnMPEG-2也有電視圖象分辨率可變編碼功能，但它是以圖象的幀為基礎(chǔ)進行編碼。而MPEG-4電視圖象分辨率可變編碼是以任意形狀的電視圖象對象區(qū)(VOP)為基礎(chǔ)進行編碼。對那些沒有能力或者不愿意接收高分辨率圖象的接收器，它可以接收分辨率比較低的電視圖象，降低空間分辨率或者時間分辨率意味降低圖象的質(zhì)量。Variable Coding of TV Image resolutionnSpatial Scalability and Temporal Scalability的實現(xiàn)方法類似。圖描述了多種分辨率電視圖象編碼(multiscale video coding)方案。該方案提供三個層次的編碼/解碼，每一層都支持在不同空間分辨率下進行編碼/解碼。從圖中可以看到，多種空間分辨率的實現(xiàn)是通過降低輸入電視信號的采樣率來獲得的。10.5 HDTV Format n現(xiàn)在我們使用的電視格式再加上新制定的電視格式歸納在圖10-16中。美國把1280720格式稱為高級電視ATV(advanced television)，把19201035稱為高清晰度電視HDTV(high definition television)。HDTV FormatHDTV Formatn1995年11月28日美國高級電視委員會ATSC(Advanced Television Systems Committee)向FCC咨詢委員會(FCC Advisory Committee)提交了數(shù)字電視標準(Digital Television Standard)，并推薦作為高級電視廣播標準。HDTV FormatHDTV Formatn電視圖象壓縮以MPEG-2 Video標準為基礎(chǔ)，采樣基本型配置(Main Profile)，等級從基本級（Main Level)到高級(High Level)。聲音壓縮以AC-3系統(tǒng)為基礎(chǔ)，采樣頻率為48kHz，支持5個環(huán)繞聲和1個超低頻聲道。該規(guī)格是1996年介紹的，由于近年來MPEG電視和聲音標準的研究已有新的進展，因此該規(guī)格有可能在實行過程中會作修改。HDTV Formatn電視圖象數(shù)據(jù)壓縮的依據(jù)是什么？nMPEG-1編碼器輸出的電視圖象的數(shù)據(jù)率大約是多少？nMPEG專家組在制定MPEG-1/-2 Video標準時定義了哪幾種圖象？哪種圖象的壓縮率最高？哪種圖象的壓縮率最低？n有人認為“圖象壓縮比越高越好”。你對這種說法有何看法？n有人說“MPEG-1編碼器的壓縮比大約是200:1”。這種說法對不對？為什么？n說明電視規(guī)格MPML和HPHL各自的含義。n電視圖象的空間分辨率和時間分辨率是什么意思？Multimedia Network Application and Exchange TechnologyThe applications on the internet can be roughly divided into two kinds,one kind is text data communication,including the file transfer,Email,Telnet,Network News and Web,etc.Another kind is the voice and television image communications.Usually voice communications and image communication network applications are called multimedia networking application.14.1 Multimedia Network Application(1)現(xiàn)場聲音和電視廣播或者預錄制內(nèi)容的廣播：(2)聲音點播(audio on demand)(3)影視點播(video on demand)，也稱交互電視(Interactive Television)(4)因特網(wǎng)電話(Internet telephony)(5)分組實時電視會議(group real-time video conferencing)14.1.2 Application Classification1.現(xiàn)場交互應用(live interactive applications)2.交互應用(interactive applications)3.非實時交互應用(non-interactive applications)14.1.3 Problems in Application DevelopmentTwo problems to solve in Multimedia Network Application：提高網(wǎng)絡(luò)帶寬(BW)，減少時延(delay)，減少抖動(jitter)。Methods of Audio and Video Storage on InternetWEB Server和流式服務器the way of reading voice and video files on client computer 通過WEB瀏覽器把聲音/電視從WEB服務器傳給媒體播放器直接把聲音/電視從WEB服務器送給媒體播放器直接把聲音/電視從多媒體流放服務器傳送給媒體播放器14.2 Methods of Audio and Video storage and getting in the Internet經(jīng)過壓縮的聲音或者電視文件可以放在Web服務器上，或者放在聲音/電視流放服務器(streaming server)上。對于前一種情況，由Web服務器通過HTTP協(xié)議把文件傳送給客戶。對于后一種情況，由流放服務器通過非HTTP協(xié)議把文件傳送給客戶。Sending Audio and Video From Web Server to Media Player Through Web BrowserSending Audio and Video Directly to Media Player Form Web Server.Sending the Voice/Video from exile server to multimedia media player directly14.3 Information Exchange Technology on the Internet遠程通信網(wǎng)絡(luò)可分成兩類網(wǎng)絡(luò)：線路交換網(wǎng)絡(luò)(circuit-switched networks)和信息包交換網(wǎng)絡(luò)(packet-switched networks)。信息包交換網(wǎng)絡(luò)也稱數(shù)據(jù)網(wǎng)絡(luò)(data networks)。在線路交換網(wǎng)絡(luò)中，雙方交換消息期間通道上的全部資源(如鏈路帶寬等)都被租用，而在信息包交換網(wǎng)絡(luò)中雙方交換消息期間不租用通道上的資源，也就是不保留資源，而是根據(jù)需要來使用資源，交換的信息包往往需要等待可用資源。14.3.2 Circuit-SwitchingCircuit-Switching characteristics:at the beginning of communication,physical connection has been by established by line exchange center of,and the maintain time depends on the needs of message exchange.14.3.3 Packet Switching通常人們把任何一個應用數(shù)據(jù)塊稱為消息(message)。在現(xiàn)代的信息包交換(packet switching)網(wǎng)絡(luò)中，發(fā)送端把整個消息分割成許多小的數(shù)據(jù)塊，經(jīng)過包裝并“貼上”標簽之后再發(fā)送到網(wǎng)絡(luò)上。發(fā)送到網(wǎng)絡(luò)上的這種數(shù)據(jù)包裹稱為信息包(packet)。A Simple Packet Switching Network14.3.5 Connection-Oriented Service and Connectionless Service因特網(wǎng)通常叫做TCP/IP網(wǎng)絡(luò)，提供兩種類型的服務：無連接服務(connectionless service)和面向連接服務(connection-oriented service)。任何一種因特網(wǎng)服務都必須使用這兩種服務之一。對這兩種服務，每個信息包都帶有目的地址，而交換機就按照信息包的目的地址來發(fā)送信息包的。14.3.6 Network ClassificationPractice and thinkingWhats the difference of multimedia communication applications and data communications applications On the network?Illustrate multimedia network application characteristics.Using dictionaries or technical reference books to help understand the meaning of packets.Summarize the characteristics of circuit-switching,packet switching and message exchanges.what is the difference of connection-oriented services and connectionless service?Digital Image Technology1.Image encoding 2.Image processing 3.Image RecognationSevral Algorithm l假設(shè)有一個圖片，4*4，共16個像素，分別用AL來代表。我們先觀察這個圖片，只有中間的F,G,J,K這四個像素的“鄰居”是全的。以下以FGJK為被處理像素。1、Color chart to gray imagelYUV的顏色表示方法，知道在這種表示方法中，Y分量的物理含義就是亮度，它含了灰度圖的所有信息，只用Y分量就完全能夠表示出一幅灰度圖來。2、銳化、柔化和擴散、銳化、柔化和擴散l銳化：用當前點與左上角點的絕對值除以2，然后加上當前點的值。F=F+abs(F-A)/2l柔化的算法和銳化相近似，不過作用正好相反，就是把當前點用周圍幾個點的平均值來代替。F=(A+B+C+E+F+G+I+J+K)/9l擴散：隨機取F點周圍的某個顏色，將該點的顏色賦值給F。3、Anaglyph“浮雕”圖象效果是指圖像的前景前向凸出背景。所謂的“浮雕”概念是指標繪圖像上的一個像素和它左上方的那個像素之間差值的一種處理過程，為了使圖像保持一定的亮度并呈現(xiàn)灰色，在處理過程中為這個差值加了一個數(shù)值為128的常量。F=abs(F-K+128).Key programming steps-open image files函數(shù)LoadBmpFile，其功能是從一個.bmp文件中讀取數(shù)據(jù)（包括BITMAPINFOHEADER，調(diào)色板和實際圖象數(shù)據(jù)）將其存儲在一個全局內(nèi)存句柄hImgData中，這個hImgData將在以后的圖象處理程序中用到。同時填寫一個類型為HBITMAP的全局變量hBitmap和一個類型為HPALETTE的全局變量hPalette。這兩個變量將在處理WM_PAINT消息時用到，用來顯示出位圖。Key programming steps-color component extractionlpixel&=frmMain.Picture1.Point(j,i)lred=pixel&Mod 256lgreen=(pixel&And&HFF00)/256&)Mod 256&lblue=(pixel&And&HFF0000)/65536l“&H”表示十六進制數(shù)，而And表示按位與。&HFF是二進制的“1111 1111”，正好覆蓋了低8位，這時用And進行按位與，只會得到低8位，與RGB分量需要的8位正好符合。每個像素點的顏色分量存儲順序是“BGR”。所以最先得到后八位為紅色分量。除以256將二進制右移八位，按位于運算后得到綠色分量。Original picture emboss diffuse soften sharpen 三、三、Image RecognitionlImage Recognition Structure被識圖像圖像數(shù)據(jù)獲取圖像的預處理圖像的特征提取分類判決輸出結(jié)果Image Feature ExtractionSelected characteristics can be divided into the following categories：l灰度、顏色、分光光譜特征；l紋理等空間特征；l面積、周長等幾何方面的特征。l(1)Amplitude characteristics可以在圖像的某一圖像點或者其鄰域做出幅度的測量。例如在（2N+1）*（2N+1）區(qū)域內(nèi)的平均幅度。l(2)Histogram characteristics一副數(shù)字圖像看作是一個二維隨機過程的樣本，可以用聯(lián)合概率分布來描述。l(3)Line and angular featuresl(4)Gray image edge character 圖像的灰度、紋理的改變或不連續(xù)是圖像的重要特征，它可以指示圖像內(nèi)各種物體的實際含量。l5、Texture element 一種或者是幾種圖像基元的組合。l6、permutation and combination of texture element。圖像基元排列的疏密、周期性、方向性的不同，也能夠使圖像的外觀產(chǎn)生極大的變化。Classification Judgmentl分類，就是基于被測量的特征來估計其分類單位應該屬于哪一個類。機器學習主要研究各種分類方法。目前經(jīng)常采用的是統(tǒng)計識別法（Statistical classifier）和其它更多的方法。如基于松弛法的分類方法和使用神經(jīng)網(wǎng)絡(luò)的分類方法。The handwritten numeral recognitionl我們用人眼一下子就能認出這是數(shù)字2，但是如果讓計算機來識別的話就未必那么容易了。我們就要看它的一些特征了。它們的共同特則就是書寫的時候先向右，又向下，又向左。顯然，書寫順序就是一個很重要的特征。Writing orderl3也是有共同的書寫順序。l當然，書寫順序僅僅是一個基本的特征，我們還要提取出其他的特征來。Feature extraction of handwritten numberl對于手寫體數(shù)字根據(jù)抽取特征的方法一般將其分為兩類：統(tǒng)計特征(局部特征和全局特征)和結(jié)構(gòu)特征。統(tǒng)計特征是利用一些統(tǒng)計方法計算得到的，一般包括點密度的估計。矩，特征區(qū)域等等。結(jié)構(gòu)特征則是對字符的筆畫進行分析得到的，能更好地區(qū)分局部細節(jié)，一般包括圓，端點，交叉點，筆畫，輪廓等等。Color Digital Television Basisn8.1.1 Introductionn目前世界上現(xiàn)行的彩色電視制式有三種：NTSC制、PAL制和SECAM制。這里不包括高清晰度彩色電視HDTV(High-Definition television)。數(shù)字彩色電視是從模擬彩色電視基礎(chǔ)上發(fā)展而來的，因此在多媒體技術(shù)中經(jīng)常會碰到這些術(shù)語。8.1.2 Television Scanning and synchronization n掃描有隔行掃描(interlaced scanning)和非隔行掃描（non-interlaced scanning)之分。非隔行掃描也稱逐行掃描。黑白電視和彩色電視都用隔行掃描，而計算機顯示圖像時一般都采用非隔行掃描。Television Scanning and synchronizationnInterlaced scanning and non-interlaced scanningn隔行掃描：總行數(shù)為奇數(shù)q行頻fH,場頻ff，幀頻fFTelevision Scanning and synchronizationn1.PAL制電視的掃描特性q625行/幀，25幀/秒（40ms/幀）q寬高比：4：3q隔行掃描，2場/幀，312.5行/場q顏色模型：YUV2.NTSC Scanning FeturenNTSC彩色電視制的主要特性是：彩色電視制的主要特性是：n(1)525行行/幀幀,30幀幀/秒秒(29.97 fps,33.37 ms/frame)n(2)高寬比：電視畫面的長寬比高寬比：電視畫面的長寬比(電視為電視為4:3；電影為；電影為3:2；高清晰度；高清晰度電視為電視為16:9)n(3)隔行掃描，一幀分成隔行掃描，一幀分成2場場(field)，262.5線線/場場 n(4)在每場的開始部分保留在每場的開始部分保留20掃描線作為控制信息，因此只有掃描線作為控制信息，因此只有485條線的可視數(shù)據(jù)。條線的可視數(shù)據(jù)。Laser disc約約420線，線，S-VHS約約320線線 n(5)每行每行63.5微秒，水平回掃時間微秒，水平回掃時間10微秒微秒(包含包含5微秒的水平同步脈微秒的水平同步脈沖沖)，所以顯示時間是，所以顯示時間是53.5微秒。微秒。n(6)顏色模型：顏色模型：YIQ3.SECAMnSECAM(法文：Sequential Coleur Avec Memoire)制式是法國開發(fā)的一種彩色電視廣播標準，稱為順序傳送彩色與存儲制。這種制式與PAL制類似，其差別是SECAM中的色度信號是頻率調(diào)制(FM)，而且它的兩個色差信號：紅色差(R-Y)和藍色差(B-Y)信號是按行的順序傳輸?shù)?。法國、俄羅斯、東歐和中東等約有65個地區(qū)和國家使用這種制式，圖像格式為4:3，625線，50 Hz，6 MHz電視信號帶寬，總帶寬8MHz。SECAMn SECAM制q與PAL類似n三種制式的比較7.1.3 Color TelevisionnColor television is developed on the basis of black and white television.Color television has many characteristics,such as scanning and synchronization.Color Television8.2 Color TV Signal Categoriesn8.2.1 Composite television signalsq包含亮度信號色差信號和所有定時信號的單一信號q黑白全電視信號q彩色全電視信號n8.2.2 Component television signalsq每個基色分量作為獨立的電視信號。n8.2.3 S-Video signalq亮度和色差分離的一種電視信號q減少亮度信號和色差信號之間的交叉干擾q不需要適用濾波器來分離亮度和色差信號，提高亮度信號的帶寬。qY/C兩條信號線，4針連接器8.3 TV Image Digitizationn8.3.1 Digitization Methodsq從復合彩色電視圖象中分離彩色分量然后數(shù)字化。q數(shù)字化復合彩色電視圖象然后分離。8.3.2 Digitization Standardsn早在20世紀80年代初，國際無線電咨詢委員會CCIR(International Radio Consultative Committee)就制定了彩色電視圖像數(shù)字化標準，稱為CCIR 601標準，現(xiàn)改為ITU-R BT.601標準。n該標準規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時使用的采樣頻率，RGB和YCbCr(或者寫成YCBCR)兩個彩色空間之間的轉(zhuǎn)換關(guān)系等。Digitization Standardn1、顏色空間之間的轉(zhuǎn)換n在數(shù)字域而不是模擬域中RGB和YCbCr兩個彩色空間之間的轉(zhuǎn)換關(guān)系用下式表示nY=0.299R+0.587G+0.114B nCr=(0.500R-0.4187G-0.0813B)+128 nCb=(-0.1687R-0.3313G+0.500B)+128Digitization Standardn2、采樣頻率：qCCIR為NTSC制、PAL制和SECAM制規(guī)定了共同的電視圖像采樣頻率。這個采樣頻率也用于遠程圖像通信網(wǎng)絡(luò)中的電視圖像信號采樣，如ISDN、電視會議、CCITT-H.261及光纖通信等。q對PAL制、SECAM制，采樣頻率fs為 fs=62525N=15625N=13.5MHz,N=864 其中，N為每一掃描行上的采樣數(shù)目。q對NTSC制，采樣頻率fs為 fs=52529.97N=15734N=13.5 MHz,N=858 其中，N為每一掃描行上的采樣數(shù)目。Digitization Standardn3、有效顯示分辨率：有效分辨率720個n對PAL制和SECAM制的亮度信號，每一條掃描行采樣864個樣本；對NTSC制的亮度信號，每一條掃描行采樣858個樣本。對所有的制式，每一掃描行的顯示樣本數(shù)均為720個。n4、ITU-R BT.601q用于對隔行掃描電視圖象進行數(shù)據(jù)化時，對NTSCPAL制式彩色電視的采樣頻率和有效顯示分辨率的規(guī)定。Subsamplingn8.4.1 Subsampling Introductionn對彩色電視圖像進行采樣時，可以采用兩種采樣方法。一種是使用相同的采樣頻率對圖像的亮度信號和色差信號進行采樣，另一種是對亮度信號和色差信號分別采用不同的采樣頻率進行采樣。如果對色差信號使用的采樣頻率比對亮度信號使用的采樣頻率低，這種采樣就稱為圖像子采樣(subsampling)。8.4 Subsampling q對亮度和色差使用不同的采樣頻率q幾種格式：n4：4：4，n4：2：2，n4：1：1，n4：2：0n8.4.2 4:4:4 YCbCr格式n8.4.3 4:2:2 YCbCr格式n8.4.4 4:1:1 YCbCr格式n8.4.5 4:2:0 YCbCr格式qH.261,H.263,MPEG-1qMPEG-2