《人機交互系統(tǒng)的設(shè)計準(zhǔn)備.ppt》由會員分享，可在線閱讀，更多相關(guān)《人機交互系統(tǒng)的設(shè)計準(zhǔn)備.ppt（24頁珍藏版）》請在裝配圖網(wǎng)上搜索。

第三講人機交互系統(tǒng)的設(shè)計準(zhǔn)備 江萍 虛擬環(huán)境是一個封閉的回路系統(tǒng) 虛擬環(huán)境生成系統(tǒng)將生成的用以仿真現(xiàn)實環(huán)境的圖象 音響 和語音 壓力等等通過人機接口系統(tǒng)作用到用戶的感官 并實時通過傳感器測試與跟蹤用戶的行為與反應(yīng) 以便實時調(diào)整生成的序列 用戶則通過交互方式可以實際感知和響應(yīng)虛擬環(huán)境 虛擬環(huán)境人機接口系統(tǒng)中傳感器的作用是將得到的用戶數(shù)據(jù)實時地反饋到虛擬環(huán)境系統(tǒng)中 而虛擬環(huán)境則可以根據(jù)這些數(shù)據(jù)來計算和生成新的視景 音響和作用力 以使生成的系統(tǒng)更加逼真 更加符合自然規(guī)律 并將新的結(jié)果再作用到用戶作為新的激勵 為了設(shè)計一個友好和實用的虛擬環(huán)境系統(tǒng) 有必要對虛擬環(huán)境系統(tǒng)的構(gòu)成 特別是人機交互系統(tǒng)的構(gòu)成 以及其中主要部件和模塊的情況和設(shè)計準(zhǔn)則有一個概括的了解 關(guān)于友好和實用虛擬環(huán)境的解釋 本領(lǐng)域的開創(chuàng)人IvanSutherland最初的想法是利用計算機系統(tǒng)構(gòu)造一個用戶看起來是 景物真實 動作真實 聲音真實 感覺真實 的世界 當(dāng)時強調(diào)的是視覺感知和視覺作用 主要想法是通過顯示設(shè)備 頭盔式顯示器HMD 來解決問題 從虛擬環(huán)境技術(shù)的應(yīng)用中不難發(fā)現(xiàn) 在虛擬環(huán)境的實現(xiàn)中實際要解決的問題遠比僅僅開發(fā)一個顯示設(shè)備要復(fù)雜得多 因為它需要考慮虛擬環(huán)境系統(tǒng)的所有主動和被動的部分 包括視覺 聽覺 觸覺 嗅覺以及回路中人的運動和對環(huán)境的反應(yīng) 由此 我們可以看出這樣的系統(tǒng)絕不只是一個簡單的顯示系統(tǒng) 至少還必須考慮音響系統(tǒng) 力覺作用系統(tǒng) 人類感知的心理學(xué)和生理學(xué)因素 傳感器技術(shù) 實時圖象生成及系統(tǒng)集成 虛擬環(huán)境的基本設(shè)計準(zhǔn)則 設(shè)計一個應(yīng)用虛擬環(huán)境系統(tǒng) 應(yīng)該確定的設(shè)計準(zhǔn)則和策略 所設(shè)計的系統(tǒng)應(yīng)該是開放的虛擬環(huán)境系統(tǒng)是一個集成系統(tǒng) 是一個尚不成熟的技術(shù)學(xué)科 為了使所設(shè)計的系統(tǒng)能夠方便地在絕大多數(shù)硬件平臺上運行 能夠吸收任何新的軟件系統(tǒng)和硬件設(shè)備成為自己的組成部分 能夠方便地在網(wǎng)絡(luò)環(huán)境上運行 必須遵循開放性設(shè)計的原則 所設(shè)計的系統(tǒng)應(yīng)該是面向?qū)ο蟮暮涂芍赜玫奶摂M環(huán)境系統(tǒng)中的軟件子系統(tǒng)和傳感設(shè)備種類繁多 而且新的設(shè)備不斷出現(xiàn) 新的應(yīng)用要求也不斷出現(xiàn) 因此必須采用面向?qū)ο蠹夹g(shù) 將功能塊和功能設(shè)備全部利用面向?qū)ο蠹夹g(shù)進行描述和管理 所設(shè)計的系統(tǒng)應(yīng)該是服從標(biāo)準(zhǔn)化原則必須認真了解每個分支領(lǐng)域在接口和算法方面的標(biāo)準(zhǔn)化現(xiàn)狀 嚴格服從已有的標(biāo)準(zhǔn)化方案 對正在制定中的標(biāo)準(zhǔn)化方案也要充分注意 所選擇的部件或子系統(tǒng)應(yīng)該是有生命力在靈境的商品化領(lǐng)域 特別是虛擬環(huán)境中的傳感設(shè)備和應(yīng)用軟件方面 絕大多數(shù)的公司都是只有幾十個人甚至幾個人 因而如何判斷他們的生命力是一個很困難的問題 用戶的安全和健康放在第一位與其他的計算機應(yīng)用系統(tǒng)不同 虛擬環(huán)境系統(tǒng)使用生成的視景和音響 使用力學(xué)裝置產(chǎn)生虛擬環(huán)境 由于我們對生成的環(huán)境 對人的健康到底會有什么樣的影響和副作用尚不十分清楚 所以在設(shè)計和引入某些設(shè)備時一定要首先考慮可靠性 要仔細計算或調(diào)查對于用戶可能帶來的任何影響 虛擬環(huán)境系統(tǒng)分類 根據(jù)應(yīng)用的要求 虛擬環(huán)境系統(tǒng)可以設(shè)計成非配帶型或配帶型 非配帶型有時也稱為桌上型 其視景是通過計算機的屏幕 或電視屏幕 或投影屏幕 或室內(nèi)的實際景物加上部分計算機生成的環(huán)境來提示給用戶的 音響是通過安放在桌上的或室內(nèi)的音響系統(tǒng)提供的 汽車模擬器 飛機模擬器 電子會議等都屬于非配帶型 非配帶型的優(yōu)點是用戶比較自由 不需要戴頭盔和耳機 不需要戴數(shù)據(jù)手套 不需要戴跟蹤器 可以同時允許多個用戶加人系統(tǒng) 對用戶數(shù)的限制鉸小 但非配帶型系統(tǒng)不容易解決雙目視覺競爭問題 不容易構(gòu)造用戶沉浸于其中的環(huán)境 非配帶型系統(tǒng)中比較重要的功能塊包括計算機系統(tǒng) 顯示系統(tǒng) 攝象機的光學(xué)跟蹤系統(tǒng) 音響系統(tǒng) 甚至網(wǎng)絡(luò)系統(tǒng) 配帶型用封閉的視景和音響系統(tǒng)將用戶的視聽覺與外界隔離 使用戶完全置于計算機生成的環(huán)境之中 計算機通過用戶戴的數(shù)據(jù)手套和跟蹤器可以測試出用戶的運動和姿態(tài) 并將測得的數(shù)據(jù)反饋到生成的視景中 產(chǎn)生人在其中的效果 配帶型系統(tǒng)中比較重要的功能塊包括計算機系統(tǒng) 頭盔式顯示器 圖象生成器 數(shù)據(jù)手套 音響系統(tǒng)和力學(xué)傳感器系統(tǒng)等等 虛擬環(huán)境中人機接口系統(tǒng)的構(gòu)成 在理想的情況下 虛擬環(huán)境系統(tǒng)應(yīng)當(dāng)是多傳感器構(gòu)成的人機交互方便的綜合集成系統(tǒng) 該系統(tǒng)所產(chǎn)生的圖象的分辨率應(yīng)該足夠高 圖象要十分豐富和自然 主要指圖象的色彩和運動圖象的連續(xù)及實時顯示 系統(tǒng)集成不會產(chǎn)生延遲 色彩和立體感要足夠好 音響的立體聲效果要好 語音合成要足夠逼真 力感要足夠細微 用戶使用該系統(tǒng)不會輕易感覺疲勞 系統(tǒng)中的傳感器系統(tǒng)應(yīng)具有多個自由度 延遲時間要足夠短 一個理想的虛擬環(huán)境系統(tǒng)的人機交互系統(tǒng)應(yīng)該包括右圖所示的內(nèi)容 虛擬環(huán)境生成器 立體聲音響合成 語音合成 圖形圖象生成 語音識別 頭眼手身跟蹤 人體語言識別 運動學(xué) 頭盔顯示設(shè)備 多傳感器組 力覺作用裝置 分辨率足夠的立體顯示設(shè)備如頭盔式顯示器HMD 分左右兩屏顯示景物 并經(jīng)過視覺的作用產(chǎn)生立體視覺效果 立體聲音響合成產(chǎn)生以用戶本人為原點的立體聲音響 語音合成根據(jù)文本生成自然語言的語音 圖形與圖象生成產(chǎn)生以用戶本人為視點的包括景物和運動目標(biāo)的視景 頭 眼 手 身體定位與跟蹤確定用戶頭 眼 手和身體的位置與方向 人體語言識別識別用戶的手勢 頭勢 體勢等形體語言信息 語音識別識別用戶的語音命令甚至?xí)拑?nèi)容 觸覺系統(tǒng)提供重力與壓力的反饋 運動學(xué)系統(tǒng)提供用戶和目標(biāo)運動的法則和定律 虛擬環(huán)境生成器根據(jù)內(nèi)部模型和外部環(huán)境的變化計算生成人在回路中的逼真的虛擬環(huán)境 從系統(tǒng)組織上分類 我們可以將虛擬環(huán)境的人機交互子系統(tǒng)分為硬件 軟件 界面和人性因素等四部分 從功能的角度分類 將人機交互子系統(tǒng)分為顯示與表現(xiàn) 生成與合成 感知與識別和人性因素等四部分 虛擬環(huán)境的硬件系統(tǒng) 一個逼真的虛擬環(huán)境 至少包括以下五類設(shè)備或硬件系統(tǒng) 跟蹤系統(tǒng) 觸覺系統(tǒng) 音頻系統(tǒng) 圖象生成系統(tǒng)和顯示裝置 跟蹤系統(tǒng)其功能是確定用戶的頭 手 身體及任意真實世界物體的位置及指向 磁性跟蹤設(shè)備利用小型天線發(fā)出的磁場 由多個接收天線接收信號 控制并通過計算得到三維的位置坐標(biāo)和方向 缺點是容易受其他磁場的干擾和對其他的磁性設(shè)備產(chǎn)生干擾 聲學(xué)跟蹤設(shè)備使用超聲波脈沖 不受磁干擾的影響 缺點是由于超聲波的折射 反射以及衰減會隨著環(huán)境的改變而改變 慣性跟蹤設(shè)備此種技術(shù)在航空 航天和航海導(dǎo)航設(shè)備中已經(jīng)得到廣泛的應(yīng)用 核心技術(shù)是陀螺 此類設(shè)備的靈敏性好 響應(yīng)速度快 機械跟蹤設(shè)備通過精密的機械框架和連接來測量指定點的位置和指向 光學(xué)跟蹤設(shè)備利用攝象機獲取圖象 通過立體視覺計算確定目標(biāo)位置 并通過觀測多個參照點來確定目標(biāo)的表面指向 觸覺系統(tǒng)觸覺系統(tǒng)是指為虛擬世界提供手工探測或操作物體的現(xiàn)實感生成設(shè)備 它利用人的觸覺 力覺及運動神經(jīng)系統(tǒng)與虛擬環(huán)境相互作用 并具有如下三個基本功能 測量用戶手與 或其他部位的位置和受力 以便得到控制虛擬環(huán)境的輸入 顯示受力和位置與 或它們對用戶的空間和時間的分布 通過力學(xué)作用單元產(chǎn)生力矩和力覺作用 當(dāng)前在虛擬環(huán)境的觸覺系統(tǒng)中人們感興趣的研究領(lǐng)域包括 手的位置和指向的測量 應(yīng)用受力和轉(zhuǎn)矩的測量 受力情況和趨勢的顯示 其他激勵分布的測量與分析 手套中的力矩作用元 反作用力作用元 對于觸覺系統(tǒng)的研究課題首先考慮的是機械穩(wěn)定性和可靠性 包括對用戶的安全性 為了避免給出誤提示 反饋系統(tǒng)必須用小于幾毫米的振幅仔細控制振動 為了保證用戶的安全 力覺的作用元必須有完全不會出現(xiàn)危險誤動作的保證 音頻系統(tǒng)一個音頻系統(tǒng) 可劃分為以下主要功能模塊 制作 錄音 再生和加工 由于光盤數(shù)字音頻磁帶與采樣系統(tǒng)的出現(xiàn) 極大地簡化了控制現(xiàn)實世界聲音的再現(xiàn)方式 在這方面僅需進行很少的研究就可以滿足虛擬環(huán)境的需要 通過拉長短音樣本制造出長音效果 改變音高或振幅以響應(yīng)虛擬現(xiàn)象 為激活聲音起動 常用的工具是MIDI界面 借助于現(xiàn)代數(shù)字信號處理裝置的計算能力 很容易實現(xiàn)應(yīng)用中所需要的聲音 在虛擬世界中出現(xiàn)特定的物理現(xiàn)象時 比較困難的問題是應(yīng)該產(chǎn)生什么樣的聲音 如設(shè)想將木塊插進一塊厚鋼中 除非已經(jīng)建立了相應(yīng)的物理聲學(xué)模型 或者建立了完整的規(guī)則庫系統(tǒng) 否則虛擬環(huán)境系統(tǒng)對產(chǎn)生這類尚無定義的聲音是毫無辦法的 現(xiàn)假定這樣的庫存在虛擬環(huán)境內(nèi)部 解決的辦法是把兩種不同密度材料的撞擊和插入聲音的數(shù)字錄音全部拿來 由設(shè)計人員憑經(jīng)驗和直覺選出幾種候選對象 然后再用合成的方法進行加工 定位問題是另一個在音頻系統(tǒng)中受重視的問題 人確定聲源方位的能力要強于僅僅探測到達兩激勵間差別的延遲 很顯然人們可以區(qū)別聲音是高還是低 在聽者前還是后 即使聲音可能來自聽者中間 NASA空軍研究中心的科研人員已研制出一些測量及應(yīng)用與頭部相關(guān)的轉(zhuǎn)換函數(shù)HRTF技術(shù) 在人體的耳道中放人很小的麥克風(fēng) 用許多不同源的位置記錄頭部對脈沖的響應(yīng) 然后將HRTF與聲音激勵一起進行實時卷積計算以產(chǎn)生位置感 通過路徑中不同位置上采用的HRTF間的插值來全面產(chǎn)生軌道 圖形與圖象生成器計算機圖形學(xué)的發(fā)展正迅速改善著多邊形 陰影模型及紋理成象技術(shù)和圖象顯示技術(shù) 目前可視系統(tǒng)的成本在性能不變的條件下以每年大約50 的速度下降 虛擬環(huán)境應(yīng)用中圖象生成器的主要問題是延遲時間 即可視數(shù)據(jù)庫或視覺參數(shù)的變化與屏幕顯示的變化間的延遲與實時顯示要求之間的矛盾 影響延遲的兩個主要因素是視覺參數(shù)變化的計算開銷和將數(shù)據(jù)送給顯示裝置的傳送開銷 大多數(shù)應(yīng)用中的圖形用戶要求等待時間越短越好 因而要求生成器的計算能力越強越好 傳送速度的決定因素 一是數(shù)據(jù)帶寬和主頻速度 二是從數(shù)據(jù)庫中讀取圖形圖象數(shù)據(jù)的速度 關(guān)于前者 絕大多數(shù)圖形結(jié)構(gòu)很大程度上使用管道輸送方法減小傳輸時間 目前需要研究減少讀取等待時間的方法 即使在犧牲多邊形吞吐量的情況下 虛擬環(huán)境也需要較低的等待時間 目前還沒有找到等待時間的閾值數(shù)據(jù) 因此仍需進行研究 模擬病對等待時間的影響在100ms與300ms之間 這是由于所用的圖象生成系統(tǒng)的限制 確定閾值的一種方法是使用全景緩沖器 并根據(jù)頭跟蹤信息 拍攝 預(yù)存景象 PAL顯示設(shè)備的等待時間為20ms NTSC顯示設(shè)備的等待時間約16 7ms 為超過該速度 必須在成象前根據(jù)最近的幾何圖形立即產(chǎn)生掃描線 最新構(gòu)造的具有最小等待時間的虛擬環(huán)境系統(tǒng)從用戶實際移動到用戶移動后的圖象輸出到HMD上仍會有延遲 在所有虛擬環(huán)境系統(tǒng)中 這些輸出將可能導(dǎo)致在知覺質(zhì)量和模擬病方面造成不良影響 因此應(yīng)重視研究低延遲時間的計算機成象系統(tǒng) 而且為克服系統(tǒng)本身延遲及所產(chǎn)生的影響 還應(yīng)研究關(guān)于運動預(yù)測的軟件技術(shù) 可視化顯示設(shè)備可視化顯示設(shè)備主要包括HMD和其他立體顯示器 HMD由光學(xué)器件和一對顯示屏幕組成 對于HMD的設(shè)計 最困難的是如何將光學(xué)器件和顯示屏幕裝入耐用 輕便 人機控制和衛(wèi)生的封殼中 HMD的工作原理是由計算機實時生成視景圖象 通過光學(xué)器件投影到HMD的顯示屏幕上 HMD就可以沉浸在計算機生成的視景圖象中 目前 HMD的顯示器已采用彩色的液晶顯示 但其分辨率還遠遠滿足不了靈境系統(tǒng)中的實際需求的 美國加利福尼亞州航天空間實驗室設(shè)計了一種特殊的設(shè)備 BOOM 解決了HMD的光學(xué)系統(tǒng)重 顯示系統(tǒng)重 顯示分辨率低 視域低等問題 BOOM是一種三維顯示設(shè)備 懸掛在一個重的吊臂上 可自由旋轉(zhuǎn) 使得觀察者不必戴頭盔 計算機通過獲取吊臂的位置信息判斷觀察者的視點 BOOM可以安裝高分辨率的彩色顯示器 取代了低分辨率的彩色液晶顯示器 BOOM的六軸編碼裝置可以測量顯示設(shè)備的位置和方向信息 提供完全六自由度的感覺 一般認為1024 1024或者2048 2048規(guī)模的分辨率才會令用戶滿意 然而這樣規(guī)模的LCD成本太高 華盛頓大學(xué)適人化界面技術(shù)實驗室 正在研制一種用激光束直接在視網(wǎng)膜上成象的顯示設(shè)備 激光微型掃描器的優(yōu)點包括光加權(quán) 非常高的分辨率及高亮度 但是該系統(tǒng)必須能準(zhǔn)確地確定和跟蹤眼睛瞳孔的位置 并且能夠準(zhǔn)確檢測出瞳孔移動和焦距的變化 FakeSpace實驗室提供了一種引人注目的解決HMD辦法 精心設(shè)計的鋼鐵吊桿可用大量光學(xué)器件支持高分辨率的立體CRT顯示器 高的終端產(chǎn)品在紅綠場系列顏色中支持1000行以上的信息 這個吊桿提供機械支持并可進行高速 準(zhǔn)確地跟蹤 虛擬環(huán)境的軟件系統(tǒng) 在人機交互子系統(tǒng)的用戶界面后面 軟件系統(tǒng)必須維護一個虛擬世界的實時模型 該模型能模擬虛擬物體本身的運動和不同虛擬物體間的交互作用關(guān)系 系統(tǒng)同時還必須提供實時計算能力 在虛擬環(huán)境系統(tǒng)的初期開發(fā)活動中 大多數(shù)實驗室都使用程序員較熟悉的非實時的UNIX來實現(xiàn)系統(tǒng) 在UNIX中任何操作都被看成是進程 因而任何一個模擬的內(nèi)核都只能是一個進程 如傳感器輸入 沖突檢測與控制 圖象生成 顯示輸出等等 這些進程可以有高的優(yōu)先級 但這并不足以保證實時性 在實時系統(tǒng)中 進行一次循環(huán)需要一組固定數(shù)量的時鐘周期 或稱為一幀 使用固定的幀頻可簡化微分方程的積分 但對模擬設(shè)計者卻提出了嚴格的要求 同樣實時模擬中的圖象生成也是基于固定的幀頻 以便為每個模擬幀產(chǎn)生一個新的視點 虛擬環(huán)境軟件研究和實現(xiàn)中比較受重視的問題包括 軟件特性許多商品化的軟件系統(tǒng)可用于構(gòu)造一些簡單而專用的虛擬環(huán)境 這種 虛擬環(huán)境外殼 系統(tǒng)具有如下特征 可以接收頭盔跟蹤信息 提供跟蹤手套 指揮棒等驅(qū)動和接收 生成立體顯示 接收并傳輸CAD模型 物理模擬的變化程度 某些虛擬環(huán)境外殼也提供了詳細控制 即將虛擬物體對應(yīng)兩個以上的幾何模型 只要從觀察者的角度注意不到被縮減的多邊形 那么就可以用不太復(fù)雜的模型 有時面向軍事或野外應(yīng)用的外殼包括磁盤到RAM的切換 以便接近觀察點時能產(chǎn)生新的地形區(qū)域 這是由于較大的地形通常含有幾百兆字節(jié)的數(shù)據(jù) 工具從零開始設(shè)計一個虛擬環(huán)境軟件工具是不明智的 實際上很多成熟的模型和軟件工具以及數(shù)據(jù)可以利用 例如3DS軟件 AutoCAD等等 另外 盡可能的利用可從計算機網(wǎng)上得到的免費軟件或許能夠做到事半功倍 例如A1berL大學(xué)通過E mail提供MR系統(tǒng) 華盛頓大學(xué)的適人化界面技術(shù)實驗室也提出了VEOS 該程序的源代碼可通過FIP得到 設(shè)計和構(gòu)造虛擬世界構(gòu)造虛擬世界的主要工作包括模型化和描述生成兩大部分 模型化是對世界動態(tài)性和交互性的抽象 描述生成主要使用CAD建造幾何模型的交互式構(gòu)造 虛擬世界的建模應(yīng)在環(huán)境內(nèi)部變化還是在外部特性考慮尚未統(tǒng)一 利用外部CAD利用內(nèi)部CAD利用共享模型 尋找合適的應(yīng)用對象這是關(guān)系到虛擬環(huán)境技術(shù)能否長久發(fā)展的問題 在過去的若干虛擬環(huán)境研究開發(fā)項目中 成功的經(jīng)驗是根據(jù)應(yīng)用對象的具體情況研究開發(fā)針對性技術(shù) 然后在此基礎(chǔ)之上抽象出一般方法 在虛擬環(huán)境投資方面 軍事模擬遠遠超過了民用 目前最成功的軍事虛擬環(huán)境系統(tǒng)是SIMNET SMNET是DARPA與美國空軍立項構(gòu)造的一個龐大的低成本網(wǎng)絡(luò)化軍隊訓(xùn)練環(huán)境原型 于1989年完成 它的操作結(jié)點分布在美國和歐洲的約十個地點 為了構(gòu)造一個擁有幾萬個實時模擬器的網(wǎng)絡(luò) 美國波士頓BBN公司 SIMNET的主要設(shè)計單位 決定采用遠程運載工具近似 RVA 技術(shù) 其中每個模擬器維護一個記錄 稱為一個RVA 它實際上是其他模擬運載工具的位置和速度的局部近似 同時每個模擬器保持其自身位置的RVA 在模擬幀期間 每個模擬器根據(jù)最新得到的速度矢量 通過改變位置更新所有的RVA 當(dāng)重新計算動態(tài)模型時 每秒15次 將其運載裝置的新位置與局部RVA位置比較 如果差值大于指定閾值 則網(wǎng)絡(luò)會收到新的方向和位置的廣播信息 SIMNET獲得巨大成功的主要原因是由于研制者遵循了一條嚴格的約束策略 稱為 求解80 或有時 求解60 使用所有成熟的技術(shù)計算次優(yōu)解 不做任何要求苛刻的事 迄今為止 所有實時軍事模擬器系統(tǒng)實際上都遵從共同的網(wǎng)絡(luò)協(xié)議 稱為分布式交互模擬DIS SIMNET也采用了這種協(xié)議 并已經(jīng)證明它很有效 客觀上 SIMNET是個大型室內(nèi)游戲 網(wǎng)絡(luò)化是SIMNET的重要特征 它為幾百個人提供了同時玩電視游戲的協(xié)同性 它的成功在于適人化界面 而不單純是技術(shù)方面的進步 虛擬環(huán)境用戶界面系統(tǒng) 菜單和窗口系統(tǒng)是虛擬環(huán)境系統(tǒng)中的主要用戶界面形式 用戶界面系統(tǒng)的研究信息空間的漫游有三種不同意義下的漫游 以樹狀結(jié)構(gòu)構(gòu)成的菜單樹中漫游存在的問題是如何快速地從一個結(jié)點轉(zhuǎn)到另一個結(jié)點而既不會迷路也不必回朔到最近的相同祖先結(jié)點再到達目的結(jié)點 很好組織的異種數(shù)據(jù)庫中的漫游根據(jù)對文字要求的理解 到多媒體數(shù)據(jù)庫中將所有與主題有關(guān)的錄象資料調(diào)出來 利用模式識別的方法找出要求的圖象 信息尚未被很好組織的Internet上漫游由于Internet上信息是分布的和沒有統(tǒng)一組織的 因而如何快速和盡可能完整地找到自己所需要的數(shù)據(jù) 就需要很好的漫游策略 自娛性在人機界面的設(shè)計中是一個很重要的概念 由用戶規(guī)定目標(biāo)和內(nèi)容的工具稱為自娛工具 電話和交互電視就是典型的實例 非自娛工具是指目標(biāo)與內(nèi)容由權(quán)威來建立的工具 典型的是廣播電視 通過提供各種選擇 有線電視事實上已偏離了廣播電視的非自娛立場 錄象機和VOD則使我們進一步接近自娛工具 在真正的自娛的視頻 數(shù)據(jù)媒介中 用戶可走到任意地方 看到他 她想看到的任何事情 而不必考慮觀眾多少 成本 商業(yè)潛力等 這是無限開放性的夢想 它把虛擬界面展現(xiàn)在我們眼前 設(shè)計科學(xué)的用戶界面使人們可以有效地和自然地找到獲取正確信息的方法 一般地 人們可接受的構(gòu)造人機界面的方法是 使用日常關(guān)系及普通對象的符號嚴格維護應(yīng)用程序間的一致性使用戶感到他 她是在同樣的國家和文化背景中學(xué)習(xí)和研究開發(fā) 構(gòu)造一個簡單 無二義性的命令 降低出錯率 在最高層提供盡可能多的自動化功能如提供候選表而不需要用戶記住具體的名字 虛擬界面設(shè)計問題靈境系統(tǒng)的共享概念包括幾個部分 它應(yīng)該具有虛擬世界的三個特征 臨場性用戶對真實存在的信任感 它可通過控制觀察點來獲得 如在模擬中看到自己的手和身體圖象等 臨場感擴展了界面的友好性 從而使實驗者可以按日常事務(wù)方式處理圖形界面 交互性用協(xié)調(diào)自然的方式改變世界特征的能力 這可通過使用自然的方式改變世界模型的數(shù)據(jù)結(jié)構(gòu)來獲得 諸如物體體積與形狀的保持 顏色及處理技術(shù)的持久性等許多特征也將支持自然的交互盡管三維物理世界的邏輯關(guān)系復(fù)雜 但用戶更易接受簡單且無二義性的邏輯結(jié)構(gòu) 自主性物體本身固有的行為 當(dāng)受到激勵時能夠自動地顯示它們的行為 自主性是很難獲得的 但卻非常重要 若被激勵的世界能發(fā)揮作用 則用戶就可被解脫出來進行創(chuàng)造性的工作 包括改造世界的規(guī)律和測試結(jié)果 一般用戶界面的設(shè)計原則關(guān)于人機界面設(shè)計的指導(dǎo)原則 雖然沒有統(tǒng)一的意見 但大家所公認有 應(yīng)用程序反饋隨時將正在做什么的信息告訴用戶 否則用戶就不知道是機器出了毛病還是自己的程序中有問題 系統(tǒng)信息顯示隨時將系統(tǒng)給用戶的信息用圖標(biāo)或聲音反饋給用戶 狀態(tài)提供信息告訴用戶他們正處于系統(tǒng)的什么位置 在大系統(tǒng)中 用戶可能忘記他們正在使用什么工具 跳出允許用戶終止一種操作 并從該選擇中跳出 許多操作是偶然被選中的 而一個不良的接口設(shè)計往往會使系統(tǒng)死鎖在不想要的選擇之中 最少工作進行界面操作時應(yīng)盡量減少用戶的工作量 其辦法包括最少的對話步驟 以及使用略語和代碼來減少用戶的閱讀量和擊鍵數(shù) 默認值只要能預(yù)知答案 就可設(shè)置默認值 這同樣節(jié)省用戶的工作 幫助只要可能就應(yīng)提供在線幫助 幫助有兩個功能 首先對那些懶得翻手冊的用戶 它是一個學(xué)習(xí)的輔導(dǎo) 其次 對有經(jīng)驗的用戶 它是一個助手 可以幫助用戶肯定一個操作的細節(jié)問題 復(fù)原用戶可能會出錯 想退回去并且重新開始 界面應(yīng)該提供返回恢復(fù)先前狀態(tài)的能力 一致性在整個界面中 命令的格式和效果應(yīng)是一致的 如在各級中跳出的命令應(yīng)使用同一代碼 且應(yīng)有同樣的效果 一致性可減少用戶的學(xué)習(xí)量 虛擬環(huán)境界面設(shè)計準(zhǔn)則一般認為虛擬環(huán)境界面的設(shè)計除了應(yīng)該服從上述原則外 還應(yīng)遵守下列規(guī)范 潛在地提供無窮的特定域請求和交互通過與現(xiàn)實世界事物處理進行詳細的比較來設(shè)計請求與交互的語義和語法 因為隨著用戶對虛擬環(huán)境的了解 他們的請求集將不斷增長 用戶的自由猜測應(yīng)該是被允許的和可構(gòu)造的 當(dāng)從一個虛擬世界進入到另一個世界時 特定域請求的語法 語義也會發(fā)生變化 這在許多著名的系統(tǒng)中是不可缺少的 為此需要有子語言或方言 文化背景必然會驅(qū)動其子空間與子語言的個體設(shè)計 我們必須關(guān)注其他人的感受 如同在實際物理世界一樣 但如果我們強求一致性 那么我們就不會有自娛系統(tǒng) 具有一個精心設(shè)計的標(biāo)準(zhǔn)的小型元系統(tǒng)請求集在不同的文化背景下漫游迷失方向的主要原因是無法提出 元問題 一個元系統(tǒng)必須具有如下特點 從無窮大的特定域請求出發(fā) 對于初次訪問虛擬環(huán)境的人 可教或易學(xué) 使用專門設(shè)計良好的 幫助 系統(tǒng) 嚴格地設(shè)計和測試 使得語法和語義簡單 一致且可以擴充等 元請求應(yīng)體現(xiàn)用戶對虛擬環(huán)境的控制 系統(tǒng)集成 將一個虛擬環(huán)境設(shè)備集成到一個應(yīng)用系統(tǒng)中并不是一個容易的問題 而將幾個這樣的設(shè)備集成到一個已經(jīng)存在的系統(tǒng)中而又不必將系統(tǒng)的構(gòu)架推倒重來是一個更困難的問題 另一個經(jīng)常提出的問題是 能否不加修改或略加修改就可以將一個已經(jīng)完成的系統(tǒng)用到另一個應(yīng)用中去 這些問題的答案和出路是基于軟件重構(gòu)和軟件重用 多信息流同步與集成多信息流集成計算機工業(yè)最早體現(xiàn)和采用集成思想的是集成電路技術(shù) 一塊小小的集成電路芯片由陶瓷封裝起來 內(nèi)部包含成千上萬個集成電路 芯片的內(nèi)部對用戶來說是不可見的 也是用戶不關(guān)心的 用戶只關(guān)心其引腳的個數(shù) 電氣參數(shù)和功能 硬件工程師將不同的芯片引腳連在一起 就可以組裝成一個具有一定功能的產(chǎn)品 進而組裝成一個主板直至一合計算機 集成電路技術(shù)充分體現(xiàn)了系統(tǒng)集成的標(biāo)準(zhǔn)和可伸縮性這兩個基本特征 從廣義上講 企業(yè)建設(shè)的全過程就是集成 內(nèi)容包括人的集成 企業(yè)組織的集成 管理和技術(shù)的集成以及計算機系統(tǒng)平臺的集成 從狹義上講 系統(tǒng)集成專指計算機系統(tǒng)的集成 包括計算機硬件平臺 網(wǎng)絡(luò)系統(tǒng) 系統(tǒng)軟件 工具軟件及應(yīng)用軟件的集成以及圍繞這些系統(tǒng)的相應(yīng)咨詢 服務(wù)和技術(shù)支持 靈境中的多信息流集成包括兩個內(nèi)容 一是信息載體的集成 二是信息的融合 信息載體是指硬件平臺 網(wǎng)絡(luò)系統(tǒng) 系統(tǒng)軟件 工具軟件以及應(yīng)用軟件 信息載體的集成又可分為同構(gòu)環(huán)境內(nèi)的信息載體集成和異構(gòu)環(huán)境內(nèi)的信息載體集成 異構(gòu)環(huán)境內(nèi)的信息載體集成Client Server計算模式提供了一個開放且可伸縮的環(huán)境 這種環(huán)境可以是從極小到極大系統(tǒng)的集成 也即提供了一個異構(gòu)的集成環(huán)境 實現(xiàn)不同規(guī)模系統(tǒng)集成的四種基礎(chǔ)結(jié)構(gòu)是 個人Client Server實現(xiàn)在同一臺PC機上運行Client 中間件及大部分的業(yè)務(wù)服務(wù) 部門 工作組Client Server是一種傳統(tǒng)實現(xiàn) 用于小型企業(yè) 部門和辦事處 這是目前C1ient Sewer最主要的應(yīng)用形式 企業(yè)級Client Server是Client Server的多層次實現(xiàn) 對等Client Server是Client Server的最高級實現(xiàn) 它把世界上的每臺機器都變成既是Client又是Server Client Server具有下列性質(zhì) 服務(wù)Client Server首先是在兩個不同機器上運行的進程間的一種關(guān)系 Server進程是服務(wù)的提供者 Client進程是服務(wù)的消費者 共享資源一個Server可以在同一時刻對許多Client進行服務(wù) 并且協(xié)調(diào)它們對于共享資源的訪問 不對稱協(xié)議在Client和Server之間存在著一種多對一的關(guān)系 一般來說 Client通過請求服務(wù)器主動對話 Server是被動地等待Client請求 定位透明性Server是一個進程 它可以與Client位于同一臺機器上 也可以處于網(wǎng)絡(luò)上的另一臺機器上 Client Server軟件通常要在Client屏蔽掉Server的地址信息 這是通過重定向服務(wù)調(diào)用實現(xiàn)的 混合與匹配理想的Client Server軟件應(yīng)該獨立于硬件或操作系統(tǒng)軟件平臺 應(yīng)該能夠混合與匹配Client和Server平臺 基于消息的交換Client和Server是一對稻合的系統(tǒng) 它們通過消息傳遞機制作用 服務(wù)封裝Server是一個專家 一種消息告訴Server所請求的服務(wù) 由Server來決定如何完成這項作業(yè) 只要發(fā)布的消息接口沒有變化 Server的版本升級對Client就沒有任何影響 可擴展性Client Server系統(tǒng)可以水平或垂直地擴展 水平擴展是指添加或移去Client工作站 垂直擴展是指移到更大或者更快的Server機器或多臺Server上 完整性Server代碼和Server數(shù)據(jù)是集中維護的 它帶來較低的維護開銷 并保持了個性和獨立性 同構(gòu)環(huán)境內(nèi)的信息載體集成同構(gòu)環(huán)境是具有相同的硬件平臺 系統(tǒng)軟件的環(huán)境 同構(gòu)環(huán)境內(nèi)的信息載體集成是指工具軟件及應(yīng)用軟件的集成 每個軟件系統(tǒng)的運行都有一個 人口 若干個 出口 將 入口 定義為軟件系統(tǒng)運行的初始狀態(tài) 將 出口 定義為軟件系統(tǒng)運行的終止?fàn)顟B(tài) 軟件系統(tǒng)的運行從初始狀態(tài)開始至某個終止?fàn)顟B(tài)有若干條路徑 每條路徑都由若干中間狀態(tài)組成 每個中間狀態(tài)都有固定的輸入 輸出 軟件系統(tǒng)的每次運行 只經(jīng)過一條路徑 軟件系統(tǒng)運行過程即為運行狀態(tài)的變化過程 軟件系統(tǒng)的集成首先要畫出軟件系統(tǒng)運行的狀態(tài)轉(zhuǎn)換圖 然后選擇可用路徑 利用操作系統(tǒng)提供的功能將軟件系統(tǒng)調(diào)人內(nèi)存 最后控制可用路徑上每個狀態(tài)的輸入和輸出 信息融合信息融合可以定義為這樣的一種過程 把來自許多傳感器和信息源的信息加以聯(lián)合 相關(guān)和組合以獲得精確的位置估計和身份估計 以及對其重要程度進行適時的完整評價 上述定義也可以描述為 信息融合是一種多層次的 多方面的信息處理過程 這個過程處理多源數(shù)據(jù) 信息 的檢測 結(jié)合 相關(guān) 估計和組合 以達到精確的狀態(tài)估計和身份估計以及完整 及時的態(tài)勢評估與威脅估計 上述定義實際上是對信息融合技術(shù)所期望達到的功能的描述 包括低層次上的狀態(tài)估計和身份估計以及高層次上的態(tài)勢評估和威脅估計 信息融合是對多源信息所進行的階梯狀的多層次的處理過程 實現(xiàn)起來極其復(fù)雜 信息融合主要包括四個方面 基礎(chǔ)理論 算法與模型開發(fā) 融合處理所用到的數(shù)據(jù)庫和知識庫 開發(fā)推理系統(tǒng) 多信息流同步虛擬現(xiàn)實感的產(chǎn)生需要有圖象流 語音流以及作用流 為了使生成的環(huán)境自然 不同媒體間的信息的同步是非常重要的 多信息流同步是指多媒體信息的同步 多媒體信息的同步關(guān)系分為以下幾種類型 媒體內(nèi)的時間關(guān)系多媒體數(shù)據(jù)庫具有等時特性 每一媒體流為一個有限幅度樣本的序列 在演示過程中只有保持媒體流的連續(xù)性 才能傳遞媒體流蘊含的意義 媒體間的同步關(guān)系在不同的媒體間存在著時間約束 如口型同步 多聲道立體聲同步以及幻燈片或計算機動畫配音同步等 人機交互性用戶通過執(zhí)行跳躍 倒放 暫停 繼續(xù)或變速等動作作用于多媒體演示過程 用戶的交互作用應(yīng)當(dāng)?shù)玫郊皶r的響應(yīng) 影響多媒體信息同步的主要因素是媒體發(fā)送設(shè)備和演示設(shè)備時鐘頻率的差異和媒體傳輸信道特性的差異 同步關(guān)系的描述基于路徑表示的描述方法任意兩個時間段之間存在著時間關(guān)系先行 相接 包含 重疊 啟動 終止等及其對稱形式 為描述多媒體信息的同步關(guān)系 將對媒體對象施加的動作分為兩類 原子動作和復(fù)合動作 其中原子動作在描述同步關(guān)系方面不可再分 復(fù)合動作由原子動作或復(fù)合動作組合而成 動作的始點和終點為同步點 路徑算子提供了描述動作間同步關(guān)系的方法 基于Petri網(wǎng)的描述方法Petri網(wǎng)是一種并發(fā)系統(tǒng)及其同步關(guān)系的建模工具 簡單Petri網(wǎng)的轉(zhuǎn)移觸發(fā)時間是不確定的 轉(zhuǎn)移觸發(fā)為一即時事件 為了描述Petri網(wǎng)中的非零時間費用 需要在Petri網(wǎng)中引入時間約束 即賦予每個轉(zhuǎn)移一觸發(fā)期或賦予每個位置一運行時間 這種增強型Petri網(wǎng)稱為定時Petri網(wǎng) TPN 基于同步標(biāo)記的描述方法媒體間的同步關(guān)系可以借助插入各媒體流之中的同步標(biāo)記來描述 同步標(biāo)記或者為有形的標(biāo)記 如以信息幀的的形式插入媒體數(shù)據(jù)之中 或者只是邏輯上的標(biāo)記 如相對數(shù)量和相對時間 同步控制機制在多媒體對象的演示過程中 必須保持媒體內(nèi)和媒體間固有的同步關(guān)系 媒體間的同步關(guān)系表現(xiàn)為各媒體流中同步點的同步播放 由于各媒體流往往采用不同的傳輸介質(zhì) 因而演播過程啟動后可能會出現(xiàn)失調(diào)現(xiàn)象 必須引入強制同步機制 根據(jù)失調(diào)檢測方法和同步控制方法的性質(zhì) 強制同步分為以下兩類 基于有限緩沖器的強制同步基于反饋的強制同步