HDMI規範的視訊章節開宗明義指出，在連結中傳送的畫素必須是RGB 4：4：4：、YCbCr 4：4：4、YCbCr 4：2：2這三種畫素編碼之一。探討視訊技術時，會牽涉許多艱澀的技術名詞，但這也是HDMI介面的精華所在。
當今大畫面、高畫質視訊顯示器提供的連接介面非常多元，S端子、色差端子、高畫質多媒體介面(HDMI)等介面一應俱全(圖1)。在新力PS3遊戲機上，HDMI也是標準輸出端子。既然PS3選用藍光(Blu-ray)光碟機作為標準配備，藍光放影機自然也將HDMI介面納入產品中。
HDMI成為新一代視訊介面主流的趨勢日益顯明，在2006年漢諾威電腦展(CeBIT)，已出現具有HDMI端子的顯示卡(圖2)。日本市場販售的某些個人電腦也出現導入HDMI端子的實際案例。專業等級的高畫質DV攝影機更是已將HDMI端子納入。HDMI將成為視訊介面的王者已成大勢所趨。
大畫面高畫質數位電視已經由液晶電視與投影電視主導，然而數位電視的複雜度遠遠超過映像管電視，例如，中間色調的反應速度可能決定影像鮮明度的優劣，此外，對比度、影像殘留，大畫面高亮度長時間觀看是否傷害視力等問題，都是產品設計工程師或是生產線人員必須充分認知的。
舉例而言，日本早在90年代中期就已進入高畫質(Hi-Vision)電視時代，無論衛星廣播或數位地上波技術都較各國先進。然而在早期，數位連接端子始終未能建立全球通用標準，因此日本率先使用D端子，並針對標準畫質(SD)與高畫質(HD)規畫出D1/D2/D3/D4等多樣規格，畫素(Pixel)為480i/480p/1080i/720p。自從HDMI端子取得全球認同，日本業者也陸續捨棄發展多年的D端子，自此歐美日中等經濟大國在視訊介面上取得共識。
有了以上認知，接著即可探討視訊基礎知識與技術資訊，以掌握HDMI的精髓。首先解讀什麼是「色差訊號(Component Video或Color Difference Video)」。說到色差訊號，必須從黑白電視說起。當時，在黑白電視轉移到彩色電視之際，為了不影響黑白電視訊號，而又能夠收到彩色訊號，電視訊號除了傳送原來的「輝度訊號Y」以外，再用次載波(3.58MHz)來傳送色差訊號B-Y(讀做B減Y)及R-Y，而不是傳送RGB三原色訊號。「R-Y」及「B-Y」，就稱為色度訊號(Chroma)。
也就是說，彩色電視是以此種色差訊號來分別傳送輝度訊號Y及次載波的上下旁波帶，以便分別用相位調變的方式來載送B-Y及R-Y的彩色訊號。如此一來，既不影響黑白電視Ｙ訊號的收視，又可將彩色訊號RGB訊號傳送給彩色電視，這在當時也許是妥協之下的最佳方式。
如果將R-Y及B-Y以3.58MHz的次載波載送在Y訊號裡，稱之為複合視訊(Composite Video)。這時需要一個濾波器，將3.58MHz的色度訊號由複合訊號中分離出來，成為Y、C訊號(這就是S-Video)，而這個濾波器由於內部形狀長的像兩個面對面的梳子，所以稱為梳形濾波器(Comb Filter)，它的功能就是將複合訊號中的Y訊號及C訊號(B-Y、R-Y)分離。分離得愈好，畫面就愈清晰，色彩愈鮮明。一般而言，愈大尺寸的電視會採用比較高級與精密的梳形濾波器，以得到更好的Y/C分離訊號，也可取得更精準的RGB三原色訊號。
色差訊號Y、R-Y、B-Y訊號，一般通稱為Y、Cr、Cb。在習慣上，Y、Cr、Cb是數位(PCM)的色差訊號，類比的色差訊號則稱Y、Pr、Pb。這就是為何常在DVD放影機內部看到Y/Cr/Cb，而在外部看到色差輸出標示為Y/Pr/Pb或YUV的原因。
在歐洲電視PAL系統中，色差訊號通稱為YUV，包含數位及類比的色差訊號都稱為YUV。所以看到YUV時，就要聯想到它是PAL系統中的Y、R-Y、B-Y訊號，它可能是數位(PCM)的YUV，也可能是類比的YUV。
接下來再將複合視訊與S-Video做一整理。色差訊號Y、Cr、Cb中的色度訊號Cr、Cb，也就是R-Y及B-Y的訊號，經過3.58MHz的次載波用相位調變方式，將Cr與Cb合而為一的色度訊號C，再加上單獨的Y訊號。兩種個別的訊號合而為一的端子，稱為Y/C訊號，也就是著名的S-Video。
若進一步將3.58MHz的C訊號調變到Y訊號，合而為一成為6MHz頻寬的複合訊號，以方便電視訊號傳送，這種複合訊號就稱為複合視訊。一般而言，輸出或輸入都採用與音響相同的梅花形RCA端子，並使用黃色，有別於音響的紅白色左右聲道端子。
在色差訊號由類比轉換成數位的Y、Cr、Cb(或稱ITU-R BT.601訊號，舊稱CCIR601，簡稱Rec.601訊號)的過程中，涉及取樣技術。在Rec.601中，用13.5MHz取樣頻率將4.75MHz頻寬的Y訊號分成每秒13.5百萬次的8位元或10位元的脈衝碼調變(PCM)訊號，來表示類比的振幅(Amplitude)大小。同樣地，如果也採用13.5MHz取樣頻率，分別將B-Y及R-Y轉換成8位元或10位元的PCM訊號，則稱為4：4：4，如此一來，則會有資料量太大的問題。
由於人眼在結構上對於彩色訊號的辨識率低於黑白輝度訊號，所以可用較低的頻寬來表現色度訊號，同時也可用較低的取樣頻率6.75Mz(13.5MHz的一半)來取樣B-Y及R-Y；而這種以13.5MHz取樣的Y訊號，以及以6.75MHz取樣的Cr、Cb訊號，稱之為4：2：2，是一般數位攝錄影設備的標準。
在MPEG視訊編碼標準中，為了進一步壓縮，特意將B-Y及R-Y的頻寬再減一半，取樣頻率也由6.75MHz減為3.375MHz，也就是每取樣4次輝度訊號，才分別取樣1次Cr或Cb訊號。這種取樣方式，又稱為4：2：0，也就是MPEG中的Y、Cr、Cb數位取樣方式。總之，由於YUV的取樣方式可分為三種，也就是4：2：0、4：2：2，與4：4：4，因此YUV的三個成分(Y、Cb、Cr)是採取分別處理。Y就是亮度值(Luminance)，Cb和Cr則表示彩度值(Chrominance)。一般RGB轉換成Y、Cb、Cr模式使用的公式，會因定義不同而有所差異。CCIR公司定義了一個CCIR601轉換公式：
視訊最令人頭痛的地方，就在於資料量的過度龐大，因此才會衍生出各種壓縮方式。MPEG系列是當前最被廣泛使用，同時也是最多相關應用的多媒體影音壓縮技術。MPEG是動畫專家小組(Moving Picture Exports Group)的英文縮寫，這是由一群專家在國際電信聯盟(ITU)與國際標準組織(ISO)之下制定，用以壓縮視訊與音訊的標準，並陸續制定出MPEG-1、MPEG-2與MPEG-4等標準，如今都已成為視訊壓縮的主流技術。
VCD即是MPEG-1的代表作。MPEG-1壓縮標準所提供的資料傳輸速率約為1.5Mbit/s，壓縮率大約是130倍左右，它會對亮度與彩度進行4：2：0格式的取樣。
在亮度與彩度取樣中，MPEG-1只定義了4：2：0格式，當進化到MPEG-2之後，支援格式增加4：2：2和4：4：4兩種(圖3)。普及率迅速提升的高密度DVD光碟，就是MPEG-2發揚光大之作。4：2：2格式是亮度和彩度在水平方向以2：1的比例取樣，垂直方向則是以1：1比例。4：4：4格式是彩度沒有重新取樣，即每個取樣點均有Y、Cb、Cr三個值。由於高畫質電視與MPEG-2息息相關，在此列出MPEG-2標準的型態(Profile)與等級(Level)(表1)。
列在MPEG-4 Part 10 Advanced Video Coding(AVC)的H.264，是目前當紅的動畫壓縮標準，壓縮率是MPEG2兩倍以上，於2003年5月已認可完畢。目前蘋果電腦的iPod Video、QuickTime7，以及新力的可攜式遊戲機PSP，均支援MPEG AVC，或稱為H.264/AVC。新力PSP的通用媒體光碟(UMD)、Blu-ray與HD DVD也都支援H.264/AVC。檢視PSP使用手冊上的規格描述，可知UMD支援H.264/MPEG4 AVC Main Profile Level 3，對Memory Stick則是支援MPEG4 SP與AAC。
依照規範記載，HDMI的來源端必須至少支援下列視訊格式之一：
如果一個HDMI的來源端使用任何其他色差訊號，或沒有壓縮的數位視訊輸出，則可以支援下列視訊格式：
在數據島(Data Island)週期，HDMI會利用0號通道載送HSYNC與VSYNC訊號。如果在視訊數據(Video Data)週期，HDMI並不會載送HSYNC與VSYNC訊號，因此接收端必須假設這些訊號為常數。在控制期間，也會利用0號通道載送HSYNC與VSYNC訊號。
誠如本文開頭所說，僅有RGB 4：4：4、YCbCr 4：2：2與YCbCr 4：4：4的畫素編碼能夠利用HDMI介面，所有HDMI來源端與接收端都能夠應付RGB 4：4：4的畫素編碼，若能夠支援色差訊號或數位視訊，YCbCr 4：2：2與YCbCr 4：4：4的畫素編碼必須對應，接收端也必須兩者都能對應。
那麼，來源端如何知道接收端的組態與功能？這是依賴來源端透過顯示數據頻道(Display Data Channel, DDC)來讀取接收端的增強型擴充顯示識別資料(E-EDID)。若是RGB 4：4：4的畫素編碼載送，視訊線的RGB第一個畫素在資料週期內緊接著保護頻段(Guard Band)字組送出去，RGB的三原色分別是由8個位元組成(圖4)。
YCbCr 4：2：2的畫素編碼訊號的映射與時序的方式如圖5所示，由於此種編碼在每一個畫素的時脈下，僅需兩個元素訊號(Component)。因此將可用的24位元中的12個位元分配給Y元素，12位元分配給C元素。
YCbCr 4：2：2的畫素編碼，非常類似ITU-R BT.601標準。較高階的8個位元從1號通道送出，低階的4個位元則是從0號通道。如果使用的位元低於12位元，就要小心，必須遵守MSb=MSb的原則，LSb以下的位元必須填入零。在視訊數據週期，第一個傳送的畫素會包含Y0、Cb0與Cr0。只不過Y0與Cb0會先在第一個最小化傳輸差分訊號(TMDS)時脈送出，而Cr0則是在第二個TMDS時脈送出，此時是Y1。依此規畫方式，每兩個TMDS時脈可送出Cb與Cr訊號。換句話說，Cb與Cr這兩個元素以多工方式在同一條路徑上傳輸。當然第三個TMDS時脈又是第三個畫素的Y與Cb訊號，接著就是第三個畫素的Y與Cr訊號。若是YCbCr 4：4：4畫素編碼，就是8位元的Cb/Y/Cr，分別經由0/1/2號通道送出(圖6)。
在HDMI規範中，視訊畫素速率(Video Pixel Rates)從25MHz到165MHz。若是低於25MHz，例如480i/NTSC的13.5MHz，此時可採用一個畫素重複(Pixel-repetition)方案，通常在TMDS連結上，720×480i與720×576i的視訊格式總是採用畫素重複。
而HDMI來源端告知接收端是否有畫素重複，用以重複次數的方式，則是借用AVI InfoFrame的畫素重複(Pixel Repetition)欄位(PR0：PR3)，在EIA/CEA-861B中有「Pixel_Repetition_Count」欄位使用方法的詳細說明。
當「Pixel_Repetition_Count=1」時，也就是雙倍畫素(Pixel-doubling)的傳送方式(圖7～9)。顧名思義，在TMDS的第二個時脈會持續傳送第一個時脈的資料。在黑白位階，YCbCr僅能使用有限範圍(Limited Range)，RGB則能使用全滿範圍(Full Range)或有限範圍(Limited Range)(表2)。最後探討比色分析法(Colorimetry)，也稱為測色法。一般解析度的480p、480i、576p、576i、240p與288p傳輸，通常是依據SMPTE 170M鎖定的色彩空間(Color Space)。SMPTE 170M是類比NTSC相關的標準規格，須遵守ITU-R BT.601-5的色彩空間轉換。更高解析度的1080i、1080p、720p視訊格式傳輸，則須依據ITU-R BT.709-4的色彩空間。來源裝置在每個視訊框會傳送AVI InfoFrame。InfoFrame架構是在EIA/CEA-861B之下定義，讓來源裝置到接收顯示裝置之間傳輸輔助資料。
