9.1. I/O 端口和 I/O 內(nèi)存

9.1.?I/O 端口和 I/O 內(nèi)存

每個(gè)外設(shè)都是通過(guò)讀寫它的寄存器來(lái)控制. 大部分時(shí)間一個(gè)設(shè)備有幾個(gè)寄存器, 并且在連續(xù)地址存取它們, 或者在內(nèi)存地址空間或者在 I/O 地址空間.

在硬件級(jí)別上, 內(nèi)存區(qū)和 I/O 區(qū)域沒(méi)有概念上的區(qū)別: 它們都是通過(guò)在地址總線和控制總線上發(fā)出電信號(hào)來(lái)存取(即, 讀寫信號(hào))[32]并且讀自或者寫到數(shù)據(jù)總線.

但是一些 CPU 制造商在他們的芯片上實(shí)現(xiàn)了一個(gè)單個(gè)地址空間, 有人認(rèn)為外設(shè)不同于內(nèi)存, 因此, 應(yīng)該有一個(gè)分開(kāi)的地址空間. 一些處理器(最有名的是 x86 家族)有分開(kāi)的讀和寫電線給 I/O 端口和特殊的 CPU 指令來(lái)存取端口.

因?yàn)橥庠O(shè)被建立來(lái)適合一個(gè)外設(shè)總線, 并且大部分流行的 I/O 總線成型在個(gè)人計(jì)算機(jī)上, 即便那些沒(méi)有單獨(dú)地址空間給 I/O 端口的處理器, 也必須在存取一些特殊設(shè)備時(shí)偽裝讀寫端口, 常常利用外部的芯片組或者 CPU 核的額外電路. 后一個(gè)方法在用在嵌入式應(yīng)用的小處理器中常見(jiàn).

由于同樣的理由, Linux 在所有它運(yùn)行的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)了 I/O 端口的概念, 甚至在那些 CPU 實(shí)現(xiàn)一個(gè)單個(gè)地址空間的平臺(tái)上. 端口存取的實(shí)現(xiàn)有時(shí)依賴特殊的主機(jī)制造和型號(hào)( 因?yàn)椴煌男吞?hào)使用不同的芯片組來(lái)映射總線傳送到內(nèi)存地址空間).

即便外設(shè)總線有一個(gè)單獨(dú)的地址空間給 I/O 端口, 不是所有的設(shè)備映射它們的寄存器到 I/O 端口. 雖然對(duì)于 ISA 外設(shè)板使用 I/O 端口是普遍的, 大部分 PCI 設(shè)備映射寄存器到一個(gè)內(nèi)存地址區(qū). 這種 I/O 內(nèi)存方法通常是首選的, 因?yàn)樗恍枰褂锰厥饽康奶幚砥髦噶? CPU 核存取內(nèi)存更加有效, 并且編譯器當(dāng)存取內(nèi)存時(shí)有更多自由在寄存器分配和尋址模式的選擇上.

9.1.1.?I/O 寄存器和常規(guī)內(nèi)存

不管硬件寄存器和內(nèi)存之間的強(qiáng)相似性, 存取 I/O 寄存器的程序員必須小心避免被 CPU(或者編譯器)優(yōu)化所戲弄, 它可能修改希望的 I/O 行為.

I/O 寄存器和 RAM 的主要不同是 I/O 操作有邊際效果, 而內(nèi)存操作沒(méi)有: 一個(gè)內(nèi)存寫的唯一效果是存儲(chǔ)一個(gè)值到一個(gè)位置, 并且一個(gè)內(nèi)存讀返回最近寫到那里的值. 因?yàn)閮?nèi)存存取速度對(duì) CPU 性能是至關(guān)重要的, 這種無(wú)邊際效果的情況已被多種方式優(yōu)化: 值被緩存, 并且 讀/寫指令被重編排.

編譯器能夠緩存數(shù)據(jù)值到 CPU 寄存器而不寫到內(nèi)存, 并且即便它存儲(chǔ)它們, 讀和寫操作都能夠在緩沖內(nèi)存中進(jìn)行而不接觸物理 RAM. 重編排也可能在編譯器級(jí)別和在硬件級(jí)別都發(fā)生: 常常一個(gè)指令序列能夠執(zhí)行得更快, 如果它以不同于在程序文本中出現(xiàn)的順序來(lái)執(zhí)行, 例如, 為避免在 RISC 流水線中的互鎖. 在CISC 處理器, 要花費(fèi)相當(dāng)數(shù)量時(shí)間的操作能夠和其他的并發(fā)執(zhí)行, 更快的.

當(dāng)應(yīng)用于傳統(tǒng)內(nèi)存時(shí)(至少在單處理器系統(tǒng))這些優(yōu)化是透明和有益的, 但是它們可能對(duì)正確的 I/O 操作是致命的, 因?yàn)樗鼈兏蓴_了那些"邊際效果", 這是主要的原因?yàn)槭裁匆粋€(gè)驅(qū)動(dòng)存取 I/O 寄存器. 處理器無(wú)法預(yù)見(jiàn)這種情形, 一些其他的操作(在一個(gè)獨(dú)立處理器上運(yùn)行, 或者發(fā)生在一個(gè) I/O 控制器的事情)依賴內(nèi)存存取的順序. 編譯器或者 CPU 可能只盡力勝過(guò)你并且重編排你請(qǐng)求的操作; 結(jié)果可能是奇怪的錯(cuò)誤而非常難于調(diào)試. 因此, 一個(gè)驅(qū)動(dòng)必須確保沒(méi)有進(jìn)行緩沖并且在存取寄存器時(shí)沒(méi)有發(fā)生讀或?qū)懙闹鼐幣?

硬件緩沖的問(wèn)題是最易面對(duì)的:底層的硬件已經(jīng)配置(或者自動(dòng)地或者通過(guò) Linux 初始化代碼)成禁止任何硬件緩沖, 當(dāng)存取 I/O 區(qū)時(shí)(不管它們是內(nèi)存還是端口區(qū)域).

對(duì)編譯器優(yōu)化和硬件重編排的解決方法是安放一個(gè)內(nèi)存屏障在必須以一個(gè)特殊順序?qū)τ布?或者另一個(gè)處理器)可見(jiàn)的操作之間. Linux 提供 4 個(gè)宏來(lái)應(yīng)對(duì)可能的排序需要:

include <linux/kernel.h>void barrier(void)

這個(gè)函數(shù)告知編譯器插入一個(gè)內(nèi)存屏障但是對(duì)硬件沒(méi)有影響. 編譯的代碼將所有的當(dāng)前改變的并且駐留在 CPU 寄存器的值存儲(chǔ)到內(nèi)存, 并且后來(lái)重新讀取它們當(dāng)需要時(shí). 對(duì)屏障的調(diào)用阻止編譯器跨越屏障的優(yōu)化, 而留給硬件自由做它的重編排.

include <asm/system.h>void rmb(void);void read_barrier_depends(void);void wmb(void);void mb(void);

這些函數(shù)插入硬件內(nèi)存屏障在編譯的指令流中; 它們的實(shí)際實(shí)例是平臺(tái)相關(guān)的. 一個(gè) rmb ( read memory barrier) 保證任何出現(xiàn)于屏障前的讀在執(zhí)行任何后續(xù)讀之前完成. wmb 保證寫操作中的順序, 并且 mb 指令都保證. 每個(gè)這些指令是一個(gè)屏障的超集.

read_barrier_depends 是讀屏障的一個(gè)特殊的, 弱些的形式. 而 rmb 阻止所有跨越屏障的讀的重編排, read_barrier_depends 只阻止依賴來(lái)自其他讀的數(shù)據(jù)的讀的重編排. 區(qū)別是微小的, 并且它不在所有體系中存在. 除非你確切地理解做什么, 并且你有理由相信, 一個(gè)完整的讀屏障確實(shí)是一個(gè)過(guò)度地性能開(kāi)銷, 你可能應(yīng)當(dāng)堅(jiān)持使用 rmb.

void smp_rmb(void);void smp_read_barrier_depends(void);void smp_wmb(void);void smp_mb(void);
屏障的這些版本僅當(dāng)內(nèi)核為 SMP 系統(tǒng)編譯時(shí)插入硬件屏障; 否則, 它們都擴(kuò)展為一個(gè)簡(jiǎn)單的屏障調(diào)用.

在一個(gè)設(shè)備驅(qū)動(dòng)中一個(gè)典型的內(nèi)存屏障的用法可能有這樣的形式:

writel(dev->registers.addr, io_destination_address);
writel(dev->registers.size, io_size);
writel(dev->registers.operation, DEV_READ);
wmb();
writel(dev->registers.control, DEV_GO);

在這種情況, 是重要的, 確保所有的控制一個(gè)特殊操作的設(shè)備寄存器在告訴它開(kāi)始前已被正確設(shè)置. 內(nèi)存屏障強(qiáng)制寫以需要的順序完成.

因?yàn)閮?nèi)存屏障影響性能, 它們應(yīng)當(dāng)只用在確實(shí)需要它們的地方. 屏障的不同類型也有不同的性能特性, 因此值得使用最特定的可能類型. 例如, 在 x86 體系上, wmb() 目前什么都不做, 因?yàn)閷懙教幚砥魍獠槐恢鼐幣? 但是, 讀被重編排, 因此 mb() 被 wmb() 慢.

值得注意大部分的其他的處理同步的內(nèi)核原語(yǔ), 例如自旋鎖和原子的 _t 操作, 如同內(nèi)存屏障一樣是函數(shù). 還值得注意的是一些外設(shè)總線(例如 PCI 總線)有它們自己的緩沖問(wèn)題; 我們?cè)谝院笳鹿?jié)遇到時(shí)討論它們.

一些體系允許一個(gè)賦值和一個(gè)內(nèi)存屏障的有效組合. 內(nèi)核提供了幾個(gè)宏來(lái)完成這個(gè)組合; 在缺省情況下, 它們?nèi)缦露x:

#define set_mb(var, value) do {var = value; mb();}  while 0
#define set_wmb(var, value) do {var = value; wmb();} while 0
#define set_rmb(var, value) do {var = value; rmb();} while 0

在合適的地方, <asm/system.h> 定義這些宏來(lái)使用體系特定的指令來(lái)很快完成任務(wù). 注意 set_rmb 只在少量體系上定義. (一個(gè) do...while 結(jié)構(gòu)的使用是一個(gè)標(biāo)準(zhǔn) C 用語(yǔ), 來(lái)使被擴(kuò)展的宏作為一個(gè)正常的 C 語(yǔ)句可在所有上下文中工作).

[32] 不是所有的計(jì)算機(jī)平臺(tái)使用一個(gè)讀和一個(gè)寫信號(hào); 有些有不同的方法來(lái)尋址外部電路. 這個(gè)不同在軟件層次是無(wú)關(guān)的, 但是, 我們將假設(shè)全部有讀和寫來(lái)簡(jiǎn)化討論.