Что такое PCI Express. NVMe-накопители в разных режимах работы интерфейса PCI Express: практическое исследование масштабируемости интерфейса в задачах передачи данных

HighPoint RocketRAID 2320: второй RAID-контроллер SATA II в нашей лаборатории с интерфейсом PCIe.

Интерфейс PCI Express (PCIe) находится на рынке уже примерно полтора года, но до сих пор он воспринимается, по большей части, как новый интерфейс графических карт. Настольные материнские платы с поддержкой PCI Express предлагают дополнительные слоты с этим интерфейсом, но используются они сегодня очень редко. Собственно, как и версии с большей пропускной способностью на материнских платах для серверов и рабочих станций.

Хотя теоретически PCI Express x16 может обеспечить большую пропускную способность по сравнению с PCI-X 533 (8 Гбайт/с против 4,26 Гбайт/с), важно подчеркнуть, что PCIe был предназначен для замены не PCI-X, а других, более старых шинных интерфейсов. PCIe был нацелен на замену графического интерфейса AGP по маркетинговым соображениям, а также чтобы проложить путь использованию двух графических карт. Да и устаревшая 32-битная параллельная шина PCI тоже требовала замены. Вряд ли PCI можно назвать хорошей шиной по современным понятиям: она предлагает относительно низкую пропускную способность, которая, к тому, же разделяется между всеми устройствами PCI. Современные технологии - вроде гигабитного Ethernet, периферии с поддержкой высокого разрешения и контроллеров накопителей - требуют более высокой пропускной способности.

Перейдём к сути PCI Express: этот интерфейс не обязательно быстрее PCI-X, но он проще и обеспечивает пропускную способность отдельно для каждого устройства. Именно поэтому сегодня появляется всё больше чипсетов класса "сервер/рабочая станция" с поддержкой PCI Express: слишком уж заманчиво, когда пропускная способность выделяется для каждого устройства.

Одним из возможных применений можно сразу же назвать контроллеры сети и накопителей, так как они уже давно страдают из-за "узости" интерфейса. Вполне понятно, что построить 10-Гбит/с тестовое окружение Ethernet сложнее, чем использовать контроллеры накопителей. Поэтому для тестирования мы выбрали RAID.

Мы отобрали два последних контроллера HighPoint Serial ATA II RAID RocketRAID, модели 2220 и 2320, поскольку они построены на одинаковой технологии и различаются только интерфейсом. 2220 является моделью PCI-X, а 2320 использует интерфейс x4 PCI Express.

PCI-X является существенно доработанной версией параллельной шины Peripheral Components Interconnect (PCI). Она построена на классической шинной топологии и требует для подключения большое число дорожек/контактов. Как мы уже упоминали выше, доступная пропускная способность разделяется между всеми устройствами.

В отличие от обычной PCI в вашем компьютере, имеющей ширину 32 бита, PCI-X является 64-битной шиной. В результате пропускная способность автоматически удваивается, равно как число дорожек/контактов и размеры слота. Но всё остальное, включая протоколы передачи, сигналы и типы разъёмов, обратно совместимо. То есть в слот PCI-X можно установить 32-битную карту PCI (3,3 В). Кроме того, многие 64-битные карты PCI-X могут работать в 32-битных слотах PCI, но, конечно, с заметно сниженной пропускной способностью.

Но даже такое расширение шины всё равно не обеспечивало достаточную пропускную способность для профессиональных контроллеров накопителей SCSI, iSCSI, Fibre Channel, 10-Гбит/с Ethernet, InfiniBand и прочего. Поэтому группа PCI-SIG (Special Interest Group) добавила в спецификацию несколько скоростных градаций, меняющихся от PCI-X 66 (Rev. 1.0b) до PCI-X 533 (Rev. 2.0). В следующей таблице дана подробная информация.

Как можно видеть, по достижении 133 МГц с PCI-X 133 тактовая частота больше не возрастала. Чтобы обеспечить более высокую пропускную способность, были задействованы две технологии, с которыми вы наверняка уже знакомы по шинам памяти и FSB. PCI-X 266 опирается на технологию удвоенной передачи данных Double Data Rate, когда данные передаются на спаде и возрастании тактового импульса. PCI-X 533 заходит ещё дальше и использует учетверённую передачу данных (Quad Data Rate). Intel уже давно использует эту технологию для FSB процессоров Pentium 4 и Xeon.

Широкие слоты слева - это и есть 64-битная шина PCI-X.

Источник: презентация PCI-SIG PCI-X 2.0.

Как мы уже указывали выше, общая пропускная способность с максимумом в 4,26 Гбайт/с разделяется между всеми устройствами, подключёнными к шине. Кроме того, если какое-либо устройство не способно работать на высокой тактовой частоте, система снизит скорость шины до наименьшего общего значения, вплоть до 33 МГц. Впрочем, именно такую цену приходится платить за совместимость. Но проблему можно решить, реализовав на материнской плате более одного моста PCI-X. Продукты с подобной возможностью предлагаются всеми производителями профессионального уровня, включая такие компании, как Asus, Supermicro и Tyan.

Обратная совместимость является большим плюсом PCI-X. Администраторы желают быть абсолютно уверенными, что новое оборудование будет работать правильно. Именно поэтому внедрение новых технологий на рынке серверов и рабочих станций не такое быстрое. Зачем нужно прощаться с технологией, если она является обратно совместимой, обеспечивает достаточную производительность и отличается большой базой имеющегося оборудования? Эта ситуация вряд ли изменится в будущем, поскольку сегодня группа PCI-SIG работает уже над стандартом PCI-X 1066. Он ещё раз удвоит пропускную способность и, кроме того, получит новые функции вроде сжатия данных "на лету", автоматических резервных путей и защиты от сбоев. Кроме того, может появиться поддержка изохронной передачи, но тогда придётся отказаться от совместимости с обычной PCI.

PCI — Express (PCIe , PCI — E ) – последовательная, универсальная шина впервые обнародованная 22 июля 2002 года.

Является общей , объединяющей шиной для всех узлов системной платы, в которой соседствуют все подключённые к ней устройства. Пришла на замену устаревающей шине PCI и её вариации AGP , по причине возросших требований к пропускной способности шины и невозможности за разумные средства улучшить скоростные показатели последних.

Шина выступает как коммутатор , просто направляя сигнал из одной точки в другую не изменяя его. Это позволяет без явных потерь скорости, с минимальными изменениями и ошибками передать и получить сигнал.

Данные по шине идут симплексно (полный дуплекс), то есть одновременно в обе стороны с одинаковой скоростью, причём сигнал по линиям, течёт непрерывно , даже при отключении устройства (как постоянный ток, или битовый сигнал из нулей).

Синхронизация построена избыточным методом. То есть вместо 8 бит информации, передаётся 10 бит , два из которых являются служебными (20% ) и в определённой последовательности служат маячками для синхронизации тактовых генераторов или выявления ошибок . Поэтому, заявленная скорость для одной линии в 2.5 Гбитс , на самом деле равна примерно 2.0 Гбитс реальных.

Питание каждого устройства по шине, подбирается отдельно и регулируется с помощью технологии ASPM (Active State Power Management ). Она позволяет при простое (без подачи сигнала) устройства занижать его тактовый генератор и переводить шину в режим пониженного энергопотребления . Если сигнал не поступал в течение нескольких микросекунд, устройство считается неактивным и переводится в режим ожидания (время зависит от типа устройства).

Скоростные характеристики в двух направлениях PCI — Express 1.0 :*

1 x PCI —E ~ 500 Мбс

4х PCI —E ~ 2 Гбс

8 x PCI —E ~ 4 Гбс

16х PCI —E ~ 8 Гбс

32х PCI-E ~ 16 Гбс

*Скорость передачи данных в одном направлении в 2 раза ниже данных показателей

15 января 2007 года, PCI —SIG выпустила обновлённую спецификацию именуемую PCI-Express 2.0

Основным улучшением стала в 2 раза увеличенная скорость передачи данных (5.0 Ггц , против 2.5Ггц в старой версии). Усовершенствованию подвергся также двухточечный протокол передачи данных (точка-точка), доработана программная составляющая и добавлена система программного мониторинга за скоростью шины. При этом сохранилась совместимость с версиями протокола PCI —E 1.х

В новой версии стандарта (PCI — Express 3.0 ), главным нововведением будет измененная система кодирования и синхронизации . Вместо 10 битной системы (8 бит информации, 2 бита служебных), будет применяться 130 битная (128 бит информации, 2 бита служебных). Это позволит снизить потери в скорости с 20% до ~1.5% . Будет также переработан алгоритм синхронизации передатчика и приёмника, улучшен PLL (phase-locked loop). Скорость передачи увеличится предположительно в 2 раза (в сравнении с PCI —E 2.0 ), при этом сохранится совместимость с прошлыми версиями PCI —Express .

AGP-слот с защёлкой для графической карты.

Большинство графических карт в пользовательских ПК используют интерфейс Accelerated Graphics Port (AGP). У самых старых систем для той же цели применяется интерфейс PCI. Впрочем, на замену обоим интерфейсам призван PCI Express (PCIe). Несмотря на название, PCI Express является последовательной шиной, а PCI (без суффикса Express) - параллельной. В общем, шины PCI и PCI Express не имеют ничего общего, помимо названия.

Графическая карта AGP (сверху) и графическая карта PCI Express (снизу).

Материнские платы для рабочих станций используют слот AGP Pro, который обеспечивает дополнительное питание для прожорливых карт OpenGL. Впрочем, в него можно устанавливать и обычные графические карты. Однако AGP Pro так и не получил широкое признание. Обычно прожорливые графические карты комплектуются дополнительным гнездом питания - для той же вилки Molex, к примеру.

Дополнительное питание для графической карты: 4- или 6-контактное гнездо.

Дополнительное питание для графической карты: гнедо Molex.

Стандарт AGP пережил несколько обновлений.

Если вы любите копаться в "железе", то следует помнить о двух уровнях напряжения интерфейса. Стандарты AGP 1X и 2X работают на 3,3 В, в то время как AGP 4X и 8X требуют всего 1,5 В. Кроме того, существуют карты типа Universal AGP, которые подходят для разъёма любого типа. Чтобы предотвратить ошибочную установку карт, слоты AGP используют специальные выступы. А карты - прорези.

У верхней карты есть прорезь для AGP 3,3 В. В середине: универсальная карта с двумя вырезами (один для AGP 3,3 В, второй - для AGP 1,5 В). Снизу показана карта с вырезом справа для AGP 1,5 В.

Слоты расширения материнской платы: PCI Express x16 линий (сверху) и 2 PCI Express x1 линия (снизу).

Два слота PCI Express для установки двух графических карт nVidia SLi. Между ними можно заметить маленький слот PCI Express x1.

PCI Express является последовательным интерфейсом, и его не следует путать с шинами PCI-X или PCI, которые используют параллельную передачу сигналов.

PCI Express (PCIe) является самым современным интерфейсом для графических карт. В то же время, он подходит и для установки других карт расширения, хотя на рынке пока их очень мало. PCIe x16 обеспечивает в два раза большую пропускную способность, чем AGP 8x. Но на практике это преимущество так себя и не проявило.

Графическая карта AGP (сверху) в сравнении с графической картой PCI Express (снизу).

Сверху вниз: PCI Express x16 (последовательный), два интерфейса параллельной PCI и PCI Express x1 (последовательный).

PCI является стандартной шиной для подключения периферийных устройств. Среди них можно отметить сетевые карты, модемы, звуковые карты и платы захвата видео.

Среди материнских плат для широкого рынка больше всего распространена шина PCI стандарта 2.1, работающая на частоте 33 МГц и имеющая ширину 32 бита. Она обладает пропускной способностью до 133 Мбит/с. Производители так широко и не приняли шины PCI 2.3 с частотой до 66 МГц. Именно поэтому карт данного стандарта очень мало. Но некоторые материнские платы этот стандарт поддерживают.

Ещё одна разработка в мире параллельной шины PCI известна как PCI-X. Данные слоты чаще всего встречаются на материнских платах для серверов и рабочих станций, поскольку PCI-X обеспечивает более высокую пропускную способность для RAID-контроллеров или сетевых карт. К примеру, шина PCI-X 1.0 предлагает пропускную способность до 1 Гбит/с с частотой шины 133 МГц и разрядностью 64 бита.

Спецификация PCI 2.1 сегодня предусматривает напряжение питания 3,3 В. Левый вырез/выступ предотвращает установку старых 5-В карт, которые показаны на иллюстрации.

Карта с вырезом, а также PCI-слот с ключом.

RAID-контроллер для 64-битного слота PCI-X.

Классический 32-битный слот PCI сверху, а три 64-битных слота PCI-X снизу. Зелёный слот поддерживает ZCR (Zero Channel RAID).

Словарик

• PCI = Peripheral Component Interconnect

Отключите компьютер от электросети. Выключите его и обесточьте - иными словами, отключите системный блок от электричества, вытащив из него соответствующий кабель. Впрочем, затем вам нужно будет отключить и все прочие кабели, которые подключены к системному блоку. Если компьютер вы использовали недавно, то есть смысл несколько минут подождать, пока тот не остынет.

• Примечание: иные PCI-карты требуют предварительной установки драйверов на устройство, на это в наши дни редкость. Тем не менее, заглядывать в документацию по PCI-карте все равно надо.

Откройте корпус компьютера. PCI-слоты расположены на материнской плате, а добраться до нее можно лишь одним способом: открыв корпус системного блока. Для этого придется снять боковую крышку (правую, если смотреть на заднюю панель корпуса), а та, как правило, сидит на винтах (иногда встречаются модели корпусов, где надо сперва снять верх, но там все тоже на винтах).

• Как правило, для откручивания тех винтов отвертка не нужна, хотя изредка все же без нее не обойтись.
• Не кладите корпус на ковер или аналогичные поверхности. Статическое электричество, созданное трением, убьет платы быстро, незаметно и на раз.