«Решение по делу о Законе о защите детей в Интернете (CIPA)»

В ОКРУЖНОМ СУДЕ СОЕДИНЕННЫХ ШТАТОВ ПО ВОСТОЧНОМУ ОКРУГУ ПЕНСИЛЬВАНИИ

AMERICAN LIBRARY ASSOCIATION, : ГРАЖДАНСКОЕ ДЕЛО INC., et al. : : v. : : UNITED STATES, et al. : № 01-1303 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - MULTNOMAH COUNTY PUBLIC : ГРАЖДАНСКОЕ ДЕЛО LIBRARY, et al. : : v. : : UNITED STATES OF AMERICA, et al. : № 01-1322

Председательствующие: БЕККЕР (Becker), главный судья судебного округа, ФУЛЛАМ (Fullam) и БАРТЛ (Bartle), судьи окружного суда.

РЕШЕНИЕ СУДА May 31, 2002

Беккер (Becker), главный судья судебного округа

CONTENTS I. Предварительное заявление II. Установленные факты A. Законодательная база 1. Характер и порядок работы программ E-rate и LSTA 2. CIPA a. Поправки CIPA к программе E-rate b. Поправки CIPA к Закону о библиотечных услугах и технологиях (LSTA) B. Личности истцов 1. Истцы — библиотеки и библиотечные ассоциации 2. Истцы — пользователи и ассоциации пользователей 3. Истцы — веб-издатели C. Интернет 1. Общие сведения 2. Индексируемый веб, «глубокий веб»; их объем, темпы роста и изменения 3. Объем материалов откровенно сексуального характера в Интернете D. Общественные библиотеки США 1. Миссия общественных библиотек, а также практика их работы со справочными материалами и формирования фондов 2. Интернет в общественных библиотеках a. Политика использования Интернета в общественных библиотеках b. Методы регулирования использования Интернета E. Технология интернет-фильтрации 1. Что такое программное обеспечение для фильтрации, кто его производит и что оно делает? 2. Методы, используемые компаниями-фильтрами для составления списков категорий a. Этап «сбора» (harvesting) b. Этап «отбора» или категоризации c. Процесс «повторного рассмотрения» веб-страниц после их первоначальной категоризации 3. Внутренне присущий компромисс между избыточной блокировкой и недостаточной блокировкой 4. Попытки количественной оценки показателей избыточной и недостаточной блокировки программ фильтрации 5. Методы получения примеров ошибочно заблокированных веб-сайтов 6. Примеры ошибочно заблокированных веб-сайтов 7. Заключение: Эффективность программ фильтрации III. Аналитическая база решения: ключевое значение дела Доула (Dole) и роль абстрактного иска IV. Уровень судебного контроля, применимый к ограничениям доступа в Интернет в общественных библиотеках на основе содержания A. Обзор доктрины общественного форума B. Контуры соответствующего форума: библиотечный фонд в целом или предоставление доступа в Интернет? C. Ограничения на основе содержания в специально отведенных общественных форумах D. Причины применения строгого судебного контроля 1. Избирательное исключение из «обширного демократического форума» 2. Аналогия с традиционными общественными форумами V. Применение строгого судебного контроля A. Государственные интересы 1. Предотвращение распространения непристойности, детской порнографии и материалов, вредных для несовершеннолетних 2. Защита не желающего их видеть пользователя 3. Предотвращение противоправного или ненадлежащего поведения 4. Резюме B. Узкая целенаправленность C. Менее ограничительные альтернативы D. Устраняют ли положения CIPA об отключении фильтров этот дефект? VI. Заключение; Сноски наделимости

1. Предварительное заявление

В настоящем деле оспаривается акт Конгресса, который делает использование программного обеспечения для фильтрации общественными библиотеками условием получения федерального финансирования. Интернет, как известно, представляет собой обширную интерактивную среду, основанную на децентрализованной сети компьютеров по всему миру. Его самой знакомой особенностью является Всемирная паутина («веб») — сеть компьютеров, называемых серверами, которые предоставляют контент пользователям. Интернет обеспечивает легкий доступ любому лицу, желающему предоставить или распространить информацию среди всемирной аудитории; им пользуются более 143 миллионов американцев. Действительно, значительная часть накопленных за веки мировых знаний доступна пользователям Интернета практически мгновенно. Примерно 10% американцев, пользующихся Интернетом, выходят в него из общественных библиотек. При этом примерно 95% всех общественных библиотек в Соединенных Штатах предоставляют публичный доступ в Интернет.

Хотя благотворное влияние Интернета на расширение объема информации, доступной его пользователям, очевидно само по себе, низкие барьеры для входа в него привели и к извращенному результату — содействию широкому распространению жесткой порнографии в зоне легкой досягаемости не только для взрослых, которые имеют полное право получать к ней доступ (поскольку она не является юридически непристойной или детской порнографией), но также для детей и подростков, для которых она может быть весьма вредной. Объем порнографии в Интернете огромен, и представленные нам материалы свидетельствуют о том, что посетители общественных библиотек всех возрастов, многие в возрасте от 11 до 15 лет, регулярно пытались получить к ней доступ в условиях общественной библиотеки. Существует более 100 000 порнографических веб-сайтов, доступных бесплатно и без предоставления какой-либо регистрационной информации, а десятки тысяч веб-сайтов содержат детскую порнографию. Библиотеки отреагировали на эту ситуацию использованием ряда средств, призванных гарантировать, что посетители избегают незаконного (и нежелательного) контента и в то же время могут найти желаемый контент. Некоторые библиотеки обучали посетителей тому, как пользоваться Интернетом, избегая при этом незаконного контента, или направляли своих посетителей на «предпочтительные» веб-сайты, проверенные библиотекарями. Другие библиотеки использовали такие приспособления, как углубления для компьютерных мониторов, установка экранов конфиденциальности и контроль, осуществляемый путем «похлопывания по плечу» посетителей, замеченных за нарушением правил библиотеки. Третьи же, сочтя вышеупомянутые подходы неадекватными или неудобными (некоторые библиотекари не хотят вступать в конфликт с посетителями), приобрели коммерчески доступное программное обеспечение, которое блокирует определенные категории материалов, признанные советом библиотекарей непригодными для использования в их учреждениях. Действительно, 7% американских общественных библиотек используют программное обеспечение для блокировки для взрослых. Хотя такие программы в некотором роде эффективны для блокирования больших объемов порнографии, они представляют собой грубые инструменты, которые не только «недостаточно блокируют» (т. е. не блокируют доступ к значительным объемам контента, который советы библиотек хотели бы исключить), но и, что имеет центральное значение для данного судебного разбирательства, «избыточно блокируют» (т. е. блокируют доступ к большим объемам материалов, которые советы библиотек исключать не желают и которые защищены Конституцией).

Большинство библиотек, использующих программное обеспечение для фильтрации, стремятся блокировать материалы откровенно сексуального характера. Хотя большинство библиотек включают в свои физические фонды такие издания, как The Joy of Sex и The Joy of Gay Sex, содержащие весьма откровенные фотографии и описания, программное обеспечение для фильтрации блокирует большие объемы другой сопоставимой информации о здоровье и сексуальности, которую взрослые и подростки ищут в интернете. Одна несовершеннолетняя свидетельница показала, что доступ в интернет в общественной библиотеке был единственным местом, где она могла получить важную для нее информацию о собственной сексуальности. Другой свидетель из числа посетителей библиотеки рассказал об использовании интернета для поиска информации о раке молочной железы и реконструктивной хирургии для своей матери, перенесшей операцию на груди. Несмотря на то что некоторые программы фильтрации содержат исключения для вопросов здоровья и образования, эти исключения не решают проблему избыточной блокировки материалов, защищенных Конституцией. Более того, как мы поясняем ниже, программное обеспечение для фильтрации, по которому стороны представили доказательства в данном деле, избыточно блокирует не только информацию, относящуюся к здоровью и сексуальности, которую можно ошибочно принять за порнографию или эротику, но и огромное количество веб-страниц и сайтов, которые даже с натяжкой нельзя истолковать как вредные или неподобающие для взрослых или несовершеннолетних.

Конгресс, разделяя опасения многих советов библиотек, принял Закон о защите детей в Интернете (CIPA), Pub. L. No. 106-554, который делает использование фильтров общественной библиотекой условием получения двух видов субсидий, являющихся важными (или даже критически важными) для бюджетов многих общественных библиотек: грантов в рамках Закона о библиотечных услугах и технологиях, 20 U.S.C. § 9101 et seq. (LSTA), и так называемых «скидок E-rate» на доступ в интернет и поддержку в рамках Закона о телекоммуникациях, 47 U.S.C. § 254. Средства грантов LSTA выделяются, inter alia, в целях: (1) помощи библиотекам в доступе к информации через электронные сети и (2) предоставления адресных библиотечных и информационных услуг лицам, испытывающим трудности с использованием библиотек, а также общинам в недостаточно обслуживаемых и сельских районах, включая детей из семей с доходами ниже черты бедности. Скидки E-rate служат аналогичной цели расширения доступа в интернет для школ и библиотек в малообеспеченных общинах. CIPA требует, чтобы для получения средств LSTA или скидок E-rate библиотеки сертифицировали использование «средства технологической защиты», которое препятствует доступу посетителей к «визуальным изображениям», являющимся «непристойными», «детской порнографией» или, в случае несовершеннолетних, «материалами, вредными для несовершеннолетних». 20 U.S.C. § 9134(f)(1)(A) (LSTA); 47 U.S.C. § 254(h)(6)(B) & (C) (E-rate).

Истцы — группа библиотек, библиотечных ассоциаций, посетителей библиотек и издателей веб-сайтов — предъявили настоящий иск к Соединенным Штатам и другим ответчикам, утверждая, что CIPA является неконституционным на своей лицевой стороне (абстрактно), поскольку: (1) он побуждает общественные библиотеки нарушать права их посетителей, гарантированные Первой поправкой, вопреки требованиям дела Южная Дакота против Доула (South Dakota v. Dole), 483 U.S. 203 (1987); и (2) он требует от библиотек отказа от своих прав по Первой поправке в качестве условия получения федерального финансирования и поэтому является недопустимым в соответствии с доктриной неконституционных условий. Утверждая, что CIPA побудит общественные библиотеки нарушать Первую поправку, истцы доказывают, что с учетом ограничений технологии фильтрации условия CIPA фактически требуют от библиотек введения ограничений на основе содержания в отношении доступа их посетителей к защищенной Конституцией речи. По мнению истцов, эти ограничения на основе содержания подлежат строгому судебному контролю в соответствии с доктриной общественного форума, см. Rosenberger v. Rector & Visitors of Univ. of Va., 515 U.S. 819, 837 (1995), и поэтому являются допустимыми только в том случае, если они узко скроены для продвижения убедительного государственного интереса и никакие менее ограничительные альтернативы не могут продвинуть этот интерес, см. Reno v. ACLU, 521 U.S. 844, 874 (1997). Правительство возражает, что CIPA не побудит общественные библиотеки нарушать Первую поправку, поскольку по крайней мере некоторые общественные библиотеки способны конституционным образом соблюдать условия CIPA. Даже если использование фильтров некоторыми библиотеками может нарушать Первую поправку, правительство заявляет, что CIPA может быть признан недействительным на своей лицевой стороне только в том случае, если ни одна общественная библиотека не может выполнить его условия, не нарушив Первую поправку.

В соответствии с CIPA был созван суд в составе трех судей для рассмотрения спора по существу. Pub. L. No. 106-554. После интенсивного периода сбора доказательств (discovery) по ускоренному графику, призванному позволить общественным библиотекам узнать, нужно ли им сертифицировать соблюдение CIPA к 1 июля 2002 года для получения субсидий на предстоящий год, Суд провел восьмидневное судебное разбирательство, на котором заслушал 20 свидетелей и принял многочисленные свидетельские показания в форме показаний под присягой (depositions), соглашения сторон (stipulations) и документы. Основное внимание в ходе судебного разбирательства уделялось возможностям имеющегося в настоящее время программного обеспечения для фильтрации. Истцы представили существенные доказательства не только того, что программы фильтрации преграждают доступ к значительному объему информации в интернете, которая явно защищена Конституцией для взрослых и несовершеннолетних, но и того, что эти программы по своей сути неспособны блокировать только незаконный интернет-контент и одновременно разрешать доступ ко всей защищенной речи. Как отражают наши обширные установленные факты, истцы доказали, что тысячи веб-страниц, содержащих защищенную речь, ошибочно заблокированы четырьмя ведущими программами фильтрации, и эти страницы составляют лишь часть веб-страниц, ошибочно заблокированных данными программами. Доказательства истцов пояснили, что проблемы, с которыми сталкиваются производители и продавцы программного обеспечения для фильтрации, многочисленны. Веб чрезвычайно динамичен: ежедневно добавляется около 1,5 миллиона новых страниц, а содержимое существующих веб-страниц меняется очень быстро. Списки категорий, поддерживаемые программами блокировки, считаются конфиденциальной информацией (proprietary information) и поэтому недоступны для ознакомления клиентам или широкой общественности, в связи с чем общественные библиотеки, выбирающие категории при внедрении программного обеспечения для фильтрации, на самом деле не знают, что именно они блокируют.

Существует множество причин, по которым программное обеспечение для фильтрации страдает от масштабной избыточной и недостаточной блокировки, что мы подробно объясним ниже. Они сосредоточены на ограничениях способности компаний, занимающихся фильтрацией: (1) точно собирать веб-страницы, которые потенциально подпадают под заблокированную категорию (например, порнография); (2) просматривать и категоризировать собранные ими веб-страницы; и (3) осуществлять регулярный повторный просмотр веб-страниц, которые они уже просмотрели ранее. Эти сбои проистекают из ограничений технологий автоматизированных систем классификации, а также из ограничений, присущих ручной проверке человеком, включая ошибки, неверные суждения и дефицит ресурсов, которые мы подробно описываем ниже на стр. 58-74. Одним из критически важных сбоев является то, что автоматизированные системы, используемые компаниями-фильтрами для сбора веб-страниц с целью классификации, способны осуществлять поиск только по тексту, а не по изображениям. Это подрывает способность компаний-фильтров собирать страницы, содержащие «визуальные изображения», которые являются непристойными, детской порнографией или вредными для несовершеннолетних, как того требует CIPA. Как станет очевидно, мы приходим к выводу, что в настоящее время, учитывая размер интернета, темпы его роста, скорость изменений и архитектуру, а также уровень развития современных автоматизированных систем классификации, разработать фильтр, который не осуществляет ни недостаточную, ни избыточную блокировку значительного объема речи, невозможно.

Правительство, признавая несовершенство программного обеспечения для фильтрации, утверждает, что оно тем не менее весьма эффективно и успешно блокирует подавляющее большинство веб-страниц, подпадающих под определения категорий компаний-фильтров (например, порнографию). Правительство настаивает, что большего не требуется. По его мнению, до тех пор, пока выбранное библиотеками программное обеспечение для фильтрации отсеивает основную массу веб-страниц, запрещенных CIPA, библиотеки делают разумный выбор, которого достаточно в соответствии с применимыми правовыми принципами для прохождения конституционной проверки в контексте абстрактного иска. Центральное место в позиции правительства занимает проводимая им аналогия между интернет-фильтрацией и первоначальным решением библиотеки определить, какие материалы приобретать для своего печатного фонда. Общественные библиотеки обладают ограниченными бюджетами и должны делать выбор в пользу приобретения, например, книг по садоводству или книг по гольфу. Такие решения на основе содержания, как признают даже истцы, подлежат проверке на предмет наличия разумного основания (rational basis review), а не более строгой форме судебного контроля по Первой поправке. По мнению правительства, тот факт, что интернет меняет процесс приобретения наоборот и требует от библиотек фактически приобретать весь интернет, часть которого (например, жесткую порнографию) они приобретать не хотят, не должен означать, что их можно обвинить в цензуре при фильтрации нежелательного материала. Правовой контекст, в котором разворачивается эта обширная фактологическая база, сложен и затрагивает ряд конституционных доктрин, включая конституционные ограничения полномочий Конгресса по положению о расходах (spending clause), доктрину неконституционных условий и, как следствие этих вопросов, доктрины Первой поправки о предварительном запрете (prior restraint), неопределенности (vagueness) и чрезмерной широте (overbreadth). Существует несколько возможных отправных точек для анализа, но самой логичной является судебная практика по положению о расходах, основополагающим делом в которой является дело Южная Дакота против Доула (South Dakota v. Dole), 483 U.S. 203 (1987). В деле Доула изложены четыре категории ограничений полномочий Конгресса по осуществлению его полномочий в рамках Положения о расходах, однако единственным условием Доула, оспариваемым здесь, является четвертое и последнее, а именно: требует ли CIPA от библиотек, получающих средства LSTA или скидки E-rate, нарушения конституционных прав их посетителей. Как будет показано далее, этот вопрос не является простым и зависит от уровня судебного контроля, применимого к ограничениям общественной библиотекой доступа посетителей в интернет на основе содержания. Подлежат ли такие ограничения строгому судебному контролю, как утверждают истцы, или лишь проверке на предмет наличия разумного основания, как утверждает правительство, зависит от доктрины общественного форума.

Правительство утверждает, что, предоставляя доступ в интернет, общественные библиотеки не создают общественный форум, поскольку общественные библиотеки могут оставлять за собой право исключать определенных ораторов из числа лиц, пользующихся этим форумом. Соответственно, правительство утверждает, что ограничения общественных библиотек в отношении доступа посетителей в интернет подлежат лишь проверке на предмет наличия разумного основания. Истцы возражают, что способность правительства ограничивать речь на собственной собственности, как в случае ограничений доступа в интернет в общественных библиотеках, не является неограниченной, и что чем шире государство содействует распространению частной речи в данном форуме, тем более уязвимым является решение государства ограничить доступ к речи в этом форуме. Мы согласны с истцами в том, что ограничения общественных библиотек на доступ посетителей в интернет на основе содержания подлежат строгому судебному контролю. Предоставляя даже отфильтрованный доступ в интернет, общественные библиотеки создают общественный форум, открытый для любого выступающего по всему миру с целью общения с посетителями библиотек через интернет по практически неограниченному числу тем. Когда государство предоставляет доступ к «обширному демократическому форуму[]» (Reno v. ACLU, 521 U.S. 844, 868 (1997)), открытому для любого члена общественности для высказываний на темы, «столь же разнообразные, как человеческая мысль» (id. at 870 (внутренние кавычки и цитата опущены)), решение государства избирательно исключить из форума речь, содержание которой государство не одобряет, подлежит строгому судебному контролю, поскольку такое исключение создает риск искажения рынка идей, которому способствовало государство. Применение строгого судебного контроля находит дополнительное подтверждение в той степени, в которой предоставление общественными библиотеками доступа в интернет уникальным образом продвигает ценности Первой поправки способом, аналогичным традиционным общественным форумам, таким как улицы, тротуары и парки, в которых ограничения на основе содержания всегда подлежат строгому судебному контролю.

В рамках строгого судебного контроля использование общественной библиотекой программного обеспечения для фильтрации является допустимым только в том случае, если оно узко скроено для продвижения убедительного государственного интереса и никакой менее ограничительный альтернативный вариант не послужит этому интересу. Мы признаем, что использование программного обеспечения для фильтрации продвигает законные интересы общественных библиотек в предотвращении доступа посетителей к визуальным изображениям непристойного характера, детской порнографии или, в случае несовершеннолетних, материалам, вредным для несовершеннолетних. Более того, использование фильтров также помогает предотвратить непреднамеренное столкновение посетителей с откровенно оскорбительным контентом сексуального характера в интернете.

Мы с пониманием относимся к позиции правительства, полагая, что было бы желательно иметь средство, обеспечивающее возможность посетителям общественных библиотек приобщаться к информационному изобилию интернета и одновременно быть огражденными от материалов, соответствующих определениям CIPA, то есть визуальных изображений, являющихся непристойными, детской порнографией или, в случае несовершеннолетних, вредными для несовершеннолетних. К сожалению, этот результат, столь страстно желаемый, недостижим в этом далеко не лучшем из всех возможных миров. Ни одно определение категории, используемое программами блокировки, не совпадает с юридическими определениями непристойности, детской порнографии или материалов, вредных для несовершеннолетних, и, во всяком случае, программы фильтрации не блокируют доступ к значительному объему контента в интернете, который подпадает под категории, определенные CIPA. Как будет показано далее, мы доверяем показаниям эксперта истцов доктора Джеффри Нанберга (Dr. Geoffrey Nunberg) о том, что программы блокировки (по крайней мере в обозримом будущем) неспособны эффективно блокировать большинство материалов в категориях, определенных CIPA, без избыточной блокировки значительного объема материалов. Анализ Нанберга подтверждался обширными доказательствами из материалов дела. Как отмечалось выше, эта неспособность предотвратить как значительные объемы недостаточной, так и избыточной блокировки проистекает из нескольких источников, включая ограничения технологии, которую компании-разработчики программного обеспечения фильтрации используют для сбора и просмотра веб-страниц, ограничения ресурсов для проверки веб-страниц людьми и неизбежные ошибки, возникающие в процессе проверки людьми.

Поскольку программное обеспечение для фильтрации, предписанное CIPA, будет блокировать доступ к значительным объемам защищенной Конституцией речи, подавление которой не служит никаким законным государственным интересам, мы убеждены, что использование библиотекой программных фильтров не является узко скроенным для продвижения какого-либо из этих интересов. Более того, существуют менее ограничительные альтернативы, которые продвигают законный интерес государства в предотвращении распространения непристойности, детской порнографии и материалов, вредных для несовершеннолетних, а также в предотвращении непреднамеренного столкновения посетителей с откровенно оскорбительным контентом сексуального характера. Чтобы предотвратить доступ посетителей к визуальным изображениям, являющимся непристойными и детской порнографией, общественные библиотеки могут применять правила использования интернета, которые четко дают понять посетителям, что интернет-терминалы библиотеки не могут использоваться для доступа к незаконной речи. Затем библиотеки могут применять санкции к посетителям, нарушающим эти правила, — от предупреждения до обращения в правоохранительные органы в соответствующих случаях. Менее ограничительные альтернативы фильтрации, которые продвигают интерес библиотек в ограждении несовершеннолетних от доступа к визуальным изображениям, вредным для несовершеннолетних, включают требование о согласии родителей или их присутствии во время нефильтрованного доступа, либо ограничение нефильтрованного доступа несовершеннолетних терминалами в поле зрения персонала библиотеки. Наконец, избирательная фильтрация, экраны конфиденциальности, утопленные мониторы и размещение нефильтрованных интернет-терминалов вне поля зрения предоставляют менее ограничительные альтернативы для библиотек по предотвращению непреднамеренного столкновения посетителей с откровенно сексуальным контентом в интернете. Стремясь избежать потенциально фатальных правовых последствий проблемы избыточной блокировки, правительство полагается на способность библиотек в соответствии с положениями CIPA об отключении фильтров (см. CIPA § 1712 (codified at 20 U.S.C. § 9134(f)(3)), CIPA § 1721(b) (codified at 47 U.S.C. § 254(h)(6)(D))) разблокировать сайт, который является безупречно правомерным, но был заблокирован ненадлежащим образом. Материалы дела показывают, что библиотеки могут и действительно разблокируют фильтры по запросу посетителя. Но они также показывают, что требование к посетителям библиотеки запрашивать разблокировку веб-сайта отпугнет многих посетителей из-за чувства неловкости или желания защитить свою конфиденциальность либо остаться анонимными. Более того, разблокировка может занять несколько дней и может быть недоступна, особенно в библиотеках-филиалах, в которых часто меньше сотрудников, чем в главных библиотеках. Соответственно, положения CIPA об отключении фильтров не устраняют конституционные дефекты использования интернет-фильтров общественными библиотеками.

В данных обстоятельствах мы вынуждены прийти к выводу, что истцы-библиотеки должны выиграть в своем утверждении о том, что CIPA требует от них нарушения прав их посетителей по Первой поправке и, соответственно, является недействительным на своей лицевой стороне (абстрактно), даже в соответствии со стандартом, навязываемым нам правительством, который позволил бы нам признать CIPA недействительным на его лицевой стороне только в том случае, если ни одна общественная библиотека не может выполнить условия CIPA без нарушения Первой поправки. Учитывая ограничения, присущие технологии фильтрации, предписанной CIPA, любая общественная библиотека, соблюдающая условия CIPA, неизбежно ограничит доступ посетителей к значительному объему защищенной речи в нарушение Первой поправки. Учитывая этот вывод, нам нет необходимости рассматривать аргументы истцов о том, что CIPA осуществляет предварительный запрет в отношении речи и является неконституционно неопределенным. Мы также не выносим решения по их сопутствующей теории неконституционных условий, хотя по причинам, изложенным ниже в сноске 36, мы довольно подробно обсуждаем вопросы, поднятые этим иском. По указанным причинам мы вынесем Определение, объявляющее разделы 1712(a)(2) и 1721(b) Закона о защите детей в Интернете, кодифицированные соответственно в 20 U.S.C. § 9134(f) и 47 U.S.C. § 254(h)(6), недействительными на их лицевой стороне согласно Первой поправке и навсегда запрещающее ответчикам применять эти положения. II. Установленные факты 1. Законодательная база 1. Характер и порядок работы программ E-rate и LSTA В Законе о телекоммуникациях 1996 года («Закон 1996 года») Конгресс поручил Федеральной комиссии по связи («FCC») предпринять шаги, необходимые для создания системы механизмов поддержки в целях обеспечения предоставления доступных телекоммуникационных услуг всем американцам. Эта система, именуемая «универсальным обслуживанием» (universal service), кодифицирована в статье 254 Закона о телекоммуникациях 1934 года с поправками, внесенными Законом 1996 года. См. 47 U.S.C. § 254. Конгресс указал несколько групп в качестве бенефициаров механизма поддержки универсального обслуживания, включая потребителей в районах с высокими издержками, малоимущих потребителей, школы и библиотеки, а также поставщиков медицинских услуг в сельской местности. См. 47 U.S.C. § 254(h)(1). Распространение универсального обслуживания на школы и библиотеки в статье 254(h) обычно именуется Программой для школ и библиотек, или Программой E-rate.

В рамках Программы E-rate «все телекоммуникационные операторы, обслуживающие географический район, по добросовестному запросу на любые из своих услуг, подпадающих под определение универсального обслуживания..., обязаны предоставлять такие услуги начальным школам, средним школам и библиотекам в образовательных целях по тарифам ниже сумм, взимаемых за аналогичные услуги с других лиц». 47 U.S.C. § 254(h)(1)(B). Согласно регламенту FCC, поставщики «межрегиональных телекоммуникаций» (interstate telecommunications) (за определенными исключениями, см. 47 C.F.R. § 54.706(d)) обязаны отчислять часть своего дохода для распределения среди соответствующих операторов, которые предоставляют услуги тем группам или районам, которые указаны Конгрессом в статье 254. Чтобы иметь право на получение скидок, библиотека должна: (1) иметь право на помощь со стороны административного органа библиотеки штата в соответствии с Законом о библиотечных услугах и технологиях, см. ниже; (2) финансироваться как независимое юридическое лицо, полностью обособленное от любых школ; и (3) не осуществлять деятельность в качестве коммерческого предприятия. См. 47 C.F.R. § 54.501(c). Скидки на услуги для соответствующих библиотек устанавливаются в процентах от цены до скидки и варьируются от 20% до 90% в зависимости от уровня экономической неблагополучности библиотеки и ее расположения в городской или сельской местности. См. 47 C.F.R. § 54.505. В настоящее время уровень экономической неблагополучности библиотеки рассчитывается на основе процента учащихся, имеющих право на участие в национальной программе школьных обедов в том школьном округе, где расположена библиотека.

Закон о библиотечных услугах и технологиях (LSTA), подраздел II Закона об услугах музеев и библиотек, 20 U.S.C. § 9101 et seq., был принят Конгрессом в 1996 году в рамках Сводного закона о консолидированных ассигнованиях на 1997 год, Pub. L. No. 104-208. LSTA учреждает три программы грантов для достижения цели улучшения библиотечных услуг по всей стране. В рамках Программы грантов штатам грантовые средства LSTA выделяются, inter alia, для помощи библиотекам в доступе к информации через электронные сети и покрытия расходов на приобретение или совместное использование компьютерных систем и телекоммуникационных технологий. См. 20 U.S.C. § 9141(a). Посредством программы грантов штатам средства LSTA использовались для приобретения компьютеров с доступом в интернет, размещенных в библиотеках, и покрытия связанных с ними расходов. 2. CIPA Закон о защите детей в Интернете (CIPA) был принят в рамках Сводного закона об ассигнованиях на 2001 год, который объединил и утвердил несколько законопроектов об ассигнованиях, включая Закон о прочих ассигнованиях, частью которого являлся CIPA. См. Pub. L. No. 106-554. CIPA охватывает три различных типа федеральных программ финансирования: (1) помощь начальным и средним школам в соответствии с Разделом III Закона об элементарном и среднем образовании 1965 года, см. CIPA § 1711 (вводящий поправку в Раздел 20 для добавления § 3601); (2) гранты штатам по линии LSTA для поддержки библиотек, см. CIPA § 1712 (вводящий поправки в Закон об услугах музеев и библиотек, 20 U.S.C. § 9134); и (3) скидки в рамках программы E-rate, см. CIPA § 1721(a) & (b) (обе вводят поправки в Закон о телекоммуникациях 1934 года, 47 U.S.C. § 254(h)). Предметом спора в данном деле являются только разделы 1712 и 1721(b) CIPA, которые применяются к библиотекам.

Как поясняется более подробно ниже, CIPA требует от библиотек, участвующих в программах LSTA и E-rate, удостоверять, что они используют программные фильтры на своих компьютерах для защиты от визуальных изображений, которые являются непристойными, детской порнографией или, в случае несовершеннолетних, материалами, вредными для несовершеннолетних. CIPA разрешает должностным лицам библиотек отключать фильтры для посетителей в целях добросовестных исследований или в иных законных целях, однако отключение не допускается для посетителей-несовершеннолетних, если библиотека получает скидки E-rate. 1. Поправки CIPA к программе E-rate

Раздел 1721(b) CIPA налагает условия на участие библиотеки в программе E-rate. Библиотека, «имеющая один или несколько компьютеров с доступом в интернет, не может получать услуги по льготным тарифам» (CIPA § 1721(b) (код. в 47 U.S.C. § 254(h)(6)(A)(i))), если библиотека не удостоверит, что она «проводит в жизнь политику интернет-безопасности, которая включает в себя использование средства технологической защиты в отношении любых своих компьютеров с доступом в интернет, защищающего от доступа через такие компьютеры к визуальным изображениям, которые являются (I) непристойными; (II) детской порнографией; или (III) вредными для несовершеннолетних», а также что она «обеспечивает работу такого средства технологической защиты во время любого использования таких компьютеров несовершеннолетними». CIPA § 1721(b) (код. в 47 U.S.C. § 254(h)(6)(B)). CIPA определяет «средство технологической защиты» как «специфическую технологию, которая блокирует или фильтрует доступ к визуальным изображениям, являющимся непристойными, ... детской порнографией ... или вредными для несовершеннолетних». CIPA § 1703(b)(1) (код. в 47 U.S.C. § 254(h)(7)(I)).

Для получения скидок E-rate библиотека также должна подтвердить, что программное обеспечение для фильтрации работает во время использования интернета взрослыми. Более того, в отношении взрослых библиотека должна подтвердить, что она «проводит в жизнь политику интернет-безопасности, включающую в себя применение средства технологической защиты в отношении любых своих компьютеров с доступом в интернет, которое защищает от доступа через такие компьютеры к визуальным изображениям, являющимся (I) непристойными; или (II) детской порнографией», и что она «обеспечивает работу такого средства технологической защиты при любом использовании таких компьютеров». CIPA § 1721(b) (код. в 47 U.S.C. § 254(h)(6)(C)). Толкуя статутные термины «любое использование», FCC пришла к выводу, что «CIPA не делает различий между компьютерами, используемыми только персоналом, и компьютерами, доступными общественности». In re Federal-State Joint Board on Universal Service: Children's Internet Protection Act, CC Docket No. 96-45, Report and Order, FCC 01-120, ¶ 30 (Apr. 5, 2001). В отношении библиотек, получающих скидки E-rate, CIPA далее уточняет, что «администратор, руководитель или иное лицо, уполномоченное удостоверяющим органом..., может отключить соответствующее средство технологической защиты во время использования взрослым лицом для обеспечения доступа в целях добросовестных исследований или в иных законных целях». CIPA § 1721(b) (код. в 47 U.S.C. § 254(h)(6)(D)). 2. Поправки CIPA к Закону о библиотечных услугах и технологиях (LSTA) Раздел 1712 CIPA вносит поправки в Закон об услугах музеев и библиотек (20 U.S.C. § 9134(f)), предусматривая, что никакие средства, выделенные в рамках Закона, «не могут использоваться для приобретения компьютеров, используемых для доступа в интернет, или для оплаты прямых расходов, связанных с доступом в интернет», если такая библиотека «не внедрила» и не проводит в жизнь «политику интернет-безопасности, которая включает в себя использование средства технологической защиты в отношении любых своих компьютеров с доступом в интернет, защищающего от доступа через такие компьютеры к визуальным изображениям», которые являются «непристойными» или «детской порнографией», а также, когда компьютеры используются несовершеннолетними, защищает от доступа к визуальным изображениям, которые являются «вредными для несовершеннолетних». CIPA § 1712 (код. в 20 U.S.C. § 9134(f)(1)). Раздел 1712 содержит определения «средства технологической защиты», «непристойного», «детской порнографии» и «вредного для несовершеннолетних», которые в существенной степени аналогичны определениям, содержащимся в положениях, регулирующих программу E-rate. CIPA § 1712 (код. в 20 U.S.C. § 9134(f)(7)); см. также примечание 2 выше.

Как и в рамках программы E-rate, «администратор, руководитель или иной уполномоченный орган может отключить средство технологической защиты... для обеспечения доступа в целях добросовестных исследований или в иных законных целях». CIPA § 1712 (код. в 20 U.S.C. § 9134(f)(3)). В то время как поправки CIPA к программе E-rate разрешают отключение для добросовестных исследований или иных законных целей только во время использования взрослыми, положение LSTA разрешает отключение как для взрослых, так и для несовершеннолетних. 2. Личности истцов 1. Истцы — библиотеки и библиотечные ассоциации Истцы Американская библиотечная ассоциация, Библиотечная ассоциация Аляски, Библиотечная ассоциация Калифорнии, Библиотечная ассоциация Коннектикута, Фонд «Право на чтение», Библиотечная ассоциация штата Мэн, Библиотечная ассоциация Новой Англии, Библиотечная ассоциация штата Нью-Йорк и Библиотечная ассоциация Висконсина являются некоммерческими организациями, членами которых являются общественные библиотеки, получающие либо скидки E-rate, либо средства LSTA для предоставления доступа в интернет. Поскольку это является предварительным условием для процессуальной правоспособности ассоциации (associational standing), мы отмечаем, что интересы, которые эти организации стремятся защитить в данном судебном разбирательстве, лежат в основе их raison d'être (смысла существования).

Истцы: Региональный библиотечный округ Форт-Ванкувер в юго-западной части штата Вашингтон; Публичная библиотека округа Малтнома в округе Малтнома, штат Орегон; Система публичных библиотек Норфолка в Норфолке, штат Виргиния; Совместный орган управления публичных библиотек Санта-Крус в Санта-Крус, штат Калифорния; Библиотечная система Южного Центра («SCLS») с центром в Мэдисоне, штат Висконсин; и Библиотечная система Уэстчестера в округе Уэстчестер, штат Нью-Йорк, — являются системами общественных библиотек с филиалами в соответствующих населенных пунктах, которые предоставляют своим посетителям доступ в интернет. Региональный библиотечный округ Форт-Ванкувер в течение более трех лет с 1999 по 2001 год получил 135 000 долларов в виде грантов LSTA и 19 500 долларов в виде скидок E-rate на доступ в интернет. Публичная библиотека округа Малтнома получила 70 000 долларов в виде скидок E-rate на доступ в интернет в текущем году и подала заявку на 100 000 долларов в виде скидок E-rate на предстоящий год. Система публичных библиотек Норфолка получила 90 000 долларов в виде скидок E-rate на доступ в интернет в текущем году и получила грант LSTA в размере 200 000 долларов на оборудование компьютерных лабораторий в восьми своих библиотеках. Совместный орган управления публичных библиотек Санта-Крус получил 20 560 долларов в виде скидок E-rate на доступ в интернет в 2001–02 годах. SCLS получила от 3 000 до 5 000 долларов в текущем году в виде скидок E-rate на доступ в интернет. Совет Регионального библиотечного округа Форт-Ванкувер является государственным советом, члены которого назначаются избранными окружными комиссарами. Библиотека округа Малтнома является окружным департаментом, совет которого назначается председателем округа и утверждается остальными комиссарами. SCLS представляет собой объединение 51 самостоятельно управляемой статутной членской общественной библиотеки, отношения которых с SCLS определяются законодательством штата. Руководящим органом SCLS является Попечительский совет библиотеки, состоящий из 20 членов, выдвинутых руководителями округов и утвержденных окружными советами супервайзеров. 2. Истцы — пользователи и ассоциации пользователей

Истцы: Ассоциация общественных организаций за реформы сейчас, Друзья библиотеки Института Филадельфии и Пенсильванский альянс за демократию — являются некоммерческими организациями, членами которых являются лица, пользующиеся интернетом в общественных библиотеках, получающих скидки E-rate или средства LSTA для предоставления публичного доступа в интернет. В целях процессуальной правоспособности ассоциации мы отмечаем, что интересы, которые эти организации стремятся защитить в данном судебном разбирательстве, имеют отношение к их уставным целям. Истцы Эммалин Руд (Emmalyn Rood), Марк Браун (Mark Brown), Элизабет Хренда (Elizabeth Hrenda), С. Дональд Вайнберг (C. Donald Weinberg), Шеррон Диксон (Sherron Dixon) в лице своего отца и законного представителя (next friend) Гордона Диксона, Джеймс Герингер (James Geringer), Марник Тайнеша Оверби (Marnique Tynesha Overby) в лице своего законного представителя Кэролин К. Уильямс (Carolyn C. Williams), Уильям Дж. Розенбаум (William J. Rosenbaum), Кэролин К. Уильямс и Куиана Уильямс (Quiana Williams) в лице своей матери и законного представителя Шэрон Бернард (Sharon Bernard) являются взрослыми и несовершеннолетними лицами, которые пользуются интернетом в общественных библиотеках, которые, насколько им известно, не фильтруют доступ посетителей к интернету. Некоторые из этих истцов не имеют доступа в интернет из дома. Эммалин Руд — шестнадцатилетняя девушка, пользующаяся Публичной библиотекой округа Малтнома. Когда ей было 13 лет, она пользовалась интернетом в Публичной библиотеке округа Малтнома для поиска информации по вопросам, связанным с ее сексуальной идентичностью. Г-жа Руд не использовала домашний или школьный компьютер для этих поисков, отчасти потому, что хотела, чтобы ее поисковые запросы были конфиденциальными. Хотя библиотека предлагала посетителям возможность использования программного обеспечения для фильтрации, г-жа Руд не воспользовалась этой возможностью, поскольку у нее уже был опыт блокирования такими программами ценной для нее информации, включая информацию, касающуюся проблем геев и лесбиянок.

Истец Марк Браун пользовался интернетом в Свободной библиотеке Филадельфии для поиска информации о раке молочной железы и реконструктивной хирургии для своей матери, перенесшей операцию на груди. Поиски г-на Брауна в библиотеке предоставили ему и его матери важную информацию о медицинском состоянии его матери и возможных методах лечения. 3. Веб-издатели — истцы Истец Afraid toAsk, Inc., базирующийся в Саундерстауне, штат Род-Айленд, издает веб-сайт санитарно-просветительской тематики www.AfraidtoAsk.com. Доктор Джонатан Бертман (Dr. Jonathan Bertman), президент и медицинский директор Afraid to Ask, является врачом общей практики в сельской местности Род-Айленда и клиническим доцентом семейной медицины в Университете Брауна. Миссия AfraidtoAsk.com заключается в предоставлении подробной информации по деликатным вопросам здоровья, часто имеющим сексуальный характер (например, заболевания, передающиеся половым путем, мужские и женские гениталии и контроль рождаемости), которую ищут люди всех возрастов, предпочитающие узнавать о деликатных проблемах со здоровьем анонимно, то есть те, кто «боится спросить» (afraid to ask). В рамках своей образовательной миссии AfraidtoAsk.com часто использует наглядные изображения сексуальной анатомии для передачи информации. Его основная аудитория — подростки и молодые люди. Судя по данным опросов, собранным на сайте, половина посетителей сайта моложе 24 лет, а четверть — моложе 18 лет. Сайт AfraidtoAsk.com заблокирован несколькими ведущими продуктами блокировки как содержащий материалы откровенно сексуального характера.

Истец Институт Алана Гуттмахера имеет веб-сайт, на котором содержится информация о его деятельности и целях, включая его миссию по защите репродуктивного выбора женщин и мужчин. Истец «Плановое родительство Америки, инк.» (Planned Parenthood Federation of America, Inc. — «Planned Parenthood») является национальной добровольной организацией в сфере охраны репродуктивного здоровья. Planned Parenthood владеет и управляет несколькими веб-сайтами, предоставляющими спектр информации о репродуктивном здоровье: от контрацепции и профилактики заболеваний, передающихся половым путем, до поиска врача, проводящего аборты, и информации о препарате «Мифепристон» (Mifepristone). Истец Safersex.org — это веб-сайт, предлагающий бесплатную информационно-просветительскую информацию о том, как практиковать безопасный секс. Истец Ethan Interactive, Inc., действующий под наименованием Out In America, является поставщиком контента в сети, который владеет и управляет 64 бесплатными веб-сайтами для геев, лесбиянок, бисексуалов и трансгендеров по всему миру. Истечник PlanetOut Corporation является поставщиком контента в сети для геев, лесбиянок, бисексуалов и трансгендеров. Истец Комитет действий натуристов («NAC») является некоммерческим политическим крылом Общества натуристов — частной организации, пропагандирующей образ жизни, характеризующийся практикой нудизма. Веб-сайт NAC предоставляет информацию о деятельности Общества натуристов и о законах штатов и местных законах, которые могут влиять на права натуристов или их способность практиковать натуризм, и включает фотографии своих членов в обнаженном виде.

Истец Уэйн Л. Паркер (Wayne L. Parker) был кандидатом от Либертарианской партии на выборах в Конгресс США 2000 года по Пятому округу штата Миссисипи (и баллотируется снова в 2002 году). Он публикует веб-сайт, на котором размещается информация о его избирательной кампании, а также сведения о его политических взглядах и Либертарианской партии для общественности. Истец Джеффри Поллок (Jeffrey Pollock) был кандидатом от Республиканской партии на выборах в Конгресс США 2000 года по Третьему округу штата Орегон. Он управляет веб-сайтом, который в настоящее время продвигает его кандидатуру в Конгресс в 2002 году. 3. Интернет 1. Общие сведения Как мы отмечали в самом начале, интернет представляет собой обширную интерактивную среду, состоящую из децентрализованной сети компьютеров по всему миру. Интернет представляет собой низкие барьеры для входа для любого лица, желающего предоставить или распространить информацию. В отличие от телевидения, кабельного телевидения, радио, газет, журналов или книг, интернет предоставляет лицам, имеющим к нему доступ, возможность общаться со всемирной аудиторией при минимальных затратах. По меньшей мере 400 миллионов человек пользуются интернетом по всему миру, и приблизительно 143 миллиона американцев пользовались интернетом по состоянию на сентябрь 2001 года. Nat'l Telecomm. & Info. Admin., A Nation Online: How Americans Are Expanding Their Use of the Internet (February 2002), доступно по адресу http://www.ntia.doc.gov/ntiahome/dn/.

Всемирная паутина — это часть интернета, состоящая из сети компьютеров, называемых «веб-серверами», на которых размещаются «страницы» контента, доступные по протоколу передачи гипертекста или «HTTP». Любой человек с компьютером, подключенным к интернету, может осуществлять поиск и извлекать информацию, хранящуюся на веб-серверах, расположенных по всему миру. Пользователи компьютеров обычно получают доступ к вебу, запускя на своих компьютерах программу, называемую «браузером». Браузер отображает в виде отдельных страниц на экране компьютера различные типы контента, найденного в вебе, и позволяет пользователю переходить по заложенным в веб-страницы связям — так называемым «гипертекстовым ссылкам», «гиперссылкам» или просто «ссылкам» — к дополнительному контенту. Двумя популярными браузерами являются Microsoft Internet Explorer и Netscape Navigator. «Веб-страница» — это один или несколько файлов, которые браузер графически компонует для создания целостной картины при запросе пользователем контента через интернет. Веб-страница может содержать множество различных элементов, включая текст, изображения, кнопки, поля форм, которые пользователь может заполнять, и ссылки на другие веб-страницы. «Веб-сайт» — это термин, который может использоваться несколькими различными способами. Он может относиться ко всем страницам и ресурсам, доступным на конкретном веб-сервере. Он также может относиться ко всем страницам и ресурсам, связанным с конкретной организацией, компанией или лицом, даже если они расположены на разных серверах или в подкаталоге на едином сервере, совместно используемом с другими несвязанными сайтами. Как правило, веб-сайт имеет предназначенную для входа точку — «домашнюю страницу» (home page), которая включает в себя ссылки на другие страницы того же веб-сайта или на страницы других сайтов. Через многие веб-сайты доступны онлайн-дискуссионные группы и чаты, касающиеся самых разных тем.

Пользователи могут находить контент в вебе с помощью поисковых систем, выполняющих поиск по запрошенным ключевым словам. В ответ на запрос ключевых слов поисковая система выдаст список веб-сайтов, которые могут содержать релевантный контент, и предоставит ссылки на эти сайты. Поисковые системы и каталоги часто выдают ограниченное число сайтов в результатах поиска (например, поисковая система Google выдает только 2 000 сайтов в ответ на поисковый запрос, даже если она обнаружила, например, 530 000 сайтов в своем индексе, соответствующих критериям поиска). Пользователь может также получать доступ к контенту в вебе, вводя URL (унифицированный указатель ресурса) в адресную строку браузера. URL — это адрес, указывающий на какой-либо ресурс, расположенный на веб-сервере и доступный через интернет. Этим ресурсом может быть веб-сайт, веб-страница, изображение, звуковой или видеофайл либо иной ресурс. URL может представлять собой либо числовой адрес интернет-протокола (IP-адрес), либо буквенно-цифровой адрес «доменного имени». Каждому веб-серверу, подключенному к интернету, присваивается IP-адрес. Типичный IP-адрес выглядит как «13.1.64.14». Ввод URL «http://13.1.64.14/» в браузере приведет пользователя на веб-сервер, соответствующий этому адресу. Для удобства большинство веб-серверов имеют буквенно-цифровые доменные имена в дополнение к IP-адресам. Например, ввод адреса «http://www.paed.uscourts.gov» приведет пользователя на тот же веб-сервер, что и ввод адреса «http://204.170.64.143». Каждый раз, когда пользователь пытается получить доступ к материалу, расположенному на веб-сервере, путем ввода адреса доменного имени в веб-браузер, направляется запрос к Серверу доменных имен (Domain Name Server), который представляет собой каталог доменных имен и IP-адресов, с целью «разрешить» или транслировать адрес доменного имени в IP-адрес. Этот IP-адрес затем используется для обнаружения веб-сервера, с которого запрашивается контент. Доступ к веб-сайту может осуществляться с использованием как его доменного имени, так и его IP-адреса.

Адрес доменного имени обычно состоит из нескольких частей. Например, буквенно-цифровой URL http://www.paed.uscourts.gov/documents/opinions может быть разбит на три части. Первая часть — это протокол передачи, который компьютер будет использовать для доступа к контенту (например, «http» для протокола передачи гипертекста); далее идет имя хост-сервера, на котором хранится информация (например, www.paed.uscourts.gov); а затем имя конкретного файла или каталога на этом сервере (например, /documents/opinions). С одной веб-страницей может быть связано более одного URL. Например, URL http://www.newyorktimes.com и http://www.nytimes.com приведут пользователя на домашнюю страницу New York Times. Каталог верхнего уровня на веб-сайте часто называют корневым каталогом (root directory) или корневым URL данного веб-сайта. Например, в http://www.paed.uscourts.gov/documents корневым URL является http://www.paed.uscourts.gov. Под одним корневым URL могут находиться сотни или тысячи страниц, а может быть одна или всего несколько.

Существует ряд компаний веб-хостинга, которые обслуживают веб-сайты для других предприятий и частных лиц, что может привести к тому, что по одному и тому же IP-адресу будет располагаться огромное количество разнообразного контента. Услуги хостинга предоставляются либо за плату, либо в некоторых случаях бесплатно, что позволяет любому человеку, имеющему доступ к Интернету, создать веб-сайт. Некоторые хостинговые услуги предоставляются посредством процесса «IP-базированного хостинга», при котором каждому доменному имени присваивается уникальный IP-номер. Например, www.baseball.com может соотноситься с IP-адресом «10.3.5.9», а www.XXX.com может соотноситься с IP-адресом «10.0.42.5». Другие хостинговые услуги предоставляются посредством процесса «хостинга на основе имен», при котором несколько адресов доменных имен сопоставляются с одним IP-адресом. Если бы хостинговая компания использовала этот метод, как www.baseball.com, так и www.XXX.com могли бы соотноситься с одним IP-адресом, например «10.3.5.9». В результате процесса «хостинга на основе имен» до десятков тысяч страниц с гетерогенным контентом могут использовать один и тот же IP-адрес. 2. Индексируемый Интернет, «глубокий Интернет»; их объем, темпы роста и изменения

Совокупность контента в Интернете, который теоретически может быть проиндексирован стандартными поисковыми системами, известна как «публично индексируемый Интернет». Публично индексируемый Интернет ограничен теми страницами, которые доступны по ссылке с другой веб-страницы, распознаваемой поисковой системой. Это ограничение существует потому, что методы онлайн-индексации, используемые популярными поисковыми системами и каталогами, такими как Yahoo, Lycos и AltaVista, основаны на технологии «пауков» (spidering), которые находят сайты для индексации, переходя по ссылкам с сайта на сайт в непрерывном поиске нового контента. Если на веб-страницу или сайт нет ссылок от других, то «паук» не обнаружит эту страницу или сайт.

Кроме того, многие крупные веб-сайты содержат программные инструкции, которые препятствуют обследованию этого сайта «пауками», и поэтому содержимое таких сайтов также не может быть проиндексировано с использованием технологии «пауков». Из-за огромного размера и децентрализованной структуры Интернета ни одна поисковая система или каталог не индексируют весь контент публично индексируемого Интернета. Мы принимаем текущие оценки о том, что поисковыми системами и каталогами в совокупности проиндексировано не более 50% контента, присутствующего в настоящее время в публично индексируемом Интернете. Ни один из доступных в настоящее время методов или комбинаций методов сбора URL-адресов не может собрать адреса всех URL-адресов в Интернете. Часть Интернета, которая теоретически не индексируется с помощью технологии «пауков» из-за отсутствия ссылок на нее с других веб-страниц, называется «глубоким Интернетом». Такие сайты или страницы все же могут быть сделаны общедоступными без обеспечения их публичной индексации, например, путем использования индивидуальной или массовой рассылки электронных писем (также известной как «спам») для распространения URL-адреса среди потенциальных читателей или клиентов, либо с помощью типов веб-ссылок, которые не могут быть обнаружены «пауками», но могут быть увидены и использованы читателями. «Спам» является распространенным методом распространения среди потенциальных клиентов ссылок на непристойный контент, который не подлежит индексации. Поскольку Интернет децентрализован, невозможно точно сказать, насколько он велик. В исследовании 2000 года общее число уникальных веб-сайтов оценивалось в 7,1 миллиона, что при историческом темпе роста Интернета должно было увеличиться до 11 миллионов уникальных сайтов по состоянию на сентябрь 2001 года. Оценки общего числа веб-страниц разнятся, но цифра в 2 миллиарда является разумной оценкой числа веб-страниц, к которым теоретически могут обращаться стандартные поисковые системы. Нам не нужно делать конкретный вывод о какой-либо цифре, поскольку по любым меркам Интернет чрезвычайно огромен и он постоянно растет. Индексируемый Интернет растет со скоростью примерно 1,5 миллиона страниц в день. Размер неиндексируемого Интернета, или «глубокого Интернета», хотя его и невозможно определить точно, по оценкам, в два-десять раз превышает размер публично индексируемого Интернета.