Программа дисциплины «Методы измерения в социологии-3» icon

Программа дисциплины «Методы измерения в социологии-3»



НазваниеПрограмма дисциплины «Методы измерения в социологии-3»
страница2/3
Дата конвертации04.08.2012
Размер412,12 Kb.
ТипПрограмма дисциплины
скачать >>>
1   2   3

Базовый учебник


Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007


Формы контроля:


  • текущий контроль – оценка работы слушателей на семинарских занятиях, проверка домашних заданий (каждое представляет собой 3-4 страницы текста, описывающего практическое построение слушателем той или иной шкалы);

  • итоговый контроль – зачет (в форме устной беседы с преподавателем).

Итоговая оценка складывается из оценки преподавателем работы студента на семинарских занятиях (10%), оценки домашних заданий (20%), результата собеседования на зачете (70%).


Содержание программы


Раздел I. ПРОБЛЕМА СОЦИОЛОГИЧЕСКОГО ИЗМЕРЕНИЯ И ВОЗМОЖНЫЕ ПОДХОДЫ К ЕЕ РЕШЕНИЮ


Т е м а 1. Проблема измерения в социологии: общее представление.

(Большая часть поверхностно затрагиваемых ниже проблем будет более подробно раскрыта при изучении других тем.)

Разнородность имеющихся в литературе результатов, касающихся теории социологического измерения (от чисто содержательных рекомендаций по построению анкеты до полностью формализованных, математизированных идей теории измерений). Обещание дать в курсе основания для построения упомянутой теории.

Непригодность для социологии "классического" понимания измерения, основанного на предположении о существовании единицы измерения.

Понятие признака. Установочные и оценочные шкалы. Общие представления о номинальных, порядковых, интервальных шкалах.

Проблемы измерения признака: неадекватность традиционной интерпретации значений большинства признаков содержательному характеру многих социологических задач; проблемы размерности и существования признака. Зависимость решения этих проблем от "взаимодействия" элементов триад <респондент, инструмент измерения, исследователь>, <стимул, отклик, респондент>; от представлений исследователя о том, что происходит в сознании респондента при ответе на предлагаемые ему вопросы и о том явлении, для изучения которого осуществляется измерение; от целей исследования.

Латентные и наблюдаемые переменные. Проблема измерения латентной переменной в социологии. Общий подход к шкалированию: переход от наблюдаемых данных к латентным на базе использования модели "механизма", связывающего одно с другим. Модель восприятия.

"Приборные" измерения в социологии. Относительность, субъективность представлений о типе шкалы.

Нечисловые измерения. Проблема выбора способа анализа результатов измерения. Ее связь с интерпретацией результатов измерения.

Выделение главных задач, решаемых социологом на этапе измерения: поиск адекватного способа измерения; правильная интерпретация его результатов (с учетом используемой модели восприятия и целей исследования); поиск адекватного способа анализа данных.


Основная литература:

Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007. с.9-27

См. также http://ecsocman.edu.ru


Дополнительная литература:

Клигер С. А. , Косолапов М. С. , Толстова Ю. Н. Шкалирование при сборе и анализе социологической информации. М. : Наука, 1978

Осипов Г. В. , Андреев Э. П. Методы измерения в социологии. М. : Наука, 1977

Толстова Ю.Н. Логика математического анализа социологических данных. М.: Наука, 1991


Т е м а 2. Основные направления развития идей, связанных с социологическим измерением. Выделение оснований для построения курса по теории измерений в социологии

(Тема по существу является раскрытием логики построения всего курса. Цель - дать студентам возможность сознательного восприятия всего фрагмента.)

Наши ограничения: рассмотрение только таких подходов, которые (а) в той или иной мере используют математический аппарат; (б) касаются получения информации только от респондента и только на основе непосредственного его опроса. Обоснование отказа от рассмотрения ряда важных фрагментов развития теории социологического измерения, например, изучения вопроса анкеты как инструмента получения эмпирических данных.

20-е годы нашего века как начало серьезной рефлексии социологов по поводу используемого ими инструментария. Обострение необходимости решения проблем, возникающих при анкетных опросах, обусловленное массовостью таких опросов.

"Мягкие" и "жесткие" ("качественные" и "количественные") методы сбора данных. Краткая история их использования в социологии. Достоинства и недостатки каждого подхода. Недостатки терминологии. Коллизия между "мягкими" и "жесткими" методами сбора данных как основное противоречие, приведшее к получению многочисленных результатов, связанных с измерением в социологии. Соответствующее этому взгляду основание построения курса. Необходимость отслеживания того, какой фрагмент реальности отображается в математическую модель при измерении как второе основание курса.

Основные направления развития положений, связанных с социологическим измерением: одномерное шкалирование (будет раскрыто в разделе II), изучение общих представлений об измерении в социологии и построение на этой основе соответствующего формализма (раздел III), типология социологических данных (раздел IY), многомерное шкалирование.

Обсуждение гносеологического статуса всех используемых моделей измерения. Попытки избавиться от трудно проверяемых предположений. Анализ более глубоких причин специфики социологических переменных (раздел Y). Возможность распространения на социологию результатов метрологии (раздел YI).

Основная литература:

Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007. с.28-39

См. также http://ecsocman.edu.ru


Дополнительная литература: [5, 24, 63]

Батыгин Г.С., Девятко И.Ф. Миф о "качественной социологии"//Социологический журнал. 1994. N2. С. 28-42

Методы сбора информации в социологических исследованиях. М.: Наука, 1990. Т.т.1,2

Ядов В. А. Стратегия и методы качественного анализа данных // Социология: 4М. 1991. N 1. С. 14-31

Раздел II. ОДНОМЕРНОЕ ШКАЛИРОВАНИЕ КАК ПОПЫТКА СОВМЕЩЕНИЯ ПОЛОЖИТЕЛЬНЫХ СТОРОН "МЯГКОГО" И "ЖЕСТКОГО" ПОДХОДОВ К СБОРУ ДАННЫХ


Т е м а 3. Шкала Терстоуна для измерения установки

Социально-психологические предположения метода: рассмотрение установки как степени эмоциональной напряженности отношения респондента к предмету установки; соответствие установке латентной переменной, проявляющейся в "поведении" респондента: его ответах на определенные вопросы. Понятие психологического континуума. Прямая линия как его геометрическая модель.

Описание техники получения шкалы. Формирование суждений. Предъявляемые к ним требования. Построение оценочной шкалы как первый этап построения искомой установочной шкалы. Роль и смысл репрезентативности и однородности множества судей. Форма и цель их опроса. Принципы определения весов суждений и выделения тех из них, которые будут служить основанием для строящейся шкалы.

Анализ используемых при реализации метода предположений о восприятии респондентом разных суждений. Геометрическая модель шкалы. "Равноправие" точек, отвечающих респондентам и точек, отвечающих суждениям (подготовка студентов к восприятию одномерного и многомерного развертывания). Распределения, отвечающие отдельным респондентам и суждениям .

Тип получающейся шкалы. "Цена" возможности расценивать шкалу как интервальную. Неоднозначность полученных чисел. Отличие полученной шкалы от числовой.

Основная литература: [1, с. 4-68; 2, с. 35-37; 3, с. 180-185]

Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007. с.4-68

См. также http://ecsocman.edu.ru

Ядов В.А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности. М.: Добросвет, 2003. С.137-158 («Способы проверки процедуры измерения на надежность»). С.180-185

Дополнительная литература: [13, с. 126-130; 17, с. 71-81; 29, с. 104-107; 36, с. 241-244]

Девятко И.Ф. Методы социологического исследования. Учебное пособие для вузов. Екатеринбург: Изд-во Екатеринбургского университета, 1998

Клигер С. А. , Косолапов М. С. , Толстова Ю. Н. Шкалирование при сборе и анализе социологической информации. М. : Наука, 1978

Осипов Г. В. , Андреев Э. П. Методы измерения в социологии. М. : Наука, 1977

Рабочая книга социолога. М. : Наука, 1983


Т е м а 4. Метод парных сравнений и построение на его основе оценочной шкалы

Метод парных сравнений как метод сбора данных. Отличие получаемых с его помощью данных от данных, собираемых более традиционными методами (например, с помощью ранжировки объектов). Его преимущества по сравнению с традиционными подходами. Проблемы, встающие при построении на его основе оценочных шкал: необходимость обеспечения однородности совокупности респондентов; случаи нетранзитивности и симметричности при сравнении объектов в паре; наличие затруднений при ответах респондентов (невозможность сравнения отдельных объектов друг с другом, различная степень уверенности в превосходстве одного объекта над другим). Многомерность строящейся шкалы как одно из объяснений появления нетранзитивности и симметричности.Интерпретация частот, отвечающих количеству респондентов, предпочитающих один объект другому; гипотезы о связи этих частот с искомыми шкальными значениями.

Модели Терстоуна. Анализ содержательного смысла предположений о "поведении" респондента: "плюрализм" мнения респондента о каждом рассматриваемом объекте, предположение о нормальности соответствующего распределения и трактовка его характеристик, соотношение распределений, отвечающих разным респондентам и объектам. Понятие однородности совокупности респондентов. Требование однородности как общий методологический принцип использования математических методов в социологии.

Получение системы уравнений для искомых шкальных значений. Ее переопределенность. Метод наименьших квадратов, его роль в статистике и социологии, использование для решения найденной системы. Факторы, обусловливающие интервальность получаемой шкалы.

BTL-модели. Общий вид простейших предположений и их содержательный смысл. Главная цель рассмотрения этих предположений - показать, что подход Терстоуна - не единственно возможный способ формализации естественных содержательных представлений о связи наблюдаемых данных (матриц парных сравнений) с латентными (искомыми шкальными значениями сравниваемых объектов). Требование параллельного применения нескольких методов для решения одной и той же задачи как общий методологический принцип использования математических методов в социологии.

Иллюстрация значимости для социологии BTL-моделей: указание возможности перехода к соответствующей формальной схеме при попытке сравнения двух признаков посредством выбора каждым респондентом наиболее оптимальной для него пары их значений.

Основная литература:

Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007. с.69-91

См. также http://ecsocman.edu.ru

Теория измерений в социологии (учебная программа; рекомендации по проведению семинарских занятий и организации самостоятельной работы студентов; инструкции по проведению лабораторных работ). М.: Макс Пресс, 2002. с. 37, 47-51

См. также http://ecsocman.edu.ru.

Дополнительная литература:

Дэвид Г. Метод парных сравнений. М. : Статистика, 1978

Клигер С. А. , Косолапов М. С. , Толстова Ю. Н. Шкалирование при сборе и анализе социологической информации. М. : Наука, 1978. с. 56-62

Паповян С.С. Математические методы в социальной психологии. М.: Наука, 1983. с. 75-81

Рабочая книга социолога. М. : Наука, 1983. с. 239-241

Суппес П. , Зинес Дж. Основы теории измерений // Психологические измерения. М. : Мир, 1967. с. 73-74


Т е м а 5. Тестовая традиция. Проблема построения индексов для измерения установки. Шкала Лайкерта. Шкалограммный анализ Гуттмана

Главный принцип построения тестов: наблюдаемые переменные, отвечающие одной латентной, должны быть связаны. Эта связь объясняется действием латентной переменной. Факторный анализ как формализация теории тестов, его принципиальная схема.

Построение социологических индексов как наиболее часто использующийся социологами способ измерения латентной переменной. Вопросы, встающие при построении индексов: существование одномерного континуума; выбор наблюдаемых признаков для агрегации их в индекс, определение вида зависимости индекса от агрегируемых признаков, определение уровня измерения индекса (уровень измерения пока понимается интуитивно).

Измерение установки методом Лайкерта. Вид наблюдаемых признаков. Способы получения ответов на поставленные выше вопросы. Вид критерия согласованности ответов на вопросы анкеты. Его смысл и роль.

Шкалограммный анализ Гуттмана. Вид наблюдаемых признаков. Способы получения ответов на поставленные выше вопросы. Приведение матрицы к диагональному виду. Его смысл и роль. Возможность типологий вопросов и респондентов. Их смысл.

Основная литература:

Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007. с. 92-123

См. также http://ecsocman.edu.ru

Теория измерений в социологии (учебная программа; рекомендации по проведению семинарских занятий и организации самостоятельной работы студентов; инструкции по проведению лабораторных работ). М.: Макс Пресс, 2002. с. 38-42. См. также http://ecsocman.edu.ru

Ядов В.А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности. М.: Добросвет, 2003. С.137-158 («Способы проверки процедуры измерения на надежность»). с. 175-180


Дополнительная литература: [10; 13; 22; 29; 36,; 51]

Грин Б.Ф. Измерение установки // Математические методы в современной буржуазной социологии. М.: Прогресс, 1967, с. 227-287

Девятко И.Ф. Методы социологического исследования. Учебное пособие для вузов. Екатеринбург: Изд-во Екатеринбургского университета, 1998, с.123-125, 125, 130-134

Логика социологического исследования. М. : Наука, 1985. , с. 138-151

Осипов Г. В. , Андреев Э. П. Методы измерения в социологии. М. : Наука, 1977, с. 107-113

Рабочая книга социолога. М. : Наука, 1983 с. 244-248

Толстова Ю.Н. Логика математического анализа социологических данных. М.: Наука, 1991, с. 107-108

Т е м а 6. Латентно-структурный анализ Лазарсфельда (ЛСА)

Рассмотрение мнения, в соответствии с которым творчество Лазарсфельда послужило мощным толчком к широкому использованию "жестких" анкетных методов опроса. Переход к противоположному взгляду - оценка идей ЛСА как подхода к определенного рода "смягчению" жестких методов, ослабление отрицательных моментов последних путем тщательного обдумывания мехaнизма, связывающего наблюдаемые и латентные переменные.

Аксиома локальной независимости как основа упомянутой связи. Пример поиска заранее неизвестной переменной, объясняющей связи в наблюдаемой частотной таблице. Связь аксиомы локальной независимости с идеями, заложенными в коэффициентах множественной и частной корреляции, в факторном анализе.

Основные понятия ЛСА в его простейшем варианте (одна номинальная латентная переменная с заданным числом значений, дихотомические вопросы в анкете). Формальная постановка задачи, решаемой с помощью ЛСА ("вход" и "выход"). Принципы построения уравнений для нахождения латентных вероятностей. Проблема интерпретации результатов анализа, связь найденных вероятностей с сущностью искомой латентной переменной. Определение вероятности попадания респондента с заданным набором ответов в тот или иной латентный класс. Основные пути обобщения модели, первоначально предложенной Лазарсфельдом.

Рассмотрение ЛСА как процедуры построения типологии. Характеристика каждого типа с помощью латентного вероятностного распределения. Связь с идеей Терстоуна о "плюрализме" мнений одного респондента. Роль использования языка математики в процессе построения алгоритмов измерения интересующих социолога переменных (на примерах идей Терстоуна и Лазарсфельда).

Основная литература:

Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007. с. 123-129

См. также http://ecsocman.edu.ru

Теория измерений в социологии (учебная программа; рекомендации по проведению семинарских занятий и организации самостоятельной работы студентов; инструкции по проведению лабораторных работ). М.: Макс Пресс, 2002. с. 42-44, 51-63 См. также http://ecsocman.edu.ru


Дополнительная литература:

Батыгин Г.С. Ремесло Пауля Лазарсфельда (введение в научную биографию // Вестник АН СССР, 1990, №8

Дегтярев Г.П. Построение типологии с помощью модели латентных классов // Математические методы в социологическом исследовании. М.: Наука, 1981

Лазарсфельд П.Ф. Логические и математические основания латентно-структурного анализа // Математические методы в современной буржуазной социологии. М.: Прогресс, 1966. С.344-401.

Лазарсфельд П.Ф. Измерение в социологии // Американская социология. М.: Прогресс, 1972.

Лазарсфельд П.Ф. Латентно-структурный анализ и теория тестов // Математические методы в социальных науках. М.: Прогресс, 1974. С. 42-54.

Миркин Б.Г. Анализ качественных признаков и структур. М.: Статистика, 1980, с.57-64

Моделирование социальных процессов. Учебное пособие. М.: Изд-во Рос. Экон. Академии им. Г.В.Плеханова. 1993, с. 56-62

Осипов Г. В. , Андреев Э. П. Методы измерения в социологии. М. : Наука, 1977, с.140-151

Социальное исследование: построение и сравнение показателей. М.: Наука, 1978, с. 45-47

Статистические методы анализа информации в социологических исследованиях. М.: Наука, 1979, с.249-266

Типология и классификация в социологических исследованиях. М.: Наука, 1982, с.99-109


Т е м а 7. Семантический дифференциал. Использование в социологии его формальной схемы. Другие методы проективной техники и оценочной биполяризации

Психологические предпосылки применения метода семантического дифференциала Осгуда. Явление синестезии. Смысл и значение. Денотативные и коннотативные характеристики.

Техника получения исходных данных. Выявление Осгудом латентных факторов, лежащих в основе синестезии (оценка, сила, активность), с помощью факторного анализа.

Возможность формального использования техники в отсутствие психологических предпосылок (деловой портрет, методики ГОЛ). Классификация задач, решаемых с помощью этой техники. Возможность применения методов многомерного статистического анализа к данным, полученным на основе техники семантического дифференциала. Проблема однородности совокупности респондентов при использовании той же техники.

Общее представление о психосемантических методах и их применении в социологии.

Метод семантического дифференциала как проективная процедура. Другие примеры таких процедур. Метод семантического дифференциала как метод оценочной биполяризации. Другие методы такого же рода.


Основная литература:

Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007. с. 130-146

См. также http://ecsocman.edu.ru

Теория измерений в социологии (учебная программа; рекомендации по проведению семинарских занятий и организации самостоятельной работы студентов; инструкции по проведению лабораторных работ). М.: Макс Пресс, 2002. с. 44-45. См. также http://ecsocman.edu.ru

Ядов В.А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности. М.: Добросвет, 2003. С.137-158 («Способы проверки процедуры измерения на надежность»). с. 300-305


Дополнительная литература:

Авраменко В. Г. , Багаева Т. И. Критерий оценки качества методик "ГОЛ" // Социс. - 1990. - N 12. С. 112-115.

2. Баранова Т. С. Психосемантические методы в социологии // Социология: 4М. - 1994. - N 3-4. С. 55-64.

3. Баранова Т. С. Психологическое исследование социальной идентичности личности / Социальная идентификация личности - 2 (Книга 2). - М. : Институт социологии РАН. С. 202-237.

Интерпретация и анализ данных в социологических исследованиях. М.: Наука, 1987, гл.9

Методы социальной психологии. Л.: Изд-во ЛГУ, 1977 Петренко В.Ф. Основы психосемантики. М.: Изд-во МГУ, 1997


Осипов Г. В. , Андреев Э. П. Методы измерения в социологии. М. : Наука, 1977, с.115-118

Петренко В.Ф. Основы психосемантики. М.: Изд-во МГУ, 1997

Рабочая книга социолога. М. : Наука, 1983, с.248-251

Хорошилов В. А. , Шевченко Д. А. Новые информационные технологии в социологических исследованиях // Социс. - 1991. - N 1. С. 115-120.


Т е м а 8. Одномерное развертывание. Логика многомерного развертывания

Цели использования одномерного развертывания. Основные модели восприятия респондентом рассматриваемых объектов при их сравнении - векторная модель и модель идеальной точки. Расположение респондентов и объектов на одной прямой в модели идеальной точки. Пример одномерного развертывания для трех объектов и произвольного количества респондентов. Степень неоднозначности результатов измерения (суть порядковой шкалы). Важность получения оценочной порядковой шкалы с помощью рассматриваемого метода. Некорректность традиционных подходов к получению таких шкал.

Переход к четырем объектам. Возможность установить порядок для некоторых расстояний между объектами. Важность для социолога установления такого порядка. Снижение степени неоднозначности в выборе места точек для объектов на прямой. Промежуточный характер соответствующей шкалы (между порядковой и интервальной).

Метод одномерного развертывания как шкальный критерий.

Методические выводы из анализа принципов одномерного развертывания. Неоднозначность числового представления объектов при моделировании интересующих социолога отношений между этими объектами как основная характеристика "взаимоотношения" социологии и математики. Возможность измерения соотношений между расстояниями без использования неадекватных методов опроса. Важность для социолога шкал, "промежуточных" между шкалами традиционных типов. Неудовлетворительность одномерной модели, необходимость перехода к многомерному шкалированию.

Основная литература:

Толстова Ю.Н. Измерение в социологии. М.: КДУ, 2007. с. 147-161

См. также http://ecsocman.edu.ru

Теория измерений в социологии (учебная программа; рекомендации по проведению семинарских занятий и организации самостоятельной работы студентов; инструкции по проведению лабораторных работ). М.: Макс Пресс, 2002. с. 45-46. См. также http://ecsocman.edu.ru


Дополнительная литература: [10; 17; 64]

Грин Б.Ф. Измерение установки // Математические методы в современной буржуазной социологии. М.: Прогресс, 1967, с.278-279

Клигер С. А. , Косолапов М. С. , Толстова Ю. Н. Шкалирование при сборе и анализе социологической информации. М. : Наука, 1978, с. 62-71

McIver J.P., Carmines E.G. Unidimensional scaling // Sage university papers series. Quantitative applications in the social sciences. No. 24, 1981

Coombs C.H., Raiffa Y., Thrall R.M. Some views on mathematical models and measurement theory // Psychol. Rev., 61, 1954, pp 132-144


1   2   3




Нажми чтобы узнать.

Похожие:

Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Методы измерения в социологии-3»
Предлагаемая программа является обобщением программ двух дисциплин «Методы социологического исследования-1» и «Методы социологического...
Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Методы измерения в социологии»
Основные направления развития идей, связанных с социологическим измерением. Выделение оснований для построения курса по теории измерений...
Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Методы измерения в социологии»
Предлагаемый курс является курсом по выбору для социологов-бакалавров 3-го года обучения. Предполагается, что слушатели знакомы с...
Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Методы измерения в социологии»
Предлагаемый курс является курсом по выбору для социологов-бакалавров 3-го года обучения. Предполагается, что слушатели знакомы с...
Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Организация, подготовка и презентация социологического исследования»
Предполагается также, что слушателями освоены дисциплины «Методы измерения в социологии», «Анализ данных-1» и «Анализа данных-2»,...
Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Организация, подготовка и презентация социологического исследования»
Предполагается также, что слушателями освоены дисциплины «Методы измерения в социологии», «Анализ данных-1» и «Анализа данных-2»,...
Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Организация, подготовка и презентация социологического исследования»
Предполагается также, что слушателями освоены дисциплины «Методы измерения в социологии», «Анализ данных-1» и «Анализа данных-2»,...
Программа дисциплины «Методы измерения в социологии-3» icon«Национальный исследовательский университет «Высшая школа экономики»» Факультет менеджмента Отделение прикладной политологии Программа дисциплины «Социология и математические методы в социологии раздел «Математические методы в социологии»
Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления 030200 «Политология»...
Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Методы измерения в социологии-2»
«Методы социологического исследования-1», без сравнения с этими методами материал предлагаемого курса как бы «повисает» в сознании...
Программа дисциплины «Методы измерения в социологии-3» iconПрограмма дисциплины «Методы измерения в социологии-2»
«Методы социологического исследования-1», без сравнения с этими методами материал предлагаемого курса как бы «повисает» в сознании...
Разместите кнопку на своём сайте:
Документы


База данных защищена авторским правом ©rushkolnik.ru 2000-2015
При копировании материала обязательно указание активной ссылки открытой для индексации.
обратиться к администрации
Документы