Реферат: Предисловие к русскому изданию постижение через сопряжение

ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ ПОСТИЖЕНИЕ ЧЕРЕЗ СОПРЯЖЕНИЕ
Мир един и неделим. И не важно даже, кто первый произнес эти, безусловно, правильные слова. Однако, когда речь заходит об исследовании мира, мы, как правило, беспощадно делим и максимально упрощаем его, чтобы ничто не мешало нам изучать полученный таким образом кусочек мира. Самый привычный прием упрощения - введение признаков, характерных черт, свойств, факторов, присущих или не присущих нашему объекту изучения. В этом случае можно эмпирически исследовать каждую из выбранных характеристик. И хотя мысль о том, что их достаточно большая совокупность синтезирует изучаемый объект, несколько наивна, все же в идее совместного рассмотрения как можно большего числа признаков что-то есть. Практически же эта идея приводит к построению и исследованию таблиц со многими входами, которые и служат предметом анализа предлагаемой вниманию читателя книги Г. Аптона.

Речь в этой работе, правда, идет не о любых многомерных таблицах (что было бы уместно в книге по многомерному статистическому анализу), а лишь о таких, в которых из-за неумения или нежелания мы фиксируем только число элементов выборки, обладающих соответствующим набором признаков. Это означает, что измерения ведутся в номинальной шкале. Конечно, часто хочется большего, но и такие данные нередко вполне достаточны и весьма важны.

Когда имеешь дело с материалом такого рода, прежде всего важно суметь ответить на следующие вопросы: как получены экспериментальные данные? какова статистическая модель ситуации? как выбраны меры и критерии? в чем цель исследования?

Первый из них, в свою очередь, можно свести к вопросам о том, чем и как мы управляем в ходе исследования. А такие формулировки характерны для планирования эксперимента. В этом смысле можно говорить о выборе самих признаков как о задаче планирования эксперимента (может быть, лучше сказать <предпланирования>).

Все подобные вопросы остались за границами книги: они требуют слишком большого проникновения в суть конкретных задач. Без внимания остались и вопросы об объеме выборки и ее структуре, о том, что мы обычно называем планом выборки. Следовательно, эта книга о <пассивном> эксперименте, об обработке данных, которые уже собраны, ничего ни прибавить, ни убавить нельзя. Понять автора вполне можно: рассмотрение проблем планирования потребовало бы резкого увеличения объема книги.

[3]

Отвечая на второй из перечисленных выше вопросов, сразу отметим, что самая естественная модель такого рода - это модель дисперсион-ного анализа, которая и используется в книге почти во всех случаях. Причем автору удалось достигнуть такой ясности и легкости повествования, какие характерны для изложения вполне сформировавшихся научных концепций. Можно было бы, конечно, работать в рамках регрессионной или байесовской моделей (о чем автор упоминает), но это неминуемо привело бы к потере многих достоинств книги и даже изменило бы ее ориентацию. Напомним, что в модели дисперсионного анализа уровни факторов считаются заданными без всяких ошибок; следовательно, мы всегда безошибочно можем отличить, скажем, любителя тенниса от поклонника крикета, а любителя бейсбола от почитателя шахмат. Статистические свойства признаются за откликом. (А если отклик - не частота, то модель репараметризуется.)

Хотя в книге упоминаются многие меры связи и независимости, а также критерии качества моделей, накопленные в процессе длительного развития прикладной статистики, центральную роль все же играют <вариации на тему ?2-критерия>. Сознавая некоторую ограниченность такой позиции, нельзя не признать, что это единственный способ консолидации того огромного разрозненного материала, который был собран к моменту начала работы над книгой.

Говоря о целях исследования, можно иметь в виду как содержательный, так и методологический аспекты. В содержательном плане таблицы сопряженности служат важным инструментом для социолога, экономиста, демографа, реже - инженера. Потребность в них обычно возникает тогда, когда мы пытаемся понять особенности поведения выборки некоторых объектов через приписываемые этим объектам свойства. Причем желание <сопрягать> несколько свойств диктуется, как правило, тем, что поодиночке их уже испытали и потерпели фиаско. С методологической стороны вопрос сводится к тому, какую гипотезу (или гипотезы) мы собираемся проверять. Автор подробно останавливается на всех стандартных ситуациях, так что нет смысла их перечислять.

Таким образом, мы имеем дело с компактной и четкой монографией по таблицам сопряженности признаков (кстати, насколько нам известно, первой на русском языке), адресованной прежде всего пользователю и снабженной многочисленными конкретными примерами.

Однако ограничиться сказанным нельзя, ибо данная книга - результат переворота в методологии анализа таблиц сопряженности признаков, связанного с именем профессора Чикагского университета Лео Гудмена, который ввел так называемую логарифмически-линейную модель. Его идея, оказавшаяся очень богатой, совсем проста. Если учтены все важные признаки, то естественно предположить, что частота в некоторой ячейке пропорциональна произведению частот самих признаков, образующих эту ячейку. Тогда получится модель, линейная относительно логарифма частоты. Именно такой подход позволил объединить многочисленные и многообразные результаты в единую стройную теорию. Монография Л. Гудмена (см. список дополнительной литературы в конце книги) издана в США одновременно с

[4]

данной книгой. Она не только в пять раз больше по объему, но и адресована в основном специалистам по статистической методологии. Здесь же Г. Аптону удалось трансформировать большой и сложный материал так, что он стал вполне доступным для конкретного специалиста, знакомого с азами статистической теории.

Структура книги отчетлива и логична. Она хорошо отражена в авторском предисловии и оглавлении. Не будем их дублировать, отметим лучше, что логлинейная модель порождает структуры, обладающие глубоким и не до конца выясненным родством с полными и дробными факторными экспериментами. В неожиданном ракурсе представлены связи между концепцией смешанности эффектов, моделью дисперсионного анализа и вырожденностью полной матрицы системы нормальных уравнений метода наименьших квадратов в стандартных задачах дисперсионного анализа. Книга написана простым языком; переводы основных терминов вместе с их оригиналами приведены в конце книги.

Мы уже говорили, что это первая книга на русском языке, посвященная специально таблицам сопряженности признаков. Но было бы неверно думать, что данная тема не обсуждалась ранее. Нами составлен весьма краткий список дополнительной литературы, который призван помочь заинтересованному читателю пойти дальше или углубиться в историю. Список открывает монография Л. Гудмена [1], составленная из его статей. Ее чтение - наилучший способ углубления в проблематику логлинейных моделей. Классические результаты, как правило, с примерами можно найти, в частности, в работах [2]-[6]. Систематический обзор мер связи и соответствующих им статистических критериев приведен в [7], а информационные меры - в [8] и [9]. О связи с задачами планирования факторных экспериментов говорят работы [10] и [11], с моделью регрессионного анализа - [12]. Анализ остатков (причем не обязательно для случая частот) описан в [13] и [14]; общие соображения о проверке гипотез для таблиц сопряженности есть в [15], байесовский анализ для таблиц 2?2 - в [16], а быстрые методы проверки гипотез - в [17]. Группа работ [18]-[32] интересна главным образом иллюстрациями из самых разнообразных областей человеческой деятельности: археологии и антропологии, медицины и фармакологии, экономики и демографии и др. Отметим еще, что таблицы сопряженности (и их обобщения - таблицы с многими входами) используются иногда как вспомогательные средства в рамках некоторых процедур обработки данных. Это имеет место, например, в процедуре одного из методов планирования отсеивающих экспериментов, метода случайного баланса [33], [34] и в ряде ситуаций имитационного моделирования [35]. Из авторской библиографии и нашего дополнительного списка, двигаясь по цепочке ссылок, можно получить исчерпывающее представление о работах в этой области.

Мы надеемся, что сказанного достаточно для того, чтобы у читателя возникло желание освоить методы анализа таблиц сопряженности признаков и тем самым овладеть еще одним инструментом познания структуры нашего мира в его единстве.

Ю.Адлер
ПРЕДИСЛОВИЕ
Посвящается М. и Д.

Эта книга обязана своим появлением курсу лекций, которые меня пригласили прочитать на летней школе Европейского консорциума политических исследований в университете Эссекса в 1976 г. Готовясь к этим лекциям, я заметил, что после 1970 г. в области анализа таблиц сопряженности достигнуты большие успехи, но до сих пор нет простого руководства по новым методам. Коллеги по летней школе прекрасно приняли мои заметки, и родилась идея этой книги.

Цель книги - облегчить подход к трудностям анализа <перекрестно-классифицированных> данных, которые статистики знают как таблицы сопряженности, а социологи - как таблицы со многими входами. Данная книга адресована прежде всего социологам-исследователям, которые накапливают данные и нуждаются в средствах их анализа. Располагая многомерными данными, такой ученый подчас проводил анализ в терминах мер связи для таблиц с двумя входами. Теперь, познакомившись с нашей книгой, он, можно надеяться, будет в состоянии вести более тонкий анализ.

Книга изобилует ссылками на первоисточники. Обозначения в пределах разумного согласованы с этими первоисточниками. Общее представление об основах статистической методологии - вот все, что требуется от читателя. Поэтому книга должна стать одинаково полезной и для исследователя, и для студента, осваивающего статистику.

В гл. 1 даются очерк, вводящий в основную проблему, и обзор статистических методов, используемых в книге. Главы со 2-й по 4-ю - это сводка наиболее важных <традиционных> методов анализа, в том числе методов анализа связей. Эти главы служат одновременно и введением в использование логарифмически-линейной модели, которая рассматривается на протяжении 5-9-й глав. Последняя глава отведена для частных задач, возникающих при обработке данных опросов. Принципиальная установка этой книги - упор на ведущую роль логарифмически-линейной модели и методов измерения связей в анализе таблиц сопряженности.

Насколько это возможно, уравнения приводились только тогда, когда это облегчало понимание описываемых методов. Когда же в теории возникали трудности (для автора, как и для читателя), они опускались и давались ссылки на первоисточники и краткие аннотации.

Я признателен многим людям, способствовавшим появлению этой книги, с благодарностью приму сообщение о любых обнаруженных ошибках и учту его в дальнейшей работе.

Август 1977 Г. Дж. Г. АПТОН
^ ГЛАВА I ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ ИЗ СТАТИСТИКИ
1. ВВЕДЕНИЕ

Эта книга посвящена методам, пригодным для анализа данных весьма специального вида. Такие данные представляют собой числа людей, населенных пунктов или вещей, обладающих различными сочетаниями свойств. Подобные данные появляются сами собой, когда обобщаются результаты обследований или анализируются опросные анкеты, хорошо известные социологам. В табл. 1.1 представлены условные сводные данные обследования, направленного на выяснение спортивных интересов населения Великобритании.

Лица, опрашиваемые в этом обследовании, классифицируются по трем признакам (критериям): по полу, по возрасту и по тому, какому виду спорта они отдают предпочтение. Поскольку все три классификации используются одновременно, мы говорим, что имеет место перекрестная классификация данных. С другой стороны, поскольку каждый из участников обследования попадает в одну из восьми возможных разновидностей ответов, мы можем называть такие данные категоризованными (дискретными, качественными).

Если мы всмотримся в данные табл. 1.1, то заметим различные особенности, которые можно интерпретировать. Бросается в глаза, что большинство женщин предпочитает теннис (181 из 206), тогда как большинство мужчин отдает предпочтение крикету (132 из 194). Вероятно, следующие наиболее очевидные обстоятельства заключаются в том, что молодежь в выборке преобладает (55% тех, кто не старше 45 лет) и что среди перешедших рубеж 45 лет больше женщин (98 из 180, что составляет 54%). Есть в данных и другие особенности. Цель этой книги - описать методы, которые должны помочь нам выявлять интересные особенности данных такого рода.

Таблица 1.1.
^ Результаты обследования спортивных интересов
Категории обследуемых (вид ответа)

Количество

Мужчина, старше 45 лет, предпочитающий крикет теннису

Мужчина, старше 45 лет, предпочитающий теннис крикету

Мужчина, 45 лет и моложе, предпочитающий крикет теннису

Мужчина, 45 лет и моложе, предпочитающий теннис крикету

Женщина, старше 45 лет, предпочитающая крикет теннису

Женщина, старше 45 лет, предпочитающая теннис крикету

Женщина, 45 лет и моложе, предпочитающая крикет теннису

Женщина, 45 лет и моложе, предпочитающая теннис крикету

58

24

74

38

12

86

13

95

[7]

^ 1.2. ПЕРЕКРЕСТНАЯ КЛАССИФИКАЦИЯ

Перекрестная классификация - это выражение, хорошо знакомое пользователям пакета программ SPSS (пакет статистических программ для социологов), см. [Niе N. Н. еt аl., 1975]. Там описано довольно простое представление данных табл. 1.1, но в более компактном виде, показанном в табл. 1.2.
^ Таблица 1.2. Перекрестная классификация данных табл. 1.1
Предпочтение

Мужчины

Женщины

старше 45 лет

45 лет и моложе

всего

старше 45 лет

45 лет и моложе

всего

Крикет

Теннис

58

24

74

38

132

62

12

86

13

95

25

181
Всего
82

112

194

98

108

206

Мы можем рассматривать две части табл. 1.2 как две подтаблицы. Каждая из них учитывает два критерия - пол и предпочтение. Поэтому мы называем такую таблицу таблицей с двумя входами. С другой стороны, поскольку подтаблица легко располагается на плоскости и образует массив чисел, мы можем говорить о ней и как о двумерном массиве или двумерной таблице. Причем полную таблицу можно было бы легко представить на плоскости только после разбиения, показанного в табл. 1.2. Правда, в основу разбиения в табл. 1.2 положен такой признак, как пол, а мы могли бы с равным успехом разделить, скажем, по возрасту, что показано в табл. 1.3.

Табл. 1.2 и 1.3 - это фактически два альтернативных двумерных представления трехмерной таблицы, показанной на табл. 1.4. В табл. 1.4 выявляется симметричность структуры табл. 1.1, которая затушевана во всех других способах представления данных. В этом смысле представления в табл. 1.2 и 1.3, может быть, были бы лучше, но это, конечно, не метод записи данных, который был бы удобен на практике.

Таблица 1.3. Альтернативное представление табл. 1.1

Предпочтение

Старше 45

^ 45 и моложе

мужчины

женщины

всего

мужчины

женщины

всего

Крикет

Теннис

58

24

12

86

70

110

74

38

13

95

87

133

Всего

82

98

180

112

 

108

220

[8]


Таблица 1.4.


Трехмерное
представление табл. 1.2

 

Позже мы выясним, как вести анализ трехмерных данных, вроде тех, что представлены в табл. 1.1, а заодно исследуем и методы, которые с равным успехом можно приложить и к n-мерным данным при n>3.

^ 1.3. ВЫБОРКИ, СОВОКУПНОСТИ И СЛУЧАЙНЫЕ ОТКЛОНЕНИЯ

В табл. 1.1 мы привели гипотетическое множество результатов обследования. Теперь нам стоит проследить за историей этих результатов от исходного набора предписаний, данных коллективу обследователей (<команде>). В общем можно предположить, что эти предписания звучали приблизительно так: <Пойдите и опросите 400 взрослых людей, классифицируя опрашиваемых по следующим правилам...> Если правила выборки сформулированы, то результаты образуют выборку, от которой можно ожидать, что она станет зеркалом совокупности, из которой ее извлекли. Выходит, что сама совокупность оказывается в зависимости от правил выборки. Так, если все опрашиваемые въезжали в Большой Лондон между 10 и 11 часами утра в пятницу 22 июля 1977 г., то результаты, строго говоря, образуют выборку из совокупности людей, доступных для интервьюирования именно в этом месте и в это время. Если эта совокупность совсем такая же (с точки зрения таких признаков, как пол, возраст и крикет/теннис-предпочтение), как и прочее население Великобритании, то тогда и только тогда имело бы смысл извлекать эту выборку из всего населения страны. Огромные трудности выбора из неоднородных совокупностей и детали соответствующих методов мы оставим за границами нашей книги. Заинтересованные читатели могут обратиться к работе [Сосhran W. G., 1963].
^ Таблица 1.5. Результаты второй команды Предпочтение
Старше 45

45 и моложе

мужчины

женщины

всего

мужчины

женщины

всего

Крикет

Теннис

53

25

20

76

73

101

68

36

11

111

79

147

Всего

78

96

174

104

122

226




[9]

Мы, конечно, не должны ожидать, что выборочными характеристиками будут всякий раз в точности одни и те же числа. Если, например, другая команда повторит обследование, пользуясь теми же самыми методами, что и первая, то интервьюированию подвергнется другая выборка и результаты могут получиться вроде тех, что представлены в табл. 1.5. Хотя эти результаты разительно отличаются от данных табл. 1.3, все же остаются в силе окончательные суждения о предпочтениях крикета для мужчин и тенниса для женщин. Важный момент состоит в том, что сами изменения надо рассматривать как выборочные различия. Назовем их случайными выборочными различиями (отклонениями). Отсюда само собой следует, что у нас нет оснований верить в точное отражение в выборке свойств совокупности.

^ 1.4. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ

Есть в статистике очень важная теорема, называемая центральной предельной теоремой. Она, между прочим, утверждает, что любые величины, которые в основном состоят из множества аналогичных отдельных значений, должны иметь приближенное нормальное распределение. А поскольку мы очень часто вынуждены иметь дело с суммами, нормальное распределение играет в статистике важную роль. Особенно важно так называемое единичное (нормированное) нормальное распределение - частный случай нормального со средним 0 и дисперсией 1.

Если X - случайная величина с единичным нормальным распределением, то мы определим

Р [X ? х] = Ф (х), (1.1)

где выражение в левой части уравнения (1.1) читается так: <вероятность того, что случайная величина X примет значение, меньшее или равное x>. Поскольку единичное нормальное распределение симметрично относительно среднего, равного 0, справедливо тождество

Ф(-х) = 1-Ф(х). (1.2)

В приложении 1 приведены краткие таблицы значения Ф (х) для положительных х. А для отрицательных значений х можно воспользоваться соотношением (1.2).
Пример 1.1
Известно, что случайная величина X имеет единичное нормальное распределение. Пусть нас интересуют следующие вопросы:

а. Чему равна вероятность того, что X превышает 0,4?

б. Будет ли значение - 1,8 необычайно малым?

Обратимся к приложению 1. Для х = 0,4 находим Ф(0,4) = 0,655. Это вероятность того, что X меньше, чем 0,4, следовательно, требуемая вероятность равна: 1 - 0,655 = 0,345.

Для х = 1,8 находим Ф(1,8) = 0,964. Нас же интересует вероятность Р [X ? - 1,8], которая в силу симметрии равна Р[X?1,8], и, следовательно, составляет 1 - 0,964 = 0,036, или 3,6%. Мы можем почувствовать, что - 1,8 это действительно довольно малое значение.

[10]

^ 1.5. РАСПРЕДЕЛЕНИЕ ХИ-КВАДРАТ

Следующее распределение вероятностей, имеющее первостепенное значение при анализе таблиц сопряженности, это распределение хи-квадрат (?2), которое следующим образом соотносится с нормальным распределением. Если X имеет единичное нормальное распределение, то X2 имеет распределение ?2 с параметром 1. Существует целое семейство распределений ?2, зависящих от параметра, называемого <числом степеней свободы>.

Если случайная величина ^ Y имеет распределение ?2 с d степенями свободы, то мы пишем, что Y имеет -распределение.

В приложении 2 для разных значений d приводятся значения у, соответствующие вероятностям Р [Y >у] = 0,10; 0,05; 0,01 и 0,001. Ниже показано на примерах, как пользоваться этими таблицами.

У ?2-распределения много интересных и полезных свойств. Так, если Y и Z - независимые случайные величины с распределениями ? - и ?- соответственно, то (У + Z) имеет распределение ?-- А вот еще узелок на память: среднее распределения ?- равно d.

Дальнейшие подробности относительно ?2 и нормального распре-делений можно найти в более простых учебниках статистики, см., например, книгу [Yeomans К. А., 1968]. А более подробные таблицы обоих распределений содержатся во многих сборниках статистических таблиц*, например в [Lindley D. V., Miller J. C.P., 1952].
Пример 1.2
Известно, что Y имеет распределение ? - Наблюдается значение 12,40. Не слишком ли оно велико?

Обращаемся к приложению 2 и выбираем строку, соответствующую d = 4. Видим, что Р [Y >9,49] = 0,05, а Р [Y > 13,28] = 0,01. Интересующее нас значение 12, 40 лежит между 9,49 и 13,28, откуда можно заключить, что вероятность этого значения заключена между 0,05 и 0,01. Вероятность между 5 и 1% довольно мала, и мы можем почувствовать, что 12,40 - это достаточно большое значение.
Пример 1.3
Известно, что Y имеет распределение ? - Наблюдается значение 44,00. Не слишком ли оно велико?

Обращаемся к приложению 2 и обнаруживаем, что d = 36 в таблице отсутствует. Зато там есть d = 30 и d = 40, и, воспользовавшись линейной интерполяцией, мы найдем, что значение у, соответствующее вероятности Р [Y >у] = 0,10, приблизительно равно: 40,26 + 0,6?(51,81 - 40,26) = 47,19. Поскольку наше значение 44,00 несколько меньше, чем 47,19, выходит, что Р [Y >44,00] >0,10. Отсюда следует, что значение 44,00 отнюдь не слишком велико, ибо его можно ожидать чаще, чем в 10% случаев.

[11]

^ 1.6. ПРОВЕРКА ГИПОТЕЗ

До самого конца книги мы будем постоянно делать предположения, направленные на поиск возможностей математического описания взаимосвязей, содержащихся в данных. Такое предположение назовем гипотезой. Поближе познакомимся с теми гипотезами, какие мы выдви-нем применительно к множествам данных, подобных представленным в табл. 1.1. Эти гипотезы относятся к независимости друг от друга соответствующих признаков (таких, как пол, возраст и крикет/теннис-предпочтение в данном случае), т. е. к взаимной независимости, которую мы изучим детально. Будем называть нашу исходную гипотезу нуль-гипотезой.

Для проверки истинности или ложности этой гипотезы нам надо сравнить ее с какой-то альтернативной гипотезой, которую применительно к нашим случаям проще всего определить как <нуль-гипотеза не верна>.

Для проверки состоятельности нуль-гипотезы исследователи-аналитики применяют следующий подход. Сначала они предполагают, что нуль-гипотеза верна. Затем, пользуясь этим предположением, пытаются подсчитать вероятности, связанные с возможными значениями некоторых сочетаний чисел, подлежащих проверке. Эти самые <некоторые подходящие значения> называют статистиками, лежащими в основе критерия. Если наблюденное значение этой статистики необычно, например, в том смысле, что его или значение, еще больше отстоящее от среднего, можно ожидать не чаще, чем в 1% случаев, то статистики утверждают, что либо произошел очень редкий случай, либо не верно исходное предположение (нуль-гипотеза). В общем они тогда предпочитают последнюю точку зрения и отвергают нуль-гипотезу в пользу альтернативы.

Пример проверки гипотезы дает ?2-критерий качества модели, описанный в параграфе 1.8.

^ 1.7. ОЦЕНИВАНИЕ И ОЖИДАНИЕ

Одна из особенностей данных табл. 1.1 заключается в том, что среди 400 опрошенных было 194 мужчины и 206 женщин. Если группа опрошенных представляла случайную выборку из населения Великобритании (а это следует предположить), то мы можем воспользоваться такой выборочной информацией для получения некоторых выводов относительно всего населения. Это называется статистическим выводом.

Здравый смысл подсказывает, что если нет никакой дополнительной информации, кроме той, что содержится в цифровых данных, то лучшее утверждение, какое мы можем сделать относительно доли мужчин в совокупности,- это 194/400 = 0,485. В данном случае здравый смысл совпадает со статистическим принципом. Если неизвестную долю мужчин в совокупности обозначить через р, то довольно просто показать, что это именно то значение р (получившееся из экспериментальных данных о 194 мужчинах и 206 женщинах), которое с наибольшей вероятностью можно встретить при повторной выборке. Статисти-

[12]

ки называют это значение роценкой максимума правдоподобия и обозначают его .

Слово <оценивание>, следовательно, ассоциируется с выводом по выборке о совокупности. С другой стороны, оценивание по смыслу ассоциируется с движением в обратном направлении, что проще всего показать на примере. Пусть у нас есть новенькая монета с <орлом> на одной стороне и <решкой> на другой. Если мы будем ее подбрасывать честно, то все согласятся, что примерно в половине случаев она выпадет <орлом>, а в остальных - <решкой>. Если мы подбросим монету N раз, то статистическое ожидание числа <орлов> будет в точности 1/2N. Заметим, что когда N нечетно, то и ожидание не будет целым числом. Вовсе не обязательно, чтобы ожидаемая частота (ожидание) была целым числом, что вводит в терминологию некоторую путаницу.

Теперь мы готовы к тому, чтобы объединить идеи оценивания и ожидания. Давайте положим, что мы извлекаем из населения Великобритании новую выборку. На этот раз предполагается опросить 1000 человек. Какое число мужчин в этой выборке можно ожидать, опираясь на наши предыдущие результаты? Начнем с оценки 0,485 для доли мужчин в совокупности. Отсюда, если пользоваться представлениями об ожидаемых частотах, следует, что мы <ожидаем> 1000?0,485 = 485 мужчин. Фактически мы утверждаем, что если ограничиться одним единственным числом, то стоит взять 485, и мы при этом полагаем, что это именно то число, к которому должен приблизиться наш результат. Если же этого не случится, то мы заключим, что нуль-гипотеза (в данном случае о том, что доля мужчин равна 0,485) не верна. Чтобы убедиться в верности или неверности нуль-гипотезы, нужна какая-то статистика, которую можно положить в основу критерия. Мы рассмотрим ее в следующем параграфе.

^ 1.8. ХИ-КВАДРАТ КРИТЕРИЙ КАЧЕСТВА МОДЕЛИ

В предыдущем параграфе мы обсуждали ситуацию, где на основе предварительной информации мы заключили, что наиболее вероятное значение некоторой частоты равно 485. Следовательно, мы имели ожидаемую частоту 485. Давайте теперь предположим, что наблюденное значение этой частоты оказалось 510. Мы хотим знать, не слишком ли велико различие между 510 и 485, равное 25, чтобы усомниться в разумности <ожидаемого> значения 485 и отказаться от него. Ясно, что это различие должно играть важную роль в нашем решении, но ясно и то, что мы должны считаться с отношением величины различия и ожидаемого значения 485, поскольку 25 должно быть более существенным для малых ожидаемых значений, чем для больших. Эти соображения приводят нас к использованию величины 25?25/485 в качестве критерия меры пригодности или непригодности нашей гипотезы.

В случаях, которые мы рассмотрим в этой книге, в основном те же самые идеи оценивания и ожидания будут прилагаться к каждому из индивидуальных значений в таблице сопряженности, подобной табл. 1.5. Для таких данных мы можем, например, ввести в рассмотрение одну из следующих гипотез:

[13]

H'o - числа мужчин и женщин в совокупности равны; 40% лиц обоих полов - старше 45 лет, 3 из 4 мужчин предпочитают крикет, 3 из 4 женщин предпочитают теннис;

H''o - результаты второго обследования должны быть такими же, как и первого (табл. 1.3), ожидаются лишь различия, обусловленные случайной изменчивостью;

H'''о - доли мужчин-любителей крикета и людей старше 45 лет те же, что в выборке, и все они независимы друг от друга.

Каждой из этих нуль-гипотез соответствуют свои альтернативы, которые просто устанавливают, что данная нуль-гипотеза не верна.

Так как нас интересует каждое из индивидуальных значений в таблице, нам надо объединить информацию о различиях между ожидаемыми (E) и наблюдаемыми (О) значениями. Первое, что приходит в голову, - это рассмотреть величину (О - Е)2/Е и придумать какую-нибудь статистическую теорию для этой величины, чтобы получить подходящий метод объединения информации при получении этой величины для каждой ячейки с последующим суммированием по ячейкам. Другими словами, мы вводим статистику для нашего критерия, обозначаемую X2 и равную, по определению,

X2 = (1.3)

К. Пирсон [Pearson К., 1904] был первым, кто предложил этот критерий и доказал, что, если только ожидаемые значения не слишком малы, распределение X2 будет приблизительно тем же, что и распределение ?2- Число степеней свободы для ?2-распределения получается при вычислении d, где

d=(число ячеек) - (число ограничений, налагаемых на данные). (1.4)

Для гипотез H'o и H''o существует только одно ограничение на данные, а именно: сумма ожидаемых значений равна 400 (сумме наблюденных значений). Для гипотезы H'''о ограничения более сложные, и мы рассмотрим их подробно ниже. Величину X2 иногда называют ?2 критерием Пирсона.

Альтернатива для X2, которой мы будем широко пользоваться, - это величина

Y2 = 2. (1.5)

Она получается из сопоставления оцениваемой вероятности совместного появления наших данных при условии верности нуль-гипотезы с соответствующей вероятностью для альтернативной гипотезы. Оцениваемая совместная вероятность такого типа называется правдоподобием, а уравнение (1.5) есть отношение двух правдоподобий. Следовательно, Y2 тоже имеет приближенное распределение X2 с тем же самым числом степеней свободы, поэтому его иногда называют ?2-отношением правдоподобия. На практике редко наблюдаются очень большие расхождения между значениями X2 и Y2.

[14]

Пример 1.4.

Обратимся к нуль-гипотезе Н'o. Она требует ожидаемого числа мужчин, равного 200, и такого же числа женщин, причем по 80 человек каждого пола должны быть старше 45 лет. Поскольку в соответствии с этой гипотезой 3 из 4 мужчин предпочитают крикет, находим ожидаемое значение (3/4)?80 = 60 мужчин, старше 45 лет, любителей крикета. Все множество ожидаемых значений приведено в табл. 1.6.


^ Таблица 1.6. Ожидаемые частоты для гипотезы H'о

Предпочтение

Старше 45

^ 45 и моложе

мужчины

женщины

всего

мужчины

женщины

всего

Крикет

Теннис

60

20

20

60

80

80

90

30

30

90

120

120

Всего

80

80

160

120

120

240
^ Сравнивая табл. 1.6 с наблюдаемыми значениями в табл. 1.5, мы найдем
X2= 0,817 + 0,000+1,250 + ... + 4,900 = 29,845.

Число степеней свободы равно: (8 - 1) = 7. В предположении, что нуль-гипотеза верна, мы получили, таким образом, экспериментальное значение 29,845 для ?2-распределения с 7 степенями свободы. Теперь, обратившись к таблицам ?2-распределений, мы выясним, является ли такое значение типичным при 7 степенях свободы. В приложении 2 мы видим, что значения, равные или превышающие 24,32, можно ожидать только в 0,1% случаев. А наше наблюдаемое значение гораздо больше, чем 24,32, что уводит еще дальше от типичных значений (X2 при 7 степенях свободы). Значит, есть менее чем 0,1% шансов наблюдать значение 29,845 или еще большее, если допустить, что имеет место распределение ?2 с 7 степенями свободы, и мы приходим к заключению, что нуль-гипотеза не верна.

Соответствующее значение Y2 равно 33,43, и снова мы должны отвергнуть гипотезу H'о.

Пример 1.5.

Возьмем теперь нуль-гипотезу Н''о. По этой гипотезе ожидаемые значения для второго обследования точно совпадают с теми, что наблюдались в первом обследовании и приведены в табл. 1.3. Следовательно, в этом случае, сравнивая табл. 1.3 и 1.5, мы найдем

Y2= = 0,431+5,333+ 0,042+ ... + 2,695 = 10,563.

[15]

Соответствующее значение Y2 равно 9,616. Мы сравним эти значения с процентными точками ?2-распределения при 7 степенях свободы, приведенными в приложении 2. Мы видим, что в 10% случаев можно ожидать значений, равных или больших, чем 12,02. Ни X2, ни Y2 не превышают 12,02. Следовательно, они принадлежат к типичным и есть основания надеяться, что мы можем принять гипотезу H''o. Отсюда мы заключаем, что результаты двух обследований различаются не больше, чем можно ожидать от случайной вариации.
^ ГЛАВА 2 СВЯЗЬ И НЕЗАВИСИМОСТЬ В ТАБЛИЦАХ СОПРЯЖЕННОСТИ
2.1. ОСНОВНЫЕ СВОЙСТВА ТАБЛИЦЫ 2?2

Для данных, собираемых в социальных исследованиях, типично одновременное обращение к большому числу различных тем, и это верно как для опросов, так и для анкетирования. Так, мы можем, проводя обычный опрос, отметить для случайно выбранных опрашиваемых их пол, политические взгляды, социальный статус и при этом задать им множество различных вопросов, связанных с их повседневными интересами. Все эти данные можно компактно закодировать, нанести на машинные перфокарты, а затем хранить в архиве на магнитной ленте. Массивы данных такого типа известны своей ненадежностью, но мы не будем здесь останавливаться на том, как их следует получать, а сосредоточимся только на их дальнейшем анализе.
^ Таблица 2.1. Таблица частот для 2?2 данных



B1

B2

Всего

A1
A2
f11

f21

f12

f22

f10

f20

Всего

f01

f02

f00

В обычной практике анализа данных приходится сталкиваться с непомерно раздутыми их множествами, включающими иногда свыше 1000 респондентов и 100 вопросов, причем одновременно в исследование включаются лишь пары переменных и делаются попытки определить связи между ними. Например, обычно обнаруживают жесткую связь между социальным положением и политическими взглядами. Как мы увидим в следующих главах, большинство современных исследований по теории логарифмически-линейных моделей предполагают (по крайней мере, в теории), что мы можем воспользоваться одновременно любым числом переменных, хотя при этом и могут возникнуть трудности интерпретации результатов. Сейчас, однако, мы ограничимся двумя переменными, которые обозначим А и В, и предположим, что обе они дихотомические, т. е. принимают по два различных значения A1и A2или B1и B2 соответственно.

[16]

Следовательно, имеется четыре возможных различных вида ответа (отклика), исчерпывающихся следующими сочетаниями значений переменных: (A1, B1), (A1, B2), (A2, B1) и (A2, B2). Теперь мы можем определить fij как наблюдаемую частоту респондентов, попавших в ячейку (Ai, Bj). Эти частоты можно представить так, как показано в табл. 2.1.

В этой таблице мы ввели некоторые обозначения для сумм. Символ fio выбран для (частной) суммы всех респондентов, попавших в категорию Аi, и аналогично foj - для суммы относящихся к категории Вj; тогда как foo - это общий итог всех рассмотренных случаев. Или математически:

fio=


^ 2.2. СТРУКТУРА ТАБЛИЦЫ

Числа в таблице частот, подобной табл. 2.1, можно представлять весьма разными способами. Например,

1) мы опрашиваем foo людей и классифицируем их в зависимости от ответов на два вопроса А и В;

2) мы опрашиваем f10 мужчин и f20 женщин и классифицируем их в зависимости от ответов только на вопрос В.

Конечно, эти две ситуации несколько различны и ведут к совершенно разным процедурам статистического анализа данных. Правда, как выяснилось, наилучшие методы обработки данных в общем одни и те же в обоих случаях. За деталями обратитесь к работе [Kendall M. G. and Stuart A., 1973].

Было бы, видимо, лучше интерпретировать результаты анализа с учетом того, как появил