Основы архитектуроведения (Глава 2. Основы архитектурной критики)

Для начала приведу существующее толкование слова «критика» из «Большого словаря иностранных слов» 2007 г.

Критика (от греческого kritike):

1. Обсуждение, рассмотрение, исследование чего-нибудь, проверка чего-нибудь с какой-нибудь целью.

2. Научная проверка подлинности, правильности чего-нибудь.

3. Определение достоинств и недостатков, оценка, разбор.

4. Неблагоприятная оценка, указание недостатков, порицание, нападки.

5. Анализ, истолкование и оценка художественных произведений.

6. Статья, содержащая в себе критику художественного произведения.

Далее попробуем разобраться по существу.

§ 1. Простейшая ситуация критики

Простейшая ситуация критики. Называется по-разному.

• Взаимная оценка. В минимальном случае два архитектора оценивают произведения друг друга.
• «Гамбургский счет». Термин возник в силовых противоборствах, когда участники выясняли силу противоборствующих сторон непублично, в узком кругу во избежание «договорников», в надежде получить «объективные» результаты. При оценке произведений архитектуры, при минимальном количестве участников, борются две субъективности. На «объективную» оценку в этом случае надеяться бесполезно. С увеличением числа участников процесса «объективность» оценки несколько улучшается, тем не менее, это будет коллективная субъективность участников оценки в пределах «гамбургского счета».

В ситуациях критики часто пытаются добиться объективности, найти объективные критерии или такие критерии, которые позволяют приблизиться к объективности.

Разочарую. В критике добиться объективности невозможно. Критика всегда субъективна. Устранение субъективности означает устранение самого Критика, либо моральное, либо физическое устранение.

Функция этой ситуации критики достичь не объективность, а СПРАВЕДЛИВОСТЬ в рамках определенной профессиональной общности.

***

Поясню эту ситуацию критики опорной схемой 1.

Простейшая ситуация критики представлена: «Архитектором 1» и «Архитектором 2»; каждый представляет для оценки соответственно «проект 1» и «проект 2». Вместо проектов могут быть представлены реализованные (построенные) произведения.

«Вес» архитекторов, участвующих в простейшей ситуации критики, примерно равен.

Схема 1

Пояснения к опорной схеме.

1. Оценка проекта 2 архитектором 1.

2. Оценка проекта 1 архитектором 2.

Оценки выставляются по какой-либо шкале, например, «плохо, удовлетворительно, хорошо», или в цифровой бальной системе, например, пятибалльной или десятибалльной.

3. Влияние на оценку целевой или концептуальной установки архитектора 1.

4. Влияние на оценку целевой или концептуальной установки архитектора 2.

5. Ситуация выяснения отношений между двумя субъективностями. Возможны две ситуации: «положительная ничья» или «Кукушка хвалит Петуха за то, что хвалит он Кукушку»; либо «отрицательная ничья», когда выяснение субъективных отношений может перейти в силовой поединок. При большом количестве участников через оценку выявляется рейтинговое положение участника внутри группы избегая «силовых поединков».

6. При минимальном количестве участников, взаимные оценки не влияют на коррекцию целей участников. При большом количестве участников оценки проектов у некоторых участников ситуации критики может включиться рефлексия в сторону совершенствования смысловой установки. Но, рефлексия может включиться самооценкой, а взаимная оценка в этом случае может быть своеобразным «выстрелом стартового пистолета».

§ 2. Ситуация специализации критики

Ситуация критики несколько меняется когда место Архитектора 2 занимает Критик (Эксперт). Критик в ситуации критики специализируется только на оценке проекта (проектов), чаще всего временно или по мере необходимости. Такую ситуацию можно изобразить схемой 2.

Ранг участников ситуации критики может различаться. Например, «Студент – Преподаватель»; «Архитектор – Эксперт», причем у экспертов могут быть разные полномочия, вплоть до «разрешить – запретить» дальнейшую реализации проекта.

Схема 2

Пояснения к опорной схеме.

1. Оценка проекта Критиком, дополненная критическим суждением в виде устного или письменного текста. Критическое суждение может быть минимальным либо обширным, например, в виде статьи.

2. Влияние на оценку и на критическое суждение целевой или концептуальной установки Критика.

3. Влияние целевой или концептуальной установки Критика на целевую или смысловую ориентации Архитектора.

4. Возможная коррекция целевой или смысловой установки архитектора.

5. Целевая или смысловая установка критика практически не меняется.

В ситуации, когда присутствует несколько критиков разброс оценок и суждений по поводу «что такое хорошо» может быть разным, причем разница может быть весьма большая. Причем неважно оценивается несколькими критиками один проект или несколько (множество) проектов. А вот по поводу «что такое плохо» критики, чаще всего, единодушны.

Функция такой ситуации отсечение «ТОГО, ЧТО ТАКОЕ ПЛОХО», то есть, негатива, ошибок, нерадивости, которые могут привести к деградации профессии.

Критики с соответствующими полномочиями – это своеобразные хранители профессии.

§ 3. Ситуация профессионализации критики

Профессиональные критики - люди, зарабатывающие на жизнь тем, что пишут всевозможные рецензии, обзоры, отклики в журналы, газеты, как правило «приписаны» трудовой книжкой к редакциям таковых журналов или газет. Эта ситуация когда критик кроме критики уже ничем другим не занимается. В предыдущих случаях критика и Критики есть следствие того, что в профессии существуют конкурсы.

Профессионализацию критики можно наблюдать не во всех отраслях деятельности. В российской архитектуре, дизайне, градостроительстве критика не достигла такого состояния. Обобщая более развитые, в отношении критики, виды деятельности, в частности, литературную критику, театральную, кинокритику выразим профессиональное состояние критики опорной схемой 3.

Схема 3

Пояснения к схеме:

1. Оценка проекта Критиком 1, дополненная «критическим суждением 1» в виде устного или письменного текста.

2. Оценка проекта Критиком 2, дополненная «критическим суждением 2» в виде устного или письменного текста.

Критическое суждение может быть минимальным, например, в виде реплики либо обширным, например, в виде статьи. В ситуации профессиональной критики критик может ограничиться только критическим суждением либо оценкой.

3. Влияние на оценку и на критическое суждение целевой или концептуальной установки Критика 1.

4. Влияние на оценку и на критическое суждение целевой или концептуальной установки Критика 2.

5. Ситуация выяснения отношений между двумя субъективностями Критиков или между множеством субъективностей Критиков.

6. В процессе «сражений» между критиками могут возникнуть некоторые общности в целевых, концептуальных или смысловых установках.

По поводу «что такое хорошо» у критиков (оценщиков) существует большой разброс «точек зрения».

Примечание1. По этому поводу смотрите приложение 1. «Анализ оценочной деятельности преподавателей. Эмпирическое исследование».

Примечание 2. Точка зрения - жизненная позиция, отношение к происходящему, основанное на жизненном опыте и системе ценностей человека или группы людей. На схемах и в тексте я это обозначаю словами «цель или жизненная цель», «смысл либо личностный смысл», «концептуальная установка или принадлежность к некоторому концептуальному сообществу единомышленников».

Полной консолидации целей, концептуальных направлений или смысловых установок критикам достичь невероятно сложно. Тем не менее, профессиональные критики пытаются в рамках некоторого профессионального сообщества достичь или хотя бы понять о наличии некоторой общности целей, концепций, смыслов.

Между критиками (экспертами) идет бескомпромиссная борьба за понимание того «ЧТО ТАКОЕ ХОРОШО» ведь именно в этом направлении необходимо двигаться профессиональному сообществу.

§ 4. Оценка

Оценка является системообразующей процедурой критики. Оценка распределена по всем этапам деятельности. Например, 1) оценка результата, 2) оценка промежуточных результатов, 3) оценка будущего результата, 4) оценка процесса реализации цели, 5) оценка цели, 6) оценка процесса целеполагания, 7) оценка процедуры контроля за деятельностью, 8) оценка самих оценок и т. д.

Функции оценки - обоснование исходной цели; средство контроля за промежуточными результатами; средство трансформации, уточнения, развития исходной цели; средство сопоставления фактических результатов с намеченной целью.

Положительная и отрицательная оценка. Критические суждения могут содержать как отрицательные, так и положительные оценки разных сторон произведения или обсуждаемого явления. Считается, что соединение и положительных, и отрицательных оценок придает некоторую солидность, взвешенность критическим суждениям. Такой способ формулировки критических суждений, психологически восприниматься легче, чем суждение на основе только отрицательной оценки.

Исторически первые формы критики были положительными. Для примера можно взять жизнеописания Вазари. Жизнеописания возникали из собрания похвальных надписей. У Вазари положительные отзывы персональны, а отрицательные, как правило, анонимны. Они скрываются за фразами «есть художники, которые …» или «некоторые художники …».

Суждения, основанные только на отрицательных оценках возникли в 18 и 19 веке, как одно из проявлений доминирующего нигилистического отношения к миру. С этого времени и до сих пор критику интуитивно определяют как отрицательную оценку.

§ 5. Мнение и его обоснование

Мнение – оценочное суждение, которое архитектор способен выносить непосредственно на основе потребностей, чувств, опыта.

Наиболее простая форма мнения формулируется в виде «нравится – не нравится», «нужно – не нужно», «хорошо – плохо», «красиво – некрасиво». Такую форму мнения называют, «оценкой со своей колокольни», «каждый кулик свое болото хвалит» и т. п.

Обоснование мнения. Мнение, как и любая оценка, всегда субъективно. Из-за краткости мнения оно становится основанием для сомнений в оценке вынесенной критиком. У архитектора возникает несогласие с оценкой. У критика соответственно возникает «несогласие по поводу несогласия архитектора». Критику приходится усиливать мнение. Непосредственное мнение может быть усилено несколькими способами.

Критик должен превратиться в дегустатора, или в своеобразный живой камертон, специально настроенный на оценку. В этом случае оценка зависит от квалификации критика, от признания окружением его «вкусовых дегустационных» заслуг. Такую оценочную процедуру называют экспертной оценкой.

Аргументация мнения. Чувствуя ущербность непосредственного мнения, критики пытаются усилить его другими суждениями доказывающими справедливость или истинность, или необходимость учета высказанного мнения. В этом случае качество мнения становится весьма зависимым от процедуры аргументации. Вырожденный случай аргументации - мнение тонет в аргументации.

Одна из форм усиления мнения – это замена индивидуального мнения на коллективное мнение. Произведение или иное явление профессии оценивается несколькими критиками. В этом случае коллективное мнение критиков весьма зависит от их квалификации, равномерности их квалификационного подбора, от процедуры сведения индивидуальных мнений к общему.

§ 6. Норма и нормативная оценка

Нормативная оценка. Одна из форм оценки - это сопоставление произведения или его частей с нормами, эталонами.

Нормы - регулятивы в виде правил, требований, величин, образцов, выполнение которых ведет к созданию класса вещей, соответствующих существенным признакам. В этом смысле развитие любого класса вещей происходит в сторону нормальных, образцовых, качественно совершенных. Нормы исторически меняются в сторону уточнения существенных свойств вещей, это не означает, что процесс нормализации прямолинеен.

Нормы служат ограничению многообразия. Ограниченное многообразие - явление всеобщее. Количество растений, животных - не безгранично. Количество химических элементов - невелико. Алфавиты состоят из небольшого числа знаков.

Нормализация - процесс создания и изменения норм. Нормализация - сложный процесс – состоит в частности из процедур: типизации, унификации, стандартизации.

Типизация - сведение типов зданий или частей здания к обоснованному небольшому количеству.

Унификация - исключение несущественных различий между особенностями вещей.

Стандартизация - придание некоторым нормам административного статуса обязательного в межличностных отношениях в виде стандартов (ГОСТов), строительных норм и правил. В стандартах часто регламентируются критические, минимальные или максимальные значения. Наиболее простые действия нормализации - упорядочение, ограничение, упрощение, установление единообразия, регламентация.

§ 7. Патентная оценка

Патентная оценка осуществляется на основе выявления приоритета какого-либо нововведения. Приоритет определяется в процессе патентного исследования. Патентное исследование в данном пособии понимается более широко, чем это принято в области патентного дела. Патентное исследование – специальное историческое исследование с целью выявления приоритета или установления места нововведения в истории развития архитектуры.

В процессе историко-патентного исследования выявляется, прежде всего, степень новизны целей. Новизна целей может быть оценена по соотношению ее структурных частей, а именно, смыслов и средств их достижения

§ 8. Критерий и критериальная оценка

Оценка - это субъективное явление, то есть осуществляется при участии людей. Из-за негативных переживаний связанных с субъективностью людей по отношению друг к другу, возникает дерзкая идея устранения людей от оценки. Или, по крайней мере, чтобы оценка осуществлялась с минимальным участием людей. Например, как при считывании показателей с электросчетчика.

Иными словами в критериальной оценке стоит задача создания практически независимого от человека средства оценки. Функция человека должна свестись к нулю, либо к простым, механическим процедурам считывания, оповещения, регистрации.

Критерий – один из способов объективизации оценки. Критерий - это суждение о свойстве или о свойствах, приведенных к измеряемому виду. Численное значение свойства называется показателем свойства или показателем качества произведения. Посредством сравнения показателей происходит выбор лучшего или более нужного.

В процессе архитектурной деятельности формируется система профессиональных критериев. Степень связности, непротиворечивости, субъективности системы критериев разная.

Свойства произведения - все то, что отличает одно произведение от другого. Свойства могут быть качественными, количественными, структурными, пространственными, формальными, содержательными и т. д. Выбор свойств для критериев может быть случайным, традиционно признанным, назначенным в исходной цели.

Например, в качестве основания для выделения критериев используют формулу Витрувия “польза, прочность, красота”. Соответственно создатели критериев пытается выделить свойства полезности, свойства прочности и свойства красоты и превращают их в критерии. Критериям присваивают цифровые величины (баллы). Производят арифметические операции над баллами в надежде получить объективную оценку.

Вопрос. А у Витрувия субъективность отсутствует? А античное архитектуроведение безгрешно?

***

Прагматические свойства произведений. Практически все прагматические свойства произведений могут быть критериями. Практически все прагматические свойства можно измерить или выразить в том или ином численном виде. Существует некоторое затруднение, в подборе критериев, в их выборе. Для примера приведу неполный перечень прагматических свойств, которые могут становиться критериями, могут быть выражены показателями

• Пространственные свойства помещений выражаются показателями площади в кв. м., показатели объема в куб. м., отношением этих показателей.
• Энергетические свойства. Показателем этих свойств могут быть затраты энергии на отопление, на освещение в кВт/час, ккал, дж и т. д.
• Строительно-материальные, конструктивные и технологические свойства здания. Показателями могут быть объем строительных материалов, вес строительных материалов, количество используемых типов материалов, количество конструктивных элементов, количество типоразмеров и т. д.
• Пространственно-материальные свойства и соответствующие ему относительные показатели, например, отношение строительного объема к массе затраченных материалов.
• Энерго-материальные свойства. Например, отношение количества или стоимости энергии затраченной на отопление к стоимости строительных материалов.

В конечном счете, прагматические показатели можно свести к стоимости здания или стоимости площади или стоимости объема в рублях или иных единицах.

***

Поэтические свойства произведений и их показатели. В архитектуре, дизайне, градостроительстве существует проблема измерения художественных свойств. Суть проблемы выражается следующей задачей. Есть душа, требуется выделить ее свойства и превратить их в критерии. После этого душа будет объективной?

Ниже приведены некоторые показатели, которые применяются для оценки разных произведений, связанных с количественной стороной души.

• Для художественных фильмов, рассчитанных на широкую публику, существует показатель – «кассовый сбор». Выражается в рублях, в долларах.
• Качественно-количественный состав читающей, смотрящей публики для «элитарных» произведений. Элитарный фильм рассчитан на высокую подготовку зрителя, на зрителя, который готов трудиться при просмотре, а не расслабляться, как это происходит в случае с серийным боевиком или мелодрамой. Показателем в этом случае является «число душ», готовых серьезно трудиться, просматривая фильм или читая книгу.
• Для художественной литературы, для эстрадной песни существует показатель общего тиража. В основе показателя тоже «число душ».
• Показатель редкости, особой ценности в культуре. Косвенные показатели раритетности: цена, за которую коллекционеры готовы купить произведение; иерархический ранг музея, в котором хранится произведение; вхождение в списки охраняемых памятников, ранг этих списков. Например, перечень памятников, составленных ЮНЕСКО. Уровень ЮНЕСКО косвенно указывает на «число душ», то есть, на общечеловеческое значение произведения.
• Число прихожан в церкви. «Число душ», для которых христианство является значимым явлением.
• Тираж, число ссылок на научную книгу, вхождение научного знания в учебник. Показатель в этом случае - общий тираж учебника. «Число душ», получающих образование по этому учебнику.
• Число подражаний произведению. Произведение в этом случае становится своеобразным образцом.

Приложение 1. Анализ оценочной деятельности преподавателей (эмпирическое исследование)

Предисловие

Цели данной работы:

• проанализировать тенденции оценочной деятельности,
• наметить понятийно-терминологические средства описания оценочной деятельности,
• попытаться выявить суть происходящего,
• наметить пути использования этого знания для совершенствования оценочной деятельности всевозможных экспертных комиссий,
• наметить пути создания, на основе этого знания, методики оценочной деятельности.

Базой данных для аналитических действий  послужили оценки выставленные преподавателями по результатам первой сдачи учебного проекта интерьеров легкого многофункционального павильона в 301 группе в конце мая 1997 года.

Общая (средняя) оценка за проект в этой группе определялась экспертным (демократичным) способом.  Этот метод довольно часто используется в мировой практике оценки сложных явлений. Суть этого метода:

• каждый преподаватель (эксперт), руководствуясь любыми своими представлениями о должном, выставляет оценку;
• общение (взаимовлияния) целенаправленно не организовано, каждый сам по себе, в идеале эксперты должны быть изолированы друг от друга;
• время на называние своей оценки и корректировки своей позиции относительно уже услышанных оценок выделяется несколько секунд в идеале это должно произойти одновременно или оценки должны быть поданы списком;
• выводится средняя арифметическая оценка по учебному проекту студента.

Для сравнения можно привести другой способ оценки, очень часто применяемый на кафедрах российских архитектурных вузов, в частности, в новосибирском архитектурно-художественном ВУЗе. Его можно назвать “методом демократического централизма”. Суть метода:

• есть руководитель, чаще всего на защитах им является заведующий кафедрой;
• есть группа преподавателей участвующих в оценке проекта (совет);
• целенаправленно организуется общение между преподавателями, в виде высказываний, споров, дискуссий, «перетягивания каната»;
• руководитель старается не участвовать в этой процедуре и наблюдает происходящее, делает выводы;
• преподавателями участниками, после разминки в виде «перетягивания каната», называются выставляемые ими оценки;
• руководитель, держит наготове толстый карандаш, своеобразный символ, который достаточно однозначно всеми понимается, выслушав дискуссию, выслушав оценки, выставляет общую оценку, исходя из своих представлений о должном.

На первой защите проектов, которая традиционно проходит наиболее активно, по крайней мере, со стороны преподавателей, было сдано 12 проектов. Выставленные оценки представлены в таблице 1. Фамилии преподавателей заменены цифрами, для студентов указаны только имена.

Таблица 1

§ 1. Критичность оценщика (преподавателя)

Оценочная позиция преподавателя - сумма всех оценок выставленных преподавателем. Ситуация в оценочных позициях предстала следующим образом.

• Преподаватель 1 - 70 баллов.
• Преподаватель 4 - 81 балл.
• Преподаватель 3 - 82 балла.
• Преподаватель 5 - 89 баллов.
• Преподаватель 2 - 92 балла.
• Преподаватель 6 - 93 балла.

Средняя оценочная позиция - равна сумме оценок поделенных на число преподавателей, в данном случае - 86 баллов.

Критичность преподавателя - разница между оценочной позицией преподавателя и средней оценочной позицией. Картина критичности предстает в виде трех групп.

Первая группа - это группа с резко отрицательной критичностью.

• Критичность Преподавателя 1 = 70 - 86 = минус 16 баллам.

У первого преподавателя, по-видимому, выразилось резкое недовольство проделанной работой, так как явно видна «игра» на понижение, 16 баллов в данном случае характеризуют жесткий уровень критичности.

Вторая группа.

• Критичность Преподавателя 4 = 81 - 86 = минус 5 баллам.
• Критичность Преподавателя 3 = 82 - 86 = минус 4 баллам.

Третий и четвертый преподаватели умеренно «играли» на понижение, возможно, что увиденные проекты не совпадали с неосознаваемыми или сознаваемыми требованиями к учебному проекту.

Третья группа - это группа преподавателей с положительной критичностью. Положительная критичность – «игра» на повышение, противодействующая «игре» на понижение, следствие одобрительного отношения к проделанной работе студентом, утверждение правильности тенденций движения, как правило, есть следствие совпадения с желаемым, требуемым.

• Критичность Преподавателя 2 = 92 - 86 = плюс 6 баллам.
• Критичность Преподавателя 6 = 93 - 86 = плюс 7 баллам.
• Критичность преподавателя 5 = 89 - 86 = плюс 3 баллам.

Второй и шестой преподаватели несколько интенсивно «играли» на повышение, по-видимому, пытаясь противодействовать первому преподавателю, или в целом противодействовали «игре» на понижение. Пятый преподаватель наиболее близок к средним оценкам при общей игре на повышение.

Напряженность критичности может включать такие характеристики как: жесткая позиция, умеренность. Если выразить в баллах то - это степень отклонения от средней оценочной позиции.

§ 2. Что такое хорошо и что такое плохо

Распределение максимально высоких оценок - это ответ на вопросы: Какие проекты оценены максимально высоко? Что такое хорошо с точки зрения преподавателей? Результаты анализа представлены в таблице 2.

Таблица 2

Максимально высокими оценками в этом проекте можно принять десятки и девятки. Проявилась следующая картина. Пять проектов имеют максимальные оценки:

• проект Марии 1 имеет 3 максимальные оценки,
• проект Веры имеет 3 максимальные оценки,
• проект Василия имеет 2 максимальные оценки,
• проект Инны имеет 2 максимальные оценки,
• проект Марии 2 имеет 2 максимальные оценки.
• проект Вероники имеет 1 максимальную оценку.

Позиция преподавателей по поводу «что такое хорошо»:

• Преподаватель 1 - 0 высоких оценок.
• Преподаватель 2 - 4 высокие оценки.
• Преподаватель 3 - 2 высокие оценки.
• Преподаватель 4 - 1 высокая оценка.
• Преподаватель 5 - 3 высокие оценки.
• Преподаватель 6 - 3 высокие оценки.

У первого преподавателя отсутствуют максимальные оценки, то есть, он не усмотрел совпадения со своим представлением о том, «что такое хорошо», иными словами учебные проекты делаются как-то не так.

Итог. Шесть проектов имеет высокие оценки и лишь один проект за счет консолидации 2, 3 и 5 преподавателя получил высокую оценку (девятку).

***

Если распределение максимально высоких оценок говорит о том «что такое хорошо», то распределение максимально низких оценок говорит о том «что такое плохо». Это указатель того, «как не надо делать». В анализе «что такое плохо» рассмотрены пятерки и шестерки, как наиболее низкие оценки, выставленные шестью преподавателями.

«Что такое плохо» для вовремя сданных проектов - это условное понятие, принятое в рамках этого исследования с целью анализа поведения оценщиков, а не порицания студентов. В академическом смысле 5 и 6 – это хорошие оценки (6 в пятибалльной системе - это 4, а 5 в пятибалльной системе – это 4 с минусом).

Результаты анализа представлены в таблице 3.

Таблица 3

Тем не менее, распределение низких оценок, в понимании исследования, следующее:

• проект Татьяны имеет 6 низких оценок,
• проект Ларисы имеет 6 низких оценок,
• проект Романа имеет 5 низких оценок,
• проект Елены 1 имеет 3 низкие оценки,
• проект Юли имеет 3 низкие оценки,
• проект Елены 2 имеет 3 низкие оценки.

Шесть преподавателей в дух случаях консолидировано выставили шесть низких оценок и в одном случае пять из шести преподавателей выставили низкие оценки.

Общий вывод. По поводу того «что такое плохо» преподаватели довольно едины.

***

Другая группа проектов - это противопоставление максимально высоких и низких оценок.

• Проект Веры имеет 2 низкие оценки, наряду с тем, что имеет 3 высокие оценки.
• Проект Вероники имеет 1 низкую оценку и 1 высокую оценку.
• Проект Василия имеет 1 низкую оценку и 2 высокие оценки.
• Проект Инны имеет 1 низкую оценку и 2 высокие оценки.

***

Выводы к § 2

Описательные выводы.

• Отсутствует единство «точек зрения» в понимании того, что можно назвать «что такое хорошо».
• Присутствует совпадение «точек зрения» на то, «что такое плохо», несовпадение «точек зрения» по этому поводу вполне умеренно.
• Присутствует противоположность «точек зрения». Одни преподаватели склонны усмотреть в некоторых проектах максимальные достижения, а другие усматривают в тех же проектах минимальные достижения. Противопоставляется то, «что такое хорошо» и то, «что такое плохо». Иными словами - по некоторым проектам складывается проблемная ситуация в оценочной деятельности.

Объяснительные выводы. В качестве гипотезы можно принять следующие высказывания.

• По-видимому, все дело в «точке зрения», которые у преподавателей разные. По-видимому, это явление, которое мной обозначено как «точка зрения» схоже с такими явлениями как мировоззрение, концептуальная картина, профессиональный гештальт по поводу, «что такое хорошо» и «что такое плохо.
• По-видимому, оценочные действия связаны с выбором профессионального пути.  Распределение оценок - это распределение ответов на вопрос «Куда надо идти?». Максимально высокая оценка - это указатель максимально высоких образцовых или даже идеальных качеств, для преподавателя, по направлению к которым движется он сам, либо рекомендует двигаться другим. Выставляя высокую оценку, преподаватель заявляет об этом. Максимально низкая оценка - это указатель того, куда не надо идти. Отсутствие высоких оценок, по-видимому, говорит о том, что преподаватель заявляет себе, коллегам, студентам «мы не туда идем» или «вы не туда идете».

Выводы - вопросы.

• Возможна ли трансформация «точки зрения» преподавателя? Ответ в виде гипотезы. По- видимому, нет, по крайней мере, за очень короткий промежуток времени.
• Что делать преподавателям с разными или даже противоположными «точками зрения»?
• Каковы процедуры взаимной увязки «точек зрения»?

§ 3. Оценочное согласие и конфликт

Из анализа исключены оценки первого преподавателя, так как из предыдущих действий и так понятно о его оценочной конфликтности с остальными пять преподавателями. Из рассматриваемых 12 проектов можно выделить 4 группы проектов с разной степенью напряженности оценочного согласия и конфликтности.

Группа проектов, по которым в позициях преподавателей преобладает оценочное согласие. Разница между максимально высокой и максимально низкой оценкой - 1 балл. В эту группу проектов входят:

• проект Вероники, выставленные баллы - 7, 8;
• проект Елены 1, выставленные баллы - 6, 7;
• проект Татьяны, выставленные баллы - 5, 6;
• проект Ларисы, выставленные баллы 5, 6.

Группа проектов с разницей в позициях преподавателей в 2 балла. По отношению к этим проектам у преподавателей преобладает оценочное согласие, хотя увеличилась степень конфликтности. В эту группу проектов входят:

• проект Марии 1, выставленные баллы - 8, 10;
• проект Юлии, выставленные баллы - 6, 7, 8;
• проект Елены 2, выставленные баллы - 5, 6, 7.

Группа проектов с разницей в позициях преподавателей в 3 балла. По отношению к этим проектам между преподавателями начинает преобладать оценочная конфликтность, хотя некоторое согласие еще есть. В эту группу входят:

• проект Романа, выставленные баллы - 5, 6, 8;
• проект Веры, выставленные баллы - 6, 8, 9.

Последняя группа проектов с максимальной оценочной конфликтностью в 4 балла. Эта группа представлена:

• проектом Василия, выставленные баллы - 6, 7, 8, 10;
• проектом Инны, выставленные баллы - 6, 7, 8, 10.

***

Выводы к § 3

Описательные вывод. В процессе оценочной деятельности возможны две крайности, с одной стороны, оценочное согласие, с другой стороны оценочный конфликт, возможны ситуации умеренного соотношения двух крайностей.

Объяснительный вывод. В качестве гипотезы этого явления можно принять следующие суждения.

Если посмотреть в какой рейтинговый тип входят проекты по которым есть согласие, то получается, что согласие достигается по явлению, которое можно обозначить «что такое плохо», или по проектам своеобразной «эталонной усредненности».

В случае конфликта происходит несовпадение «точек зрения» по явлениям, которые можно обозвать «что такое хорошо» и «куда надо идти». Конфликт в этом случае имеет природу различия: ценностей, идеалов, общих задач, принципов, программ. Возможно, что конфликт целей заложен в самом проекте, то есть, его истоки в конфликте целей самого студента.

Выводы - вопросы. По-видимому, необходимо обращать внимание на оценочные конфликтные (проблемные) ситуации.

Возможна ли трансформация конфликтной целевой системы студента?

Возможно сблизить ценности, идеалы, программы преподавателей?

§ 4. Оценочное сотрудничество и противоборство

Из дальнейшего анализа исключены оценки первого преподавателя, а также исключены 4 проекта, по которым проявилось согласие, а именно: проекты Вероники, Елены 1, Татьяны, Ларисы.

***

Оценочное сотрудничество - это совпадение оценок выставленных преподавателями. Смотрите базу данных приведенных вначале.

Оценочное сотрудничество в процессе оценочной деятельности можно отразить следующей схемой 1.

Схема 1

Пояснение к схеме.

• Цифрами обозначены: Второй, Третий, Четвертый, Пятый, Шестой преподаватели. Линиями обозначены связи сотрудничества.
• Сплошной линией обозначено сотрудничество в «игре» на повышение, то есть, совпадают максимально высокие оценки.
• Точечным пунктиром обозначено сотрудничество в «игре» на понижение, то есть, совпадают максимально низкие оценки.
• Штрих - пунктиром обозначено сотрудничество в умеренной «игре», то есть, совпадает средняя группа оценок.

При анализе схемы 1 можно выявить напряженность оценочного сотрудничества - это явление можно оценить по количеству и типу связей оценочного сотрудничества (см. таблицу 4).

Таблица 4

***

Оценочное противоборство (см. схему 2). Связь противоборства - это разница между минимальными и максимальными оценками. Оценочное противоборство можно определить по числу связей оценочного противоборства, а именно: максимальное, минимальное и умеренное оценочное противоборство.

Схема 2

Таблица 5

***

Оценочное не-сотрудничество, но и не-противоборство. Тип связи - наличия разницы в оценках, когда хотя бы одна из оценок не является минимальной или максимальной (см. схему 3).

Схема 3

***

Выводы к § 4

Все многообразие выше приведенных схем в § 4 можно свести к одной схеме. Толстой линией обозначены экстремальные виды взаимодействия, тонкой линией обозначены умеренные взаимодействия (см. схему 4).

Схема 4

Максимальные и минимальные оценочные взаимодействия сосредотачиваются в двух полюсах - это фигуры второго и шестого преподавателей.

Максимальное оценочное сотрудничество, не-сотрудничество либо противоборство, не-противоборство направлено в сторону третьего и пятого преподавателя.

Третий и пятый преподаватели при умеренном оценочном взаимодействии между собой и четвертым преподавателем максимально оценочно сотрудничают либо оценочно противоборствуют второму и шестому преподавателю.

Стабилизирующей, умеренной фигурой является четвертый преподаватель, на котором сосредотачиваются все виды оценочной умеренности, умеренного сотрудничества, умеренного противоборства с каждым из оставшейся четверки.

Приложение 2. А судьи кто? (Или размышления о смотре-конкурсе «Золотая капитель»)

Предисловие

Эта статья была написана по просьбе организаторов конкурса «Золотая капитель», который проводился в Новосибирске в 2003 году, в лице Ольги Макаровой. За основу взят соответствующий раздел лекций из курса «Основы архитектуроведения», он приводится выше в несколько скорректированном виде. Предполагалась вторая статья (см. послесловие).

***

Нужны ли смотры конкурсы? Да.

Зачем нужны смотры-конкурсы? По-видимому, это способ активизации отдельных архитекторов со стороны архитектурно-профессионального сообщества. По-видимому, одобрение, поощрение со стороны профессионального сообщества для личности важно. По-видимому, наглядно фиксируются шаги профессионального успеха.

Смотр-конкурс может быть успешным? Может быть, а может и не быть.

От чего это зависит? Естественно от многого, но, прежде всего от справедливости оценки. Собственно размышления вызваны превратностями процедуры оценки.

Итак.

Гамбургский счет или простейшая ситуация оценки. Самая простая ситуация - два архитектора высказывают оценочные суждения о произведениях друг друга. Усложненная, но столь же простая ситуация, не два, а 10 участников конкурса высказывают оценочные суждения о проектах друг друга. Такая процедура подкупает своей кажущейся бесхитростностью.

Каковы хитрости?

Одна из них. «Кукушка хвалит петуха, поскольку хвалит он кукушку». Или наоборот. Участники якобы критического гамбургского счета удовлетворяют свои садо-мазохисткие интересы. В этом случае каждый получит свое, но только от оценки это далеко. Возможен и несколько иной случай. Каждый участник остался при своих интересах, это говорит о том, что участники «гамбургского счета» просто болтали. Соответственно каждая сторона получила или не получила удовольствие от общения, но от оценки это тоже далеко. В большом «гамбургере» возможен сговор одной хитрой части счета против другой бесхитростной части счета.

Если каждому из участков гамбургского счета удалось остаться первобытно бесхитростным, то в результате взаимной критики смысловая система архитекторов может претерпеть изменения.

Частичная специализация процедуры оценки. Одни участвуют в конкурсе. Другие показывают, в какую сторону надо идти. Это один из способов преодолеть недостатки гамбургского счета.

Кто должен участвовать, а кто должен показывать куда идти?

Смена ролей. Не участвующие в конкурсе в этом году оценивают ныне участвующих в конкурсе. Участвующие в конкурсе прошлого года оценивают ныне участвующих. На

следующий год роли могут поменяться. Отстранение во времени может быть усилено географическим отстранением. Коллегу-судью можно пригласить из другого города, региона, страны. По-видимому, возможны и другие способы отстранения от прямой заинтересованности.

Показывать куда надо идти должны руководители разного рода. Иногда они даже умеют это делать. Например, руководители мастерских, кафедр, председатели какого-нибудь союза, какой-нибудь академии, какие-нибудь главные архитекторы. Правда жюри в этом случае превращается в производственное совещание, а архитектура в мегамастерскую с единым мегаруководителем. Единственная незадача, архитекторы, дизайнеры не хотят ходить строем. Генерал от архитектуры выстроить может только непосредственно заинтересованных в нем. В их пользу и будет оценивать.

Показывать куда надо идти, должны те которым кажется, что они знают, куда надо идти. Как правило, это персоны энергичные, активные, мечтательные, с весьма развитым воображением. Правда, посылать они могут «туда, не зная куда» и просить принести «то, не зная что». Но - это уже издержки критического производства, без которых довольно сложно обойтись.

В результате специализированной критики смысловая система архитекторов, участвующих в смотре может трансформироваться позитивно или негативно относительно целевой системы «временного критика».

Профессионализация процедуры оценки. Профессиональные критики - люди, зарабатывающие на жизнь тем, что пишут всевозможные рецензии, обзоры, отклики в журналы, газеты. Как правило «приписаны» трудовой книжкой к редакциям таковых журналов или газет. Эта ситуация когда критик кроме критики уже ничем другим не занимается. Это положительное, на мой взгляд, качество профессионального критика, нередко ставится ему в вину.

«Ничего не делает, а только критикует!!!».

Позвольте. А критика, разве не дело? Если критик на этом зарабатывает, то пусть отрабатывает. Исправно справляет свое дело.

Почему профессионализация критики положительное качество?

У профессионального критика гораздо большая степень отстранения от непосредственного процесса проектирования. Как раз незаинтересованности добиваются при формировании любых жюри. Профессионального критика сложно выстроить даже генералу от архитектуры. Хотя бы потому, что ему не надо идти согласовывать проект. Он их просто не делает. Не надо заискивать перед руководителем для получения выгодного заказа. Прокормить себя он может критическим делом. Своим делом.

Развитое профессиональное состояние критики можно наблюдать не во всех отраслях деятельности. В российской архитектуре критика не достигла такого состояния. Но в последнее десятилетие это политическое дело сдвинулось с мертвой точки. Профессиональные критики начинают появляться вместе с возникновением архитектурной и дизайнерской прессы сейчас уже не только в Москве, но и в Новосибирске, а также в других российских городах.

Это нормально. Это даже хорошо. По крайней мере, в сторону наемных критиков, критиков работающих за деньги необходимо двигаться. Во всех иных случаях «вольнонаемные критики» будут работать в пользу своей «другой жизни» той, где они зарабатывают, в пользу той сферы, в которой у них есть эгоистический интерес.

А альтруизм? Не надежное это дело.

Для начала совершенствования профессиональной критики необходима некоторая критическая масса. Критики должны конкурировать между собой. В процессе конкуренции должна совершенствоваться актуальная смысловая система создаваемая критиками. Вслед за ней будут совершенствоваться цели практикующих архитекторов, соответственно будет развиваться архитектура. Естественно у критиков должна быть обратная связь с профессией, например в виде рейтинга критиков, рейтинга журналов, в которых они публикуются и т. п.

Что есть критика. Критика - это, прежде всего оценка. Функции оценки - обоснование исходной цели; средство контроля промежуточных результатов; средство трансформации, уточнения, развития исходной цели; средство сопоставления фактических результатов с намеченной целью и т. п. Или проще. Критика – это выявление «того, что такое хорошо» и «того, что такое плохо».

Тривиально?!

Сознательное преследование архитектурным сообществом того «что такое плохо» есть самоубийство, и, это уже не тривиально для людей связавших свою жизнь с архитектурной профессией. По поводу самоубийства оценщики, как правило, не спорят, они едины во мнениях. А вот по поводу того, в какую сторону должна разворачиваться профессиональная жизнь или по поводу того «что такое хорошо» между оценщиками ведутся ожесточенные дебаты, кипят страсти отнюдь не шуточные, отнюдь не тривиальные.

Экскурс в историю критики. Исторически первые формы критики были положительными. Для примера можно взять «Жизнеописания…» Вазари. Жизнеописания возникали из собрания похвальных надписей. У Вазари положительные отзывы имеют имя, а отрицательные, как правило, анонимны. Они скрываются за фразами «есть художники, которые …» или «некоторые художники …». Суждения, основанные только на отрицательных оценках – это порождение 18 и 19 века. Это одно из проявлений доминирующего революционного, нигилистического, индустриального отношения к миру. С этого времени и до сих пор критику определяют как отрицательную оценку. Правда советская и постсоветская действительность из индустриальности в постиндустриальность еще не перешла.

Мнение – наиболее распространенная и простая форма оценки. Мнение – это оценочное суждение, которое архитектор способен выносить непосредственно на основе потребностей, чувств, опыта. Наиболее простое мнение формулируется в виде: «нравится – не нравится», «нужно – не нужно», «хорошо – плохо», «красиво – не красиво». Иногда такие мнения называют, «оценкой со своей колокольни», «каждый кулик свое болото хвалит» и т. п.

Оценка и особенно мнение всегда субъективно. Субъективность является основанием для сомнения во мнении эксперта. У архитектора возникает несогласие с оценкой. У

оценщика соответственно возникает «несогласие по поводу несогласия архитектора». Оценщику приходится усиливать мнение. Непосредственное мнение может быть усилено несколькими способами. В частности.

Эксперт должен превратиться в дегустатора, или в своеобразный живой камертон, специально настроенный на оценку. В этом случае оценка зависит от квалификации эксперта, от признания окружением его «вкусовых дегустационных» заслуг. Мнение может быть усовершенствовано. Для этого устраиваются соревнования «экспертов-дегустаторов».

Аргументация мнения. Чувствуя ущербность непосредственного мнения, эксперты пытаются усилить его другими суждениями доказывающими справедливость или истинность, или необходимость учета высказанного мнения. В этом случае качество мнения зависимо от процедуры аргументации. Вырожденный случай - мнение тонет в аргументации, его заболтали.

Профессиональный эталон. Одна из форм усиления мнения – это замена индивидуального мнения на коллективное мнение. Произведение оценивается несколькими экспертами. В этом случае считается, что мнение одного эксперта – это плохо, а мнение многих экспертов - это хорошо. Довольно спорное, но устойчивое убеждение. Возможно - это следствие инстинкта самосохранения популяции.

Сложности экспертной оценки. Коллективное мнение экспертной комиссией весьма зависит от квалификации экспертов, равномерности их квалификационного подбора, согласованности их работы, но особенно зависит от процедуры сведения индивидуальных мнений к общему. Нечеткость процедуры сведения частных мнений в общее причина существования лжеэкспертных жюри. Мнение лидера выдается за мнение коллектива. «Мы посоветовались и я решил». Реально мнение коллектива игнорируется. Другой случай. Свое мнение трусливо прикрывается якобы мнением коллектива. Реально мнение коллектива вновь игнорируется. Фрагменты таких действий можно усмотреть и в смотре-конкурсе «Золотая капитель».

Жаль, конечно.

Специфика коллективного мнения. Направлено оно на выделение эталона. Причем, чем жюри больше по численности, тем эталон определяется более точно. В качестве такового выбирают не-плохое произведение.

Почему не-плохое?

С ним начинают сравнивать все остальные. Хуже делать нельзя. Лучше сделать можно и нужно. Специально оставляется запас для дерзаний. Как правило, эталон принадлежит массовой культуре. Но в любой профессиональной сфере деньги на жизнь зарабатываются именно на масс-культуре. Профессия отличается от любительства тем, что оказывает типичный набор профессиональных услуг и за деньги. Эталон - это своеобразная «десятка» профессиональной мишени, в которую необходимо попасть и попадать. Для успешности жизни профессии и жизни в профессии - это важно. Иногда искомый эталон называют словом «профессионализм».

Патентная или инновационная оценка. Всеобщее профессиональное однообразие попадания в «десятку» рано или поздно вызывает протест внутри профессии. Начинает

формироваться, так называемая элит-культура. Элит-культура - способ обновления профессии, всегда антипод масс-культуры. Это понимают даже генералы от архитектуры. Иногда.

Эталоном элит-культуру измерить нельзя, также как метром нельзя измерить время. Элит-культуру можно оценить только патентным способом. Чем исторически глубже патентный поиск, тем лучше. Опасности патентной оценки заключаются в том, что невиданная до этого цель автоматически не означает развития профессиональной жизни. Невиданное может оказаться вирусом, который приведет к нежелательным мутациям, к упадку профессии. Поэтому разумная осторожность с новизной необходима.

Критериальная оценка. Оценка осуществляется, как ни странно, при участии людей. Из-за негативных переживаний, связанных с субъективностью по отношению друг к другу, возникает дерзкая идея устранения людей от оценки. Или, идея сведения процедуры оценки к минимальному участию людей. Например, как при считывании показателя с электросчетчика. Такая процедура не всегда возможна, особенно в архитектуре, дизайне, но все-таки в профессии постепенно увеличивается число критериев, с которыми действительно можно работать и которые действительно являются таковыми.

Критерий - это суждение о свойстве или о свойствах, приведенных к измеряемому виду. Численное значение свойства называется показателем свойства или показателем качества произведения. Посредством сравнения показателей происходит выбор лучшего или более нужного.

Практически все прагматические свойства произведений могут быть критериями. Более того, многие прагматические свойства можно измерить или выразить в численном виде. В этом случае существует некоторое затруднение, в подборе критериев, но это не проблема. В архитектуре, дизайне, градостроительстве существует проблема измерения художественных свойств. Суть проблемы выражается следующими вопросами.

Можно ли измерить душу? Можно ли измерить единство души и мира?

Ниже приведены некоторые примеры показателей, которые применяются для оценки разных произведений, связанных с той или иной стороной души. Смысл таких показателей произведения - “число душ”, которым произведение необходимо.

Для художественных фильмов, литературы, эстрадной песни, рассчитанных на широкую публику, существуют показатели – «кассовый сбор», «общий тираж», который тоже можно выразить в рублях, в долларах. Число прихожан в церкви или “число душ”, для которых христианство является значимым явлением. «Число ссылок» на научную книгу. Тираж учебника. Число подражаний художественному произведению.

Как быть с элит-культурой? Конечно, элитарный фильм рассчитан на высокую подготовку зрителя, на зрителя, который готов трудиться при просмотре, а не расслабляться, как это происходит в случае с сериальным боевиком или мелодрамой. Показателем в этом случае является “число душ готовых серьезно трудиться”, просматривая фильм или читая книгу, вникая в архитектурное произведение.

Ну, как?

Вы еще считаете оценку, критику, смотры тривиальным и простым делом?

***

Послесловие

Предполагалось, что по этой теме будет 2 статьи. Рабочее название второй статьи «А судьи кто?! (Эпизод 2)».

Я проделал часть подготовительной работы, назвать которую можно «Анализ оценочной деятельности экспертов на конкурсе «Золотая капитель», но оформить результаты так и не сподобился. Сначала у меня не было свободного времени, а через год – два, в виде статьи - это уже было не актуально. С академической точки зрения тоже не актуально. Из архитектурного ВУЗа я уволился, соответственно совершенствовать курс «Основы архитектуроведения» и его подраздел «Основы архитектурной критики» тоже отпала необходимость.

Сейчас я на пенсии. Часть работ, которыми я занимаюсь – это подведение итогов. Поэтому очень кратко о замысле ненаписанной статьи, насколько я его помню.

***

Материал для анализа: работа 25 экспертов, оценивались 109 работ поданных на конкурс, в 12 номинациях (с подноминациями – проекты и постройки).

Каждый из экспертов, в отведенный промежуток времени, оценивал работы автономно от других экспертов и сдавал лист с оценками для общей технической обработки.

Оценки выставлялись по 16 бальной шкале.

Организаторы конкурса предварительно консультировались с доверенными лицами по поводу процедуры оценки, в том числе со мной. По поводу оценочной шкалы, я советовал не назначать академическую шкалу, то есть, 5 или 10 и кратные им шкалы. Конкретную цифру я не называл.

***

За основу анализа оценочной деятельности экспертов мной была взят несколько модернизированный анализ уже проделанной аналитической работы (см. приложение 1).

Общий анализ критичности экспертов по всем проектам приведен в прикрепляемом файле «1 Критичность2»:

https://libmonster.ru/m/files/view/1-Критичность-2

https://libmonster.ru/m/files/view/2-Критичность-2

Получилась почти симметричная картина в виде следующих 5 групп экспертов:

• эксперты «экстремисты (революционеры)» а именно Ложкин в едином лице, которым противостоят эксперты «пацифисты» в лице Парфенова;
  эксперты «умеренные экстремисты» (7 экспертов), которым противостоят эксперты «умеренные пацифисты» (6 экспертов);
• и разумеется эксперты «реалисты» в виде 10 экспертов.

Примечание 1. Если кратко, то суждения экспертов «экстремисты» сводятся к тезису: «Все плохо, нет хороших проектов (построек) и самой архитектуры, градостроительства… тоже нет». Суждения экспертов «пацифистов» сводятся к тезису: «Все хорошо и замечательно, кроме некоторых пустяков». Эксперты «реалисты» смотрят на мир трезво оценивают проекты и постройки такими какие они есть.

Примечания 2.

Фамилии в статье я не собирался называть и файл к будущей статье с рабочим материалом тоже не собирался прикладывать. Но из-за более 20 летнего срока давности думаю, что все возможные огрехи и мои, и экспертов можно простить.

Имена и отчества экспертов у меня были на отдельном бумажном листе (не знаю сохранился этот лист или нет). В итоговую таблицу оценок (техническим персоналом оценочной комиссии) были вписаны только фамилии, по-видимому, из-за экономии места.

Термины «экстремисты», «пацифисты» были приняты в качестве рабочих названий. В статье, оформленной начисто, я намеревался ввести нейтральные названия.

Прикрепленные рабочие материалы в виде файла (и всех остальных файлов) публикуется «как есть», то есть в виде именно рабочего материала (моего материала). Часть информации была «в уме». Часть лишней информации при копировании файлов не стерта (публикую как есть). Большая часть информации без объяснения, зачем она там присутствует. И т.п. рабочие огрехи.

Отдельно мной были составлены выборки критичности экспертов по 6 номинациям, а именно по градостроительству, дизайну архитектурной среды, зданиям, комплексам, коттеджам, реставрации (файлы тоже прикладываю).

https://libmonster.ru/m/files/view/3-Градостроительство

https://libmonster.ru/m/files/view/4-ДАС

https://libmonster.ru/m/files/view/5-Здания

https://libmonster.ru/m/files/view/6-Комплексы

https://libmonster.ru/m/files/view/7-Малоэтажные

https://libmonster.ru/m/files/view/8-Реставрация

Группировки экспертов усложнились.

Группировки экспертов с условным названием «экстремисты» предстали в виде «супер экстремист», «экстремист», «умеренный экстремист», «весьма умеренный экстремист».

Группировки экспертов с условным названием «пацифисты» практически не изменилась, то есть, группа экспертов «пацифистов» и группа «умеренных пацифистов».

Группа экспертов с условным названием «реалист» так и осталась относительно монолитной. Возможно, в этой группе тоже есть подгруппы.

***

По первому эмпирическому исследованию деятельности оценщиков было понятно, что поляризация оценок будет. Замысел второй статьи был в том, чтобы вначале понять, «что такое хорошо и что такое плохо» для экспертов «экстремистов», «пацифистов», «реалистов» на основе анализа. А затем в статье популярно рассказать о том, какие свойства и качества проектов и построек одобряют или не одобряют названные «группировки экспертов».

***

Постоянный адрес данной публикации: