Форум Фонда поддержки русской канарейки

Конкурсы пения => Современный подход к оценке пения => Тема начата: Р.С. от Декабря 19, 2018, 17:25:31

Название: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Р.С. от Декабря 19, 2018, 17:25:31
Большой спасибо Сергею Боченкову (Skylark) за интерес, внимание и обработку материалов конкурсных оценок.
Какие еще факторы влияют на экспертизу пения?
1. Состав судейских бригад.
Это, пожалуй, самое важное. В разное время мне доводилось беседовать со многими маститыми судьями. И ВСЕ они говорили практически одно и то же: чтобы сесть за один стол судить, мы сначала должны ДОГОВОРИТЬСЯ как будем оценивать. То есть, на предварительном этапе судьи выясняют, ЧТО будут ставить за исполнение известных колен. Обсудить понимание спорных колен. Куда относить, в какую графу оценочной шкалы, недостаточно определяемые или новые для судей колена.
И все равно, при смене судейских бригад меняется "градус" оценки. И это вполне естественно: один больше всего ценит овсянки, другой - россыпи, третий - отбои. А четвертый добавляет баллы за вставные флейтовые колена.
Вот и встает вопрос, зачем на конкурсах специально закладывать в экспертизу пения этот разброс? Хорошо, если любитель флейт попадет со своим кенаром в последнюю бригаду. Но ведь это лотерея!
2. Почему не пойти по пути западной экспертизы пения для ватерслагеров, роллеров, тимбрадо, где птиц оценивает ОДИН судья. И его предпочтения, ошибки, слух, вкус и т.д., и т.п. РАВНОМЕРНО распределяются на всех конкурсантов?
Судьи там приглашаются из другой страны. Результаты судейства оцениваются приглашающей стороной и передаются в OMJ - международную судейскую коллегию С.О.М. На основе чего вырабатывается рейтинг конкретного судьи.
3. Где-то еще в двухтысячных годах программист-сотрудник Московской консерватории создал по просьбе ФПРК компьютерную расшифровку основных колен песни русской канарейки. К сожалению, мы тогда не продолжили эту работу. Хотя направление очень перспективное. Оно дает реальную возможность написать ПРОГРАММУ оценки исполнения колен в песне. И беспристрастный компьютер сможет оценивать техническую сторону исполняемой песни.
4. Тогда на долю судей остается, на мой взгляд, самая ВАЖНАЯ оценка - художественно-музыкальная. А именно: сама песня, как законченный музыкальный отрывок, его композиционная составляющая. Голос кенара, его звучность, выразительность, владение высокими и низкими частотами, богатство обертонов, кантиленность. Самоотдача птицы при пении: насколько он вкладывается в исполнение, смена ритма, громкости, уместность и плавность переходов от одной части песни к другой. Можно назвать еще много критериев, которые пока невозможно заложить в программу компьютера. Да и не нужно. Оставим их на усмотрение живых судей.
5. На весенних конкурсах мы давно используем двойное судейство (оценка техники и оценка музыкальности). При этом итоговая оценка суммируется. Издержки в том, что привлекать к экспертизе приходится большое количество людей.
6. Однодневный формат московских конкурсов не позволяет в полной мере оценить таланты участников. Многие кенары "стесняются" петь в большом зале, другие не поют в полную силу или полную песню. При западном судействе эксперт может неоднократно прослушать одну и ту же птицу. Он не ограничен минутами. Мы же всегда торопимся, особенно при большом числе участников. И, хотя стараемся повторно поставить промолчавших кенаров, это всегда бывает уже в спешке и не всегда помогает.
7. Предлагаю обсудить варианты изменения формата проведения конкурсов с целью наиболее полного и всестороннего подхода к оценке пения. Понятно, что иногородние участники рассчитывают лишь на один конкурсный день для приезда и отъезда. Однако надо понимать, что именно этот временной фактор очень ограничивает объективность экспертизы. В идеале нужно три дня. Первый - приезд и акклиматизация. Второй - экспертиза пения судьей (не зал!). Третий - прослушивание в зале (!) лучших птиц, награждение, обсуждение, банкет.
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: илья от Декабря 20, 2018, 08:06:37
Лично я, за всё новое,против всего старого  :) .
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Skylark от Декабря 20, 2018, 09:02:30
Лично я, за всё новое,против всего старого  :) .
Илья, это просто нигилизм какой-то... Лучше бы за всё хорошее против всего плохого, а что из них старое, а что новое - это не важно.
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Р.С. от Декабря 20, 2018, 11:49:22
Коллеги, давайте приветствовать все новое хорошее. Но поскольку качество (плохое или хорошее) определяется лишь в результате проб и ошибок - пока не попробуешь - не узнаешь, экспериментировать надо в любом случае. :)
К вопросу процентов от максимальной суммы баллов.
Сергей, среди московских судей всегда существовало неписаное, но неукоснительно применяемое правило: никогда не ставь высший балл. И мотивируется это предельно просто. А что, если следующая птица споет ЕЩЕ ЛУЧШЕ? Что ставить ей?
Можно взять протоколы московского судейства хоть за пять, хоть за пятнадцать лет. Ни в одном не найти девяти баллов за овсянку или россыпь. И так - по всем коленам. Максимум не ставится НИКОГДА. Я сейчас не обсуждаю, хорошо это или плохо. Правильно или нет. Просто так заведено было еще в середине прошлого века. Возможно еще Н.А.Веллиным.
Мое мнение: высший балл не панацея, не конец света, не сбрендивший судья. А всего лишь отношение к пропетому колену. Высшие баллы часто ставятся и в искусстве, и в спорте. Не вижу также ничего страшного, если, к примеру, два исполнителя наберут одинаковое максимальное число баллов. Первое место тоже можно разделить на двоих.
Про формат судейства еще раз.
"Бригадный" метод судейства обезличивает экспертизу пения. Мы не знаем и не понимаем личных предпочтений того или иного судьи. Все усредняется. Судьи стараются избежать большого разброса баллов в протоколе. Личная ответственность подменяется "коллективным" решением. В музыке, а что иное, как не музыка птичье пение, это даже смешно. Казалось бы, найди смелость, выскажи СВОЕ СОБСТВЕННОЕ мнение, если кенар действительно понравился...нет...я - как все...у НАС "общее" мнение.
Предполагаю, что этот подход обоснован ничем другим, как наследием прошлого века. С его запретами на индивидуальность, возведением в культ коллектива, уничижением личности, карательными судами "тройками".

P.S. Цитата затравленного Сталиным писателя Михаила Булгакова. Хорошо умел выражать свои мысли.
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Skylark от Декабря 20, 2018, 14:05:21
Роман Николаевич, по поводу выставления высшего бала - тут Вы правы, если есть обоснованное мнение судьи на услышанное колено, то ограничивать его чем-то было бы неправильно. Теперь про обоснованность мнения. Насколько я понимаю, в практике конкурса МКЛК выставление оценки от 0 до 9 баллов имеет разбивку более детальную, чем просто мнение судьи, т.е. за что ставится 3 балла, 6 баллов и т.д. Это так называемое критериальное оценивание, когда весь возможный промежуток выставляемых баллов складывается из неких промежуточных характеристик каждый балл которой так или иначе прописан: узнаваемость колена, продолжительность, особенность исполнения и т.п. И чем точнее это прописано, тем проще проверить объективность судейства. Если есть жёсткая разбалловка и присутствует запись песни, то можно доверить судить и одному судье (куда он денется с подводной лодки?  ;), это всяко лучше чем среднее между двумя очень различающимися мнениями. Теперь про пары судей. Нивелирование различий в мнениях должно иметь свои ограничения. Если отличия между двумя судьями в оценке какого-то колена  на 1 балл, то можно трактовать в пользу участника, а если больше - то в идеале - фотофиниш. Но не усреднение - это точно.  Один ставит 3, другой 7, а в итоге - 5. А мы потом обдумываем: 5 это как там с узнаваемостью, продолжительностью или манерой? Да, и пока далеко не ушли от имеющейся практике оценивания, хочу спросить: в конкурсе ФПРК такие характеристики как самоотдача, раскладистость, виртуозность и прочее - каждая такая характеристика оценивается от 0 до 10 баллов. А вот есть какие-то опознаваемые и понятные канароводу ещё на этапе подготовки птички к конкурсу признаки раскладистости допустим на 3 балла и раскладистости на 6 баллов или это только мнение судьи в момент прослушивания конкурсанта? Я понимаю, что задача оценить песню в целом крайне важна и она идёт именно через оценку музыкальности, но критерии должны быть, а если по каким-то характеристикам критерии неуловимы, то это всё - в область зрительских симпатий, а не оценки судей. Какими бы профессионалами они не были. Судья должен объяснить, почему выставлен именно такой балл, тогда не будет места предвзятости и неожиданности  ;)
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Р.С. от Декабря 20, 2018, 15:43:26
Я понимаю, что задача оценить песню в целом крайне важна и она идёт именно через оценку музыкальности, но критерии должны быть, а если по каким-то характеристикам критерии неуловимы, то это всё - в область зрительских симпатий, а не оценки судей. Какими бы профессионалами они не были. Судья должен объяснить, почему выставлен именно такой балл, тогда не будет места предвзятости и неожиданности  ;)

Сергей, вы задаете, наверно, самый трудный вопрос. Проблема художественно-музыкальной оценки в том, что она включает в себя настолько большой комплекс критериев, некоторые из которых и вербализованы быть не могут (например, энергетика исполнителя, когда он  притягивает и гипнотизирует слушателей), что именно поэтому ее невозможно поручить машине-компьютеру.
Пока нереально написать такую программу.
Я общался со многими членами жюри престижных музыкальных конкурсов. Не существует таких общеизвестных и описываемых простыми словами критериев, из которых можно было бы составить протокол. Есть УШИ экспертов, которые говорят "так себе", "хорошо", "отлично", "превосходно". И в большинстве случаев (бывают, конечно, исключения) мнения совпадают.
Если пытаться раскрыть все составляющие музыки, объяснить, почему она так влияет на наше сознание, надо писать не оценочную таблицу, а роман. Как это сделал Томас Манн в "Докторе Фаустусе".
Подтверждением достоверности оценок на наших весенних конкурсах является тот факт, что лучшие солисты оказываются одними и те же по мнениям самых разных жюри (бывало, что кенаров оценивали раздельно "классики", музыканты, орнитологи) и - по мнению зала.
Впечатление производимое на уши слушателей оказывается самым главным, хотя и плохо описываемым критерием. Который напрямую не зависит от количества и набора колен в песне.
Что хотелось бы использовать в качестве приема подсчета мнений, это некий удобный способ сбора информации среди сидящих в зале слушателей. В наших залах нет кнопок голосования. В отличии от зала Госдумы. А нанимать студентов - не самый лучший вариант.
Так что, я согласен, Сергей, насчет приоритета зрительских симпатий. Именно они, зрители-слушатели разводят и обучают пению канареек. И от них, в первую очередь, зависит ЧТО и КАК будет исполнять на конкурсе кенар.
Если сравнить их труд с композиторами, то многие из нынешних классиков, включая Баха, Чайковского, Шостаковича, сначала не принимались современниками. Не нравилась "новая" музыка. И лишь по прошествии времени ее оценивали по достоинству.
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Skylark от Декабря 20, 2018, 19:48:32
Не так просто заменить человека компьютерной программой, поэтому есть устоявшиеся практики, когда человек проводит экспертизу и оценку, но система должна его страховать и поддерживать. Дай судье широкие полномочия без ограничений и в нашем обществе с коррупциогенной средой никто не даст ломанного гроша за объективность выставленных им оценок. Есть такой принцип: там где можно подделать результат и нет системы контроля за подделкой, системы защиты с подделкой, там априори будет эта подделка. И чем выше цена результата, тем больше давление и тем лучше должна быть защита. Человек слаб и нужно не давать ему никакой возможности изменять своё мнение безосновательно...
Но есть и  принцип открытости, который в сочетании с хорошо прописанным регламентом выставления тех или иных баллов легко выявляет ошибки или искренние заблуждения человека. Это один момент. Другой заключается в требованиях к регламенту - если можно прописать и измерить чем допустим 2 балла за оцениваемый параметр отличаются от 3 или 1, то эти баллы имеют смысл. Если нет, то нужно упрощать систему до градаций - "так себе", "ничего особенного", "неплохо", "отлично" или даже просто уйти на два мнения - например, самоотдача певца понравилась или не понравилась. Это вот про сложность комплексной оценки и работу музыкального жюри. Про приз зрительских симпатий можно ведь дать возможность голосовать каждому зрителю не только за одну птицу, а дать выбрать три-пять лучших или проранжировать три-пять лучших по местам, а потом перевести в баллы уже в компьютере.
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Р.С. от Декабря 21, 2018, 00:03:48
Не так просто заменить человека компьютерной программой, поэтому есть устоявшиеся практики, когда человек проводит экспертизу и оценку, но система должна его страховать и поддерживать. Дай судье широкие полномочия без ограничений и в нашем обществе с коррупциогенной средой никто не даст ломанного гроша за объективность выставленных им оценок. Есть такой принцип: там где можно подделать результат и нет системы контроля за подделкой, системы защиты с подделкой, там априори будет эта подделка. И чем выше цена результата, тем больше давление и тем лучше должна быть защита. Человек слаб и нужно не давать ему никакой возможности изменять своё мнение безосновательно...

Сергей, в С.О.М.е существует многолетняя практика подготовки судей. Международная коллегия OMJ. С выдачей лицензии и меняющимся рейтингом. С тем, чтобы в США, к примеру, приезжал судить пение ватерслагеров судья из Бельгии. Работа судей неплохо оплачивается. В 2003, если не путаю, году, судья приезжал вместе с женой. Дорога, пребывание, судейство - все оплачивала приглашающая сторона. И если они останутся недовольны его судейством, отчет пойдет в С.О.М., в OMJ. Рейтинг судьи упадет. Больше его не позовут. Зачем ему судить необъективно? Тем более, что американских птиц, как и их владельцев, он все равно не знает.
Почему бы не отправить пару наших судей получить такую лицензию? Пусть хоть на тимбрадо потренируются! :)     
Неужели Россия не наберет (с миру по нитке) денег для оплаты проезда-проживания-обучения?
С оценкой зала на наших конкурсах все непросто. Публика входит и выходит. Состав постоянно меняется. Единственная возможность как-то соблюсти относительную правдоподобность - опрос слушателей после выступления КАЖДОЙ птицы.
В зале, где сидят 50-60 человек, для этого надо задействовать не менее 4-х людей. Которые ходят по рядам и "клещами" вынимают из слушателей оценки. Это трудоемко и неудобно. Но арендовать зал Госдумы с кнопками нам не по карману.
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: илья от Декабря 21, 2018, 07:38:05
Все проблемы нынешнего судейства исчезнут с изменением как правил судейства (и оценки птицы), так и использование им (судьёй) технических возможностей собственного контроля.
Судья сидит, перед ним ноутбук, музыкальная программа пишет пение птицы.
 Судья не только слышит, но и видит звук,надо быть полным профаном что-бы сделать ошибку при таком самоконтроле.
Пчичка из 10 отведённых минут в среднем поёт 4-5 минут,
то-есть у судьи есть 5 чистых минут для того что-бы не только правильно услышать каждое калено,но и сложить своё полное впечатление от песни.
Рома не надо ни в какую заграницу ни кого посылать,пришли их в Питер ,я их сам подготовлю. :)
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Skylark от Декабря 21, 2018, 12:59:03
Все проблемы нынешнего судейства исчезнут с изменением как правил судейства (и оценки птицы), так и использование им (судьёй) технических возможностей собственного контроля. ...Рома не надо ни в какую заграницу ни кого посылать,пришли их в Питер ,я их сам подготовлю. :)
Ну вот, Роман Николаевич, оказывается никакой проблемы и нет, а Вы тут дискуссию устраиваете... А пока в Питере судьи будут проходить подготовку,  можно чем-то другим полезным позаниматься...  ;)
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Р.С. от Декабря 21, 2018, 18:42:39
Рома не надо ни в какую заграницу ни кого посылать, пришли их в Питер, я их сам подготовлю. :)

Спасибо за инициативу, Илья. Буду рад, если ты сделаешь видеотренинг по работе со звуковыми программами. И разместишь его на форуме.
Среди современных канароводов есть немало людей использующих Sound Forge и другие, в том числе, русскоязычные программы работы со звуком. Для составления собственных фонограмм, их редакции, эта первоочередная необходимость.
Тем не менее, учеба в ОMJ, международной коллегии экспертов канареечного пения, безусловно дает более широкий спектр знаний и умений. Не говоря уж о лицензии. Без которой судья не сможет быть приглашенным на конкурсы.
Вообще, отечественное канароводство, к сожалению, очень отстало от современных зарубежных организаций.
Практически по всем вопросам. И в области селекции, и в ветеринарии, и в тонкостях разведения.
Вроде бы и деньги на призы есть. И не только пенсионеры среди победителей конкурсов. Но нет обзоров зарубежной канароводческой литературы.
 Еще в 2010 году на чемпионате С.О.М.а в бельгийском Хассельте я удивлялся обилию новых, не известных мне кормов, лекарств, аксессуаров для содержания, разведения, обучения канареек. Не сомневаюсь, что за прошедшие восемь лет канароводство Европы и США еще больше продвинулось вперед.
Помню, как Л.М.Люстров подбирал индивидуальную диету каждому молодому кенару, в зависимости от его "прорванности" и индивидуальных особенностей. Думаю, что на Западе давно нашли препараты, влияющие на развитие голоса, время выхода на песню, на "ярение". Еще в 2003 году М.Симитьян применял препараты для подготовки канареек к паровкам. Производители и самки пролечивались за полтора месяца до спаривания. И отход в виде неоплодотворенных яиц или гибели птенцов бывал минимальным.
Короче, давно пора делать ревью, подборку периодики научных журналов по профильным для канароводов темам. Это не так и дорого. При наличии автопереводчиков остается только отредактировать тексты. С удовольствием размещал бы их на форуме и в ФБ-группе.
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: илья от Декабря 22, 2018, 20:17:54
Вот пример правильной организации и судейства первого дня конкурса.
 А на второй, и шоу лучших и банкет устроить можно.
судейство с 4 минуты видео:
www.youtube.com/watch?v=3a7jg6mNvAw
Название: Re: Оцениваем и обсуждаем конкурсное судейство.
Отправлено: Р.С. от Декабря 22, 2018, 22:37:46
Спасибо за видео, Илья. Страна, в которой король - фанат канареечного пения, и где на улицах городов почти с каждого балкона слышны птичьи трели, может себе позволить конкурсы такого уровня. Молодцы!
Но наши поют, на мой вкус, лучше. :)