Ответ

Логин

Пароль Получать уведомления об ответах по данной теме
Сообщение
 
                           
Посмотреть другие
смайлики
|| Как пользоваться кодами ||


Новая тема

Автор Тема:  Конкурс "Искусственный собеседник - 2008(2009)"
Нонат Ревелев
отправлено 26-08-2008 19:33   Email для Нонат Ревелев   Домашняя страница Нонат Ревелев  Профиль Нонат Ревелев
Пробное Положение о конкурсе "Искусственный собеседник - 2008(2009)"


Предисловие
Думается, стоит попробовать снова заняться конкурсом. Мне, во всяком случае, в прошлый раз было интересно.

Цель конкурса
Способствовать качественному развитию программ-собеседников и их популяризации.

Комментарий:
Цель, таким образом, сохранилась с прошлого конкурса. Не знаю, насколько прошлый конкурс "поспособствовал", но что касается популяризации, то вот с этим получается не очень успешно - в силу отсутствия у меня необходимых способностей.

Условия участия в конкурсе
На конкурс принимаются:
1) Программы-собеседники, позволяющие вести с ними письменный диалог в автономном режиме (не по сети) и созданные (обновленные) в 2007-м году. Программы должны быть созданы таким образом, чтобы их можно было свободно установить и применить на компьютерах с операционной системой Windows XP.
2) Словарные базы для уже существующих программ-собеседников. Желательно, чтобы эти базы были созданы от нуля, т.е. были принципиально новыми.

Комментарий:
Как должны были заметить знатоки, под цифрой 2 - серьезное новшество. По-моему, в этом новшестве есть очень здравый смысл. Конечно, эти базы могут рассматриваться лишь в рамках пары номинаций ("качество общения", "объем и качество словарных баз"), но зато позволяет расширить возможность участия в конкурсе.
А еще можно попробовать не ограничивать конкурс общением на общежитейские темы. Это ж более легкий путь - браться не за всё сразу, а лишь за часть! Вдруг у кого есть задумки по организации естественного общения сугубо в справочной системе... или в процессе обучения... или в процессе игры... Например, я вот в этом году бегло ознакомился со средой создания интерактивной литературы - RTADS. Читатель указывает, кто из героев что должен сделать, а книга в ответ реагирует. Полагаю, такая интерактивная литература вполне может подойти как специальная система общения.

Сроки проведения
Программы на конкурс должны быть представлены не позднее 31 января 2009г.
Публикация итогов конкурса - февраль 2009г.

Комментарий:
Я бы, естественно, предпочел, чтобы был соблюден четкий рубеж в виде Нового года, но раз уж в прошлый раз так не вышло, то пускай и останется.

Принципы оценивания программ
Оценка будет производиться экспертным способом по нескольким номинациям.
Номинации:

Качество общения
Имеется в виду адекватность реплик и просто поведения программы в беседе.
По аналогии с прошлым конкурсом планируется проверка четырьмя способами:
1) связный диалог с человеком;
2) связный диалог программы самой с собой;
3) реакция на стандартный набор простых реплик;
4) реакция на стандартный набор заковыристых реплик.

Комментарий:
Про заковыристость - относительно недавно в какой-то интернетовской заметке прочитал, что за рубежом проводятся конкурсы среди программ на лучшее решение логических задач. Только задачи там вроде как формулируются не на естественном языке. И еще такой любопытный факт: создатели этих программ никак не могут преодолеть проблему нерешаемых задач.


Дальше номинации без изменения:
Поскольку качество общения является производным от двух составляющих: собственно программы и словарных баз, то будут две соответствующие номинации.

Объем и качество словарных баз
Объем словарных баз обязательно будет оценен через структуру количества фраз обращения, восприятия и ответа. Фразы обращения - фразы, с которыми программа сама может обращаться. Фразы восприятия - фразы, на которые у программы есть готовые ответы. Фразы ответа - количество готовых ответов, в том числе в случае непонимания. Качество словарных баз - соответствие нормам русского языка, соблюдение культуры речи. В случае наличия нескольких персонажей у программы будут оценены словарные базы только одного из них.

Алгоритм
Подразумевается, что автор должен дать вкратце общее описание алгоритма своей программы, а также здесь может быть учтена сложность программирования, количество программистских ошибок.

Дизайн
Внешний вид программы, красивость.

Обучаемость программы
Оценивается самообучаемость программы, возможности принудительного пополнения словарных баз.

Информационная поддержка программы
Оценка справки по пользованию программой, авторского сайта для программы.

Комментарий:
Номинацию "За оригинальность" я решил убрать.


Награждение победителей
Призового фонда у конкурса нет. Победителям полагается только почет и уважение.

Информационная поддержка конкурса
Вся информация о конкурсе размещается на специальном сайте - artcongerro.narod.ru. Надеюсь также, что и данный форум послужит для этих целей.
Представленные на конкурс программы будут также размещены на этом сайте и оставлены там для истории (даже если впоследствии и появятся новые версии конкурсных программ).

Жюри конкурса
Ревелев Нонат Ятанович

Организатор конкурса
Ревелев Нонат Ятанович

Комментарий:
Больше на ум ничего не приходит.
BeeMaster
отправлено 01-09-2008 15:00   Email для BeeMaster   Домашняя страница BeeMaster  Профиль BeeMaster
Интересно! Предварительно заявляю об участии.
Mihail
отправлено 02-09-2008 18:16   Email для Mihail   Домашняя страница Mihail  Профиль Mihail
А мне придется предварительно заявить о неучастии [sm8]. Есть новый проект и я его пишу потихоньку, но время свободное редко появляется и вряд ли появится, поэтому скорее всего не успею. Вот, но всё равно будет интереснее [sm1].
Нонат Ревелев
отправлено 06-09-2008 01:38   Email для Нонат Ревелев   Домашняя страница Нонат Ревелев  Профиль Нонат Ревелев
Принято к сведению.
vover
отправлено 10-09-2008 18:46   Email для vover   Домашняя страница vover  Профиль vover
*Программы на конкурс должны быть представлены не позднее 31 января 2009г.*
[sm12] Чёрт, а мой бот еще не заговорил. Надеюсь успею дописать...
Wild_Spy
отправлено 26-09-2008 05:44   Email для Wild_Spy   Домашняя страница Wild_Spy  Профиль Wild_Spy
Я пока не знаю, Extra так и не дописали, т.к. главный программист наш ушел в отставку =( Пока не знаю че делать.
Нонат Ревелев
отправлено 30-09-2008 05:04   Email для Нонат Ревелев   Домашняя страница Нонат Ревелев  Профиль Нонат Ревелев
Немного прошелся по интернету, обнаружил наконец-то упоминания третьих лиц о конкурсе.

На форуме GotAI.net:
"Конкурс Лебнера
В принципе находятся в рунете интересующиеся люди которые даже собрались провести подобный конкурс. Правда в конкурсе участвовало всего 3 программы, но все же стоит отметить высокий уровень проведённого анализа русскоязычных программ собеседников."

Обнаружил также рекламу конкурса со стороны Инги Кесс на каком-то малопонятном блоге.
IngaKess
отправлено 01-10-2008 08:41   Email для IngaKess   Домашняя страница IngaKess  Профиль IngaKess
Нонат, я ни на каких блогах конкурс не рекламировала. Только сообщила в рассылке.
Нонат Ревелев
отправлено 01-10-2008 23:20   Email для Нонат Ревелев   Домашняя страница Нонат Ревелев  Профиль Нонат Ревелев
http://ochen-interesno.blogspot.com/2008/09/blog-post_5195.html

Да, на обычный блог непохоже. Но я прикопался к упоминанию в адресе буквосочетания "blog".

Про рассылку я не знал. Но тогда факт такой рассылки тем более занятен... Ты опять перестала осторожничать!
Нонат Ревелев
отправлено 01-10-2008 23:24   Email для Нонат Ревелев   Домашняя страница Нонат Ревелев  Профиль Нонат Ревелев
Уже позабыл, как правильно делать здесь ссылку. Ну и ладно - и так понятно.
Нонат Ревелев
отправлено 22-11-2008 08:29   Email для Нонат Ревелев   Домашняя страница Нонат Ревелев  Профиль Нонат Ревелев
Хочу потревожить спокойствие:

www.robotics.su/news/?id=3476

Там о нынешних делах конкурса Лебнера.
Нонат Ревелев
отправлено 31-01-2009 04:31   Email для Нонат Ревелев   Домашняя страница Нонат Ревелев  Профиль Нонат Ревелев
Итак, согласно Положению, сегодня последний день подачи программ на конкурс.
Подтверждаю свою готовность к ознакомлению с чужими работами.
Нонат Ревелев
отправлено 03-02-2009 04:23   Email для Нонат Ревелев   Домашняя страница Нонат Ревелев  Профиль Нонат Ревелев
Что ж, за отсутствием участников конкурс отменяется.
iperov
отправлено 17-03-2009 23:13   Email для iperov   Домашняя страница iperov  Профиль iperov
так вы всех участников гнидите, никто уже не хочет в вашем трешфоруме чтото писать
Новая тема

 



Администратор форума: Инга Кесс
Принадлежит сайту: http://netnotes.narod.ru/talkerus
Copyright © 2002 "Бесплатные форумы"