Misha Verbitsky ([info]tiphareth) wrote,
@ 2005-04-25 03:06:00
Current mood: tired
Current music:Muslimgauze - MAZAR-I-SHARIF

An Automatic CS Paper Generator
А вот прекрасное - люди написали программу,
которая пишет статьи по компутерной науке.
Написанные статьи послали организаторам конференции,
которые ничтоже сумняшеся пригласили авторов докладывать.

Программа работает очень убедительно, статьи
действительно неотличимы от настоящих.

Аналогичное устройство, производящее научные
статьи по гуманитарным наукам, хорошо известно

Также есть много случаев, когда людям удавалось
(методами социальных технологий) продвигать в уважаемых
реферируемых журналах заведомый бред. Причем и по
гуманитарным наукам (что понятно) и по
научным наукам.

А разгадка одна - массив знаний разросся
неимоверно, а методы подготовки ученых и
вузовская программа начиная от 1930-х годов
не меняется (или меняется в сторону увеличения
практических навыков за счет сокращения фундаментальной
подготовки). Поэтому людей, способных ориентироваться
в научных работах вне чрезвычайно узкой области,
практически нет. И нет никакого способа (не обладая
специальными знаниями в данной области) установить,
кто именно может дать этому тексту экспертную оценку.
А значит, способов оценить качество научной работы
тоже не осталось.

Феномен этот хорошо знаком из теории просачивания -
при сужении областей, где перколяция происходит
свободно, субстрат скачком становится непроницаем.
Так вот, современная наука потеряла связность,
и общих критериев в науке тоже нет. Кроме
узких областей.

Причем эти чрезвычайно узкие области, в которых
есть какие-то общие критерии, также весьма недолгоживущие.
То есть речь идет не о распаде целостной науки на 500 мелких
(но подобных целому) наук, а о распаде науки в 500
областей, живущих по 5-10 лет каждая. И по прошествии
назначенного срока, узкоспециальные знания оказываются
совершенно бесполезны, и даная область науки превращается
в свалку ненужных и непонятных никому текстов.

По сути это значит, что занятие наукой в исторически
сложившихся формах - занятие совершенно бесполезное,
и научная статья, сгенерированная программой, ничем
по сути не отличается от аналогичной статьи,
написанной человеком. Ибо нет никакого внятного
способа это отличие обнаружить. Если вы когда-нибудь
реферировали статьи для журналов, вы знаете,
о чем я говорю.

Выход тут более-менее один - либо закрывать
лавочку, либо кончать с узкими специалистами,
и готовить людей, которые в состоянии
внятно ориентироваться в 10-20 процентах
научных текстов самое малое. Типа берут
человека, тыкают в arxiv.org/math и если
он не в состоянии прочесть и вкратце
пересказать хоть 10% статей - немедленно
дисквалифицируют.

Привет



(Post a new comment)


[info]latexzapal
2005-04-24 17:35 (link)
Есть и несколько иные ситуации.
Например в ботанике, особенно во флористике и систематике. Для подготовки специалиста в определенной систематической группе необходимо: лет 15-20 (дорого), наличие особых талантов (непредсказуемо), задел по гербарию (фрагментарно). В итоге все делается урывками и практически перестало планироваться, т.к. на любой план жизнь все-равно нарисует хЪ с винтом. Для написания кандидатской по флоре надо потратить минимум 5-6 лет, докторской - до 25-30. В результате защит все меньше и меньше, а так как старые вымирают, то у новых проверять некому, да и не идут молодые на такие жертвы, если можно за два года поставить эксперимент по физиологии или экологии и стать кандидадтом, а на докторскую при умелом подходе хватит лет 5-6. В итоге экологов до праха, но когда заходят разговоры не за ПДК, а за биоту и биоразнообразие - начинается цыркЪ. Так что у точников проблема с расслоением на узость, а у ботаников - на длительность. При этом картинка по флористам и систематикам совершенно одинакова, что в России, что за рубежом. Мне рассказывали, что в Европе есть дядечка, систематик по каким-то там жукам, так у него на десять лет вперед время расписано - его выписали ведущие коллекции на обработку собранного материала. А дядечке тому 83 годика. Если он помрет - определять будет просто некому, точность определения за криворукими молодыми детерминантами тоже проверить не смогут. И смены ему нет, потому что это умения, за границей тоже согласны, нельзя воспитать, а пока найдешь таланта юного - старец помрет.

(Reply to this)

(Reply from suspended user)

[info]muhonogki
2005-04-24 20:11 (link)
Почему-то мне это напомнило "Основание" А. Азимова. Распад связей, утрату науки и технологий.

(Reply to this) (Parent)


[info]etwa
2005-04-24 23:34 (link)
больше внимания уделяется той работе,
которая написана более читаемо, а не той, которая содержит
более ценные результаты.


да больше того, статья должна быть написана с наличием картинок, а те - в цвете. и побольше красного!

(Reply to this) (Parent)


[info]dmitri83
2005-04-27 04:57 (link)
"Во-вторых, людей не учат
ни внятно писать тексты, ни внятно выступать на конференциях,
из-за чего часто больше внимания уделяется той работе,
которая написана более читаемо, а не той, которая содержит
более ценные результаты."

genau-genau

(Reply to this) (Parent)

(Reply from suspended user)
Нужны "инсперты"
[info]solomon2
2005-04-24 17:47 (link)
Лем освещал этот вопрос в "Осмотре на месте". Нужны специальные люди которые будут заниматься не генерацией нового знания, а переработкой и упорядочением уже существующего. Такие люди называются "инсперты" (в отличие от "экспертов") и периодически устраивают экспедиции "в глубь науки" дабы восстановить утерянные связи.

В современом обществе, кроме откровенных невежд и лжеученых, таким делом занимаются разве что философы, но и они по большей части весьма невежественны в точных науках. Есть еще историки науки, но они не занимаются творческим переосмыслением накопленного знания.

(Reply to this) (Thread)

Re: Нужны "инсперты"
[info]tiphareth
2005-04-24 18:42 (link)

Нет ничего глупее, чем решать проблемы,
созданные разделением труда, путем дополнительного
разделения труда. В результате образуется еще
одна каста, неспособная сообщаться с остальными,
только и всего. Специализация - для инсектов.

SPECIALIZATION IS FOR INSECTS

(Reply to this) (Parent) (Thread)

Re: Нужны "инсперты" - [info]solomon2, 2005-04-24 19:02:27
Re: Нужны "инсперты" - [info]tiphareth, 2005-04-24 19:14:23
Re: Нужны "инсперты" - [info]shlyahtich, 2005-04-24 19:20:00
Re: Нужны "инсперты" - [info]solomon2, 2005-04-24 19:55:33
Re: Нужны "инсперты" - [info]svonz, 2005-04-24 22:24:50
Re: Нужны "инсперты" - [info]solomon2, 2005-04-24 22:38:28
Re: Нужны "инсперты" - [info]gloriel, 2005-04-25 00:26:57
Вопрос слегка в топик. - [info]azatiy, 2005-04-25 07:51:53
Re: Вопрос слегка в топик. - [info]tiphareth, 2005-04-28 02:30:06
(no subject) - [info]tichy, 2005-04-24 22:53:31
(no subject) - [info]solomon2, 2005-04-24 23:06:40
(no subject) - (Anonymous), 2005-04-25 22:35:52
Re: Нужны "инсперты"
[info]akor168
2005-04-25 12:52 (link)
Угу, в теории этим должны заниматься философы, на практике же мы имеем ситуацию из анекдота, что философам нужна только бумага и карандаши, а ластиков им уже не требуется.

(Reply to this) (Parent)


[info]popn
2005-04-24 18:17 (link)
Я сгенерировал две статьи, ни одного утверждения там не сгенерировалось все-же. Это же у них не конференция, а мероприятие знаменитого спамщика-жулика Nagib'a Callos'a, Orlando FL. Вырос бизнес -- конференции за все хорошее на дорогих курортах. Университеты своим пенсионерам их отлично оплачивают. Организаторы имеют бабки и гостинничный откат. Все довольны. Nagib буквально благодетель, а тут ему в суп таракана запускают.

(Reply to this) (Thread)


[info]ded_maxim
2005-04-24 18:30 (link)
Ага. Причем, что самое интересное, статья, сгенерированная той программкой, была допущена к докладу без какого-либо реферирования вообще. Самый цимес содержится в письме Callos'а, где он объясняет честной публике, почему определенная доля статей допускалась к докладу без реферирования.

(Reply to this) (Parent)


[info]bo_ba
2005-04-24 18:59 (link)
Хотя изложенные вами факты конечно имели место, применение теории перколяции для объяснения гипотезы фрагментации науки не может не вызвать усмешку и скорее напоминает пародию Эксперименты физика в культурных исследованиях.

(Reply to this) (Thread)

(no subject) - [info]tiphareth, 2005-04-24 19:07:01

[info]nikadubrovsky
2005-04-24 19:13 (link)
печально это (про науку).
Про Дериду, конечно, смешно.
Вы думаете, что можно поменяв систему образования, избавится от дробления смысла?
Вроде бы русские физики-математики, успевшие окончить спецшколы и институты в СССР, получили правильное (не специализированно-прикладное) образование?
Однако, они тоже жалуются, что совершенно не в состоянии думать "о важных вопросах",потому что так или иначе их подсаживают заниматься чем то узко специальным, где никакие общие навыки по сути не требуются.
Речь идет не об инженерах, а о людях, занимающихся вполне себе теорией, причем в приличных местах, например Институт Вайцмана.

(Reply to this) (Thread)

(no subject) - [info]tiphareth, 2005-04-24 19:25:55
(no subject) - [info]nikadubrovsky, 2005-04-24 20:05:29
(no subject) - [info]tiphareth, 2005-04-24 20:13:16
(no subject) - [info]bacr, 2005-04-24 20:24:51
(no subject) - [info]pyc_ivan, 2005-04-24 21:09:12
(no subject) - [info]bacr, 2005-04-24 22:38:40
(no subject) - [info]yuri_censor, 2005-04-24 21:14:44
Доктор я умру? - а как же! - [info]bacr, 2005-04-24 22:37:35

[info]yuri_censor
2005-04-24 21:21 (link)
Да, это правильно. А вот прототип Конька-горбунка:

(Reply to this) (Thread)

(no subject) - [info]yuri_censor, 2005-04-24 21:25:10
(no subject) - [info]relf, 2005-04-24 21:42:11
(no subject) - [info]mancunian, 2005-04-25 03:17:28

[info]lazyreader
2005-04-24 21:42 (link)
Осталось сделать следующий шаг - написать программу, которая будет генерировать патентные заявки в компьютерной области. Думаю, патенты будут выдаваться на ура.
Только надо денег лишних много.


Выход тут более-менее один - либо закрывать
лавочку,


Так вроде [info]emdrone только об этом и пишет - закрывать собираются лавочку-то.

Сильно вавилонскую башню напоминает.

(Reply to this)


[info]spacelab
2005-04-24 23:03 (link)
можно проще делать. брать и переписывать чужие старые статьи и диссертации под своим именем, как делают в казахстане

(Reply to this) (Thread)

(no subject) - [info]solomon2, 2005-04-24 23:16:56
(no subject) - [info]spacelab, 2005-04-25 03:20:31

[info]tvvkkuhz
2005-04-25 01:18 (link)
Да, весело. Могу заметить следующее по поводу :

- Когда мы были молодыми, хватило дурости на такую штуку : сочинили статью на пустом месте с наугад выдуманной темой и липовыми графиками. Послали под псевдонимом. Из журнала пришла положительная рецензия. Реально публиковать все же не стали (хватило ума или хобот затрясся), процесс саботировали, хотя из редакции два раза присылали напоминание.

- Самая моя цитируемая статья (на этот раз уже реальная, в приличном издании) была собрана из говна, оставшегося валяться после неудачи некоего проекта. Статья исключительно о том, что, мол, лошади кушают овес. Сейчас в ISI на нее должно быть сто - двести ссылок (не интересовался давно). В среднем же, на нормальные статьи - по 10-20.

- me/ - рефери во многих химических журналах. Чем лучше журнал, тем более очеловечен процесс. Из JACS и Angewandte пишут персонально редакторы. А из поганых журналов статьи присылают роботы, и на рецензии отвечают тоже роботы. Я стараютсь нее отставать - посылаю их нахуй автоматически, у меня есть типа мл-робот для посыла нахуй.

(Reply to this)


[info]tvvkkuhz
2005-04-25 01:45 (link)
Феномен этот хорошо знаком из теории просачивания -
при сужении областей, где перколяция происходит
свободно, субстрат скачком становится непроницаем.
Так вот, современная наука потеряла связность,
и общих критериев в науке тоже нет. Кроме
узких областей.

Такие (оторвавшиеся от всенародной циркуляции здоровых соков науки) наросты, кластеры, или бородавки - должно быть нетрудно вылавливать с помощью анализа перекрестных ссылок по ключевым словам. Например столь мощный мотор, как Sciencedirect (запросы по ссылкам и по полному тексту на весь Elsiever), должен легко идентифицировать подобные "марксистские кружки". Важно дифференцировать In/Out активность, т.е. члены кружка могут ссылаться кроме самих себя хоть на апокрифы, хоть на материалы пленумов, но на их сообщество из внешнего мира отклик близок к нулевому.

(Reply to this)

Дело в критерии.
[info]jescid
2005-04-25 02:01 (link)
Критерий оценивать результативность научной деятельности по статьям (а ещё тот самый пресловутый индекс цитируемости) - довольно ограничен и в конце концов и тормозит развитие.
Так получилось, что кроме статей другого критерия, основы общения, развития и воплощени идей пока не выработали. Но это ещё не значит, что это невозможно.

(Reply to this) (Thread)

Re: Дело в критерии. - [info]tvvkkuhz, 2005-04-25 06:47:55

(Anonymous)
2005-04-25 02:41 (link)
Журналы, в которых опубликовались эти братья-шарлатаны (Ново Чементо, Анналс де Физик, Чекословакиан энд Чайнис успехи физических наук) существуют в огромных количествах и как раз предназначены для опубликования дерьма.
К прочтению сии журналы строго запрещены
Попробовали бы они опубдиковаться в ФизРеве, к примеру.
Так что не знаю как у вас математиков, а у физиков кое-какие критерии качества все еще сохранились.

(Reply to this) (Thread)

(Reply from suspended user)

[info]27183
2005-04-25 11:30 (link)
Великолепные результаты в науке до сих пор получают, а некоторые области так и просто в стадии полного расцвета. Делается это просто: в хороших местах не дают аспирантам заниматься ерундой и полностью игнорируются работы неизвестных профессорам лично людей.

Принцип "first rate people will hire first rate people, but second rate people will hire third rate people" работает безотказно - хорошие места вполне неплохо держатся. Если и есть упадок наверху, то лишь оттого, что многие талантливые люди, которые раньше бы в науку пошли, ныне в другие области идут, но у этого явления причины совсем другие.

(Reply to this)


[info]kincajou
2005-04-25 12:47 (link)
Для полного счастья не хватает программы, которая бы верифицировала нагенерённое. Дабы отсеивать научное от ненаучного. Эх, мечты, мечты...

(Reply to this)


(Anonymous)
2005-04-26 08:25 (link)
Что и понятно, струнная физика давно лишилась какого-либо
механизма верифицирования, так что никакого объективного
критерия, отделяющего психа от непсиха, нет.


Интересно, как быстро большой минус меняется на не менее жирный плюс.
Впрочем, в подтверждение тезиса:

По сути это значит, что занятие наукой в исторически
сложившихся формах - занятие совершенно бесполезное

(Reply to this)


[info]dmitri83
2005-04-27 13:19 (link)
хотя задача автоматического доказательства неразрешима, проверка доказтельства технически возможна уже сейчас. главная же проблема практического плана --- перевести все накопленые математические знания в machine-readable form. в будущем можно будет требовать от авторов присылать в журнал доказательства на некотором формальном языке и автоматически проверять. хотя это не решает другой проблемы -- по прежнему можно будет отправлять абсолютно правильные результаты, которые никому не интересны.

вообще, automated theorem proving, как ни странно, может приносить сюрпризы. например, некоторые теоремы, имеющие сложные тдоказательства, были передоказаны машиной проще. или было несколько теорем, которые раньше доказывали сведением к объёмным вычислениям, которые выполняла машина, а теперь эти теоремы машина доказала "напрямую", хотя человеку в этом доказательстве разобраться очень тяжело. самая известная такая теорема, для которой машина нашла "прямое" доказательство --- проблема четырёх красок.

(Reply to this)


[info]ovg
2005-04-28 12:04 (link)
В коллекцию: генератор теорем. С доказательствами, натурально.

(Reply to this)



[ Home | Update Journal | Login/Logout | Browse Options | Site Map ]