Обновлено ниже
Мы все знаем о критической важности рецензирования. Это основная форма контроля качества и обратной связи по исследованиям. Однако, для исследователя ранней стадии (такого как я) иногда это может быть запутанной системой / процессом.
Соответственно, есть несколько трактатов по научному процессу судейства, которые дают рекомендации. Два (очень разных) примера из информатики - эта статья 1994 года от Parberry и более свежая от Cormode - предлагают отличный совет (хотя последний может быть немного вредным).
Здесь я хотел бы попросить более широких советов от более опытных членов этого сообщества о процессе обзора, с особым учетом особенностей теоретической информатики.
- Каковы основные критерии определения значимости результатов статьи? Как я могу судить, следует ли принимать статью на конференцию / журнал? Важно ли проверить правильность?
- Каковы основные элементы судейского отчета и какие части наиболее важны? Всегда ли нужно давать рекомендации (не) принятия? Что идет в отчете и что идет исключительно в редакцию?
- Чем оценка для конференций отличается от оценки в журналах? Чем отчеты о конференциях отличаются от отчетов в журналах? (Как же я оцениваю свою «уверенность» в своей рекомендации?) Должна ли версия журнала значительно отличаться от документа конференции?
- Что если я не пойму газету? ...доказательство? (Это моя вина или их?)
- Как насчет типографских / грамматических ошибок? Что, если их много?
- Сколько времени я должен потратить на отчет?
- Сколько отчетов в год я собираюсь написать? Когда допустимо отклонить запрос рефери?
Конечно, любые другие соответствующие вопросы и ответы на эту тему приветствуются, поскольку это CW.
Этот вопрос вдохновлен (украден) аналогичным постом в MathOverflow .
Обновление 15/02/2011:
Я по-прежнему очень заинтересован в том, чтобы получить больше информации по этому вопросу, особенно в отношении рецензирования документов конференции и членства в программном комитете. (Эти две роли сами по себе разные звери, и оба они очень не похожи на рецензента журнальной статьи, ИМО.) Конечно, членство в программном комитете встречается реже, чем рецензирование или рецензирование (и это еще не было моей привилегией), но является ответственность, которую каждый исследователь теоретической информатики должен взять на себя в конце концов.
Время. Сколько времени я должен провести в качестве члена комитета или рецензента конференции? Учитывая вероятность того, что я смогу получить десять или даже больше, чтобы справиться в течение нескольких недель, как мне избежать нехватки времени? Каковы наиболее важные вещи, чтобы провести время на?
Уверенность. Что делать, если статья находится слишком далеко от моей области знаний? Какие факторы должны входить в назначение / просить кого-то еще, чтобы рассмотреть представление? Если это не слишком далеко от моей области знаний, и я решаю рассмотреть это, когда допустимо дать рейтинг доверия 1?
Критерии. Есть критические различия между журналами и конференциями. Некоторые очень важные статьи не публикуются в журналах. Некоторые очень важные документы ранее не появлялись на конференциях. Каковы наиболее значимые различия в критериях оценки документов в этих условиях?
Рекомендации. По сути, есть меньше рекомендаций, которые могут быть предложены авторам документа конференции, в первую очередь из-за ограниченности пространства и времени. Кроме того, обычно есть только один раунд обзора. Другое соображение заключается в том, что мой доклад становится достоянием всего сильного комитета. Каков объем предложений / директив, которые я могу предложить?
Как и раньше, если вы считаете, что я пропустил какие-то конкретные вопросы, дайте мне знать или отредактируйте напрямую. Это CW, в конце концов.
Эти новые мысли частично мотивированы чтением статьи, которую Суреш упомянул в своем блоге .
Ответы:
Насколько вам известно, делает ли статья значительный, хорошо представленный и правильный вклад в современное состояние? Если статья не соответствует ни одному из трех критериев, будет справедливо отклонить ее только по этой причине, независимо от двух других.
Вот то, что я думаю, отчет должен содержать. Все должно быть видно автору, за исключением, возможно, серьезных обвинений в неправомерных действиях.
а. Краткое резюме статьи, чтобы помочь редактору оценить качество результатов и убедить автора и редактора, что вы действительно прочитали и поняли статью. Поместите результат в более широкий контекст. Включить историю предыдущих версий, даже если авторы включили ее в представление. Будьте уважительны, но жестоко честны.
б. Обсуждение сильных и слабых сторон документа с точки зрения правильности, новизны, ясности, важности, универсальности, потенциального воздействия, элегантности, технической глубины, надежности и т. Д. Если вы подозреваете неэтичное поведение (плагиат, параллельное представление, готовые данные) Опиши свои подозрения. Будьте уважительны, но жестоко честны.
с. Рекомендация редактору для дальнейших действий - принять, принять с незначительным пересмотром, попросить второй раунд рецензирования или полностью отклонить. Имейте в виду, что вы делаете рекомендацию, а не решение; если ты не можешь решить, просто скажи это. Будьте уважительны, но жестоко честны.
д. Более подробный отзыв автора - более подробное обоснование вашей рекомендации, просьбы о разъяснениях в окончательной версии, недостающие ссылки, ошибки в доказательствах, упрощения, обобщения, опечатки и т. Д. Будьте уважительными, но жестоко честными.
Доклады конференции должны быть короче; Программные комитеты имеют сотни документов для рассмотрения одновременно. Должна ли быть разница между газетами конференции и журналом, решать журналу (и косвенно, решать сообществу). Большинство теоретических компьютерных журналов не настаивают на значительной разнице; довольно часто конференции и журнальные версии теоретической статьи по существу идентичны. Если есть сомнения, спросите редактора!
Если вы все еще не понимаете статью после добросовестных усилий, это вина автора или, возможно, редактора, но, конечно, не ваша. Основная обязанность автора - эффективно донести свой результат до своей аудитории, и хороший редактор отправит вам рецензенту доклад, только если он считает, что вы хороший представитель предполагаемой аудитории. Но вы должны приложить добросовестные усилия; не ожидайте, что сразу все поймете (что-нибудь?) сразу при первом чтении.
Если есть много ошибок, даже не читайте газету; просто рекомендую отклонить на том основании, что статья написана не профессионально. В противном случае, если вы действительно хотите быть тщательным, включите репрезентативный список ошибок грамматики, орфографии и пунктуации, но не выкидывайте себя, обнаруживая каждую последнюю ошибку. Будьте уважительны, но жестоко честны.
Ожидайте потратить около часа на страницу, в основном на усвоение результатов и методов работы. Будьте приятно удивлены, когда это не займет много времени. (Если это занимает значительно меньше времени, либо бумага либо очень элегантная и хорошо написанная, вы знаете область очень хорошо, либо бумага технически мелкая. Не путайте эти три возможности.)
Вы должны написать как минимум столько отчетов судей, сколько написали другие люди для вас. Если это занимает больше времени, чем написание собственных документов, вы не тратите достаточно времени на свои собственные документы.
источник
Многое зависит от конференции / журнала, поскольку каждое сообщество разработало свой собственный стиль, поэтому знание того, что ожидается от конференции / журнала, безусловно, немного поможет.
Критерии: новизна / оригинальность, ожидаемое влияние, правильность / валидность, масштабность (насколько изучена проблема? + Теоремы? + Реализация? + Экспериментальные результаты?), Качество презентации. Критерии приема журнала намного выше, чем для конференций. Для конференции вы даете оценку на основе предыдущих критериев. Проверка правильности в максимально возможной степени очень важна, особенно для журнальных статей.
Отчет рецензентов содержит как минимум 4 основных элемента: краткое содержание статьи и ее вкладов; указывает в пользу принятия бумаги; указывает на бумагу; основные комментарии, в том числе вопросы для рассмотрения; незначительные комментарии (опечатки и т. д.). Вы должны всегда указывать принятие или отклонение или степень требуемого пересмотра. Комментарии к редактору могут включать: краткую, возможно, тупую оценку статьи; любое утверждение сомнения; детали возможного плагиата или параллельного представления статьи; ...
Рецензии на журналы имеют тенденцию быть более обширными и могут включать в себя множество вещей, которые авторы должны сделать, чтобы привести свою статью в приемлемое состояние, таких как «реализовать и оценить эти идеи». Ваша уверенность должна основываться на том, насколько вы уверены в себе. Обычно это приходит с опытом, поэтому начните с консервативности. Если это выходит за рамки вашей компетенции, даже если вы понимаете работу, консервативность также является хорошей идеей - трудно оценить оригинальность статьи за пределами вашей области. Некоторые журналы говорят, что материалы журнала должны содержать значительное количество нового материала по сравнению с версией конференции. 30% это цифра, которую я слышал.
Это может варьироваться. Иногда это будет ваша вина, иногда это будет их. Используйте свое суждение. Может быть, попросить коллегу взглянуть на газету. Если вы совершенно не можете понять это, и это не из-за плохого форматирования, то, возможно, обратитесь к председателю ПК и объясните, что это так. В любом случае это должно быть отражено в вашем счете доверия. Если документ не может быть понят из-за плохой письменности или языка или потому, что он был представлен преждевременно, то это должно быть написано в вашем отчете.
Когда я был моложе, я сообщал о каждой опечатке и грамматической ошибке. Теперь у меня просто нет времени. Сообщать о некоторых всегда полезно: выберите самые серьезные. Также рекомендуем, чтобы документ был вычитан (носителем языка). Для журнальных работ быть более тщательным. Если в нем слишком много ошибок, его не следует отправлять в журнал, что само по себе является причиной отклонения (IMHO).
Максимум один день для работы с конференцией, включая время чтения. Для журнальных статей, особенно длинных, их тщательное чтение может занять целую неделю.
Ожидаемая сумма может варьироваться от 5 до 30. Как младший исследователь, вы получите несколько для практики. По мере того, как вы будете продвигаться по классам, вы станете больше пересматривать, становясь членом ПК. Тогда, когда вы продвинетесь еще дальше, у вас будет целая армия аспирантов, которые сделают ваш обзор для вас. Более 30 в год довольно обременительно.
Как я уже говорил выше, я бы сказал, что целесообразно отклонить запрос на судейство, если либо (1) вы не чувствуете, что обладаете достаточным опытом, чтобы сделать хороший отзыв, либо (2) у вас слишком много отзывов (или другое) обязательства на данный момент. Также считается хорошей формой предложить ряд возможных альтернативных рецензентов, в случае если вы отказываетесь.
источник
Я даю здесь свои 2 цента и добавляю седьмой пункт:
Мои ответы
Конечно, критерии не одинаковы для конференций и журналов. Для обоих правильность, пожалуй, самый важный критерий. Тогда мой второй критерий - это новость результатов для конференций, а это влияние результатов для журналов. Для конференции также важно судить, представляет ли статья интерес для аудитории, но это суждение, которое могут сделать председатели ПК, а не рецензенты.
Прежде всего, за исключением случаев, когда вы подозреваете мошенничество или плохую практику и не уверены (тогда вам следует поговорить исключительно с редактором), я считаю, что вы должны все рассказать авторам. Я думаю, что важно быть честным с авторами и, следовательно, всегда давать рекомендации. В отчете вы должны описать тему, результаты (чтобы авторы могли видеть, что вы понимаете статью), а затем оценить достоинства результатов (новизна в уровне техники, техническая глубина, корректность, ясность) и указать на каждую проблему. Наконец, вы должны дать свою рекомендацию, возможно, с советом авторам (например, «Я думаю, что этот результат хорош, но больше подходит для конференции А, чем для этой»). В очень редких случаях вам будут выдаваться документы, которые не заслуживают того, чтобы их даже подавали,
Я думаю, что, за исключением случая приглашения в журнале специального выпуска, связанного с документом конференции, должна быть значительная разница.
два случая: это непонятно (их вина), поэтому вы можете отклонить статью по этой причине или вы не являетесь хорошим рецензентом для этой статьи. Когда это происходит, вы знаете, в каком случае это происходит, если нет, то во втором случае!
Я не являюсь носителем английского языка, поэтому в моем ответе есть предвзятость. Но я думаю, что это не причина для отказа от бумаги (за исключением некоторых крайних случаев).
Время, необходимое. Оно может варьироваться от 1 часа (плохая статья в мастерской) до нескольких дней (очень сложная статья в топ-журнале).
Лично я рассчитываю сделать 3 доклада на каждый документ, который я представил (и да, это много, на самом деле рецензирование, вероятно, одна из моих самых трудоемких задач - возможно, до обучения).
источник