Насколько (ил) законно получать данные из 100% доступного, но не «открытого» API

Я нашел сайт, который предоставляет огромную фильтруемую таблицу с актуальными данными о городах в стране. Этот сайт использует бесконечный скроллинг для загрузки строк таблицы.

Исследуя сайт с помощью инструментов разработчика Chrome, я обнаружил, что он делает запросы AJAX на некоторые внутренние URL-адреса для получения данных. Этот URL включает в себя множество параметров запроса, соответствующих фильтрам.

Я попытался получить доступ к этому URL прямо в своем браузере, и я получаю все данные в хорошем формате JSON. Я даже могу поиграть с фильтрами, чтобы получить конкретные данные, которые мне нужны. Этот URL - адрес фактически доступен, поэтому мне не нужно ничего делать Hacky , я просто вызов URL , который есть в сети.

Итак, мой вопрос: насколько законно или незаконно для меня использовать этот URL для извлечения данных для моих собственных целей?

Примечание : я не хочу создавать такой же список городов, но я хочу использовать эти данные, чтобы создать небольшую онлайн-игру, потенциально заработать немного денег ...

ВАЖНО Примечания о некоторых отзывах и комментариях

Это всего лишь пример сценария, я не ищу место для сбора данных о городах. Если хотите, рассмотрите веб-сайт с данными об обновлениях футболистов за сезон.

Что касается конкретной страны, опять же, я не думаю о конкретном законодательстве, если вы знаете страну, в которой четко (иль) законно, это будет полезная информация.

Позвольте мне быть ясным. Есть одна вещь, которую я знаю достаточно хорошо, это закон об авторском праве. Я не юрист, однако знание авторского права было постоянным требованием моей консультации в течение 30 лет. В качестве дополнительного бонуса я консультировался, прежде всего, с телекоммуникациями и часто работал с данными подписчиков и анализом данных, а также предоставлением этих данных для продажи и повторного использования. По крайней мере, я обладаю уникальной квалификацией для ответа на этот вопрос на этом форуме.

Я объясню это как можно лучше: во-первых, определяя фирменные стихи обычными средствами; во-вторых, определение исключения из приведенного случая и других связанных с авторским правом соображений; и три, будучи ясным в ответе.

Позвольте мне прояснить некоторые авторские права. Пример телефонной книги является неправильным. Когда вы получаете телефон, вы заключаете частное контрактное соглашение как частное лицо с частной компанией, и полученная в результате информация, обнародованная или нет, является частными частными данными, и, следовательно, содержание телефонной книги является собственностью (обратите внимание на это слово) просто потому, что его нельзя получить вообще никакими другими способами, кроме как через источники данных компании - данные подписчика. Если данные могут быть получены с помощью обычных средств, таких как прогулка и запись номеров домов и названий улиц, то это общедоступные данные и понятны для использования. Это не означает, что номера телефонов не могут быть получены с помощью обычных средств. Может быть.

Чтобы уточнить дальше. Цитировать с: http://www.lib.umich.edu/copyright/facts-and-data

Ни в коем случае защита авторских прав на оригинальное авторское произведение не распространяется на какую-либо идею, процедуру, процесс, систему, метод работы, концепцию, принцип или открытие, независимо от формы, в которой она описана, объяснена, проиллюстрирована или воплощена в такой работе.

Этот пункт вводит в заблуждение. Это исключение, описанное в этом параграфе, подпадает под действие патентных и других законов. Авторское право распространяется только на создание произведения.

:

Доктрина "пота лба"

... относится к любой деятельности, такой как переход от дома к дому и сбор данных вручную. Это определение обычных средств. Можно стучать в двери и запрашивать те же телефонные данные. Только в той мере, в которой вы можете собирать факты обычными способами, эти данные или их часть являются общедоступными.

Обычный способ использования телефонных данных заключается в следующем: во-первых, получить исходные данные законным путем; и во-вторых, применять доктрину добросовестного использования. Это повлечет за собой получение копии телефонной книги непосредственно от компании, которая может быть бесплатной или платной, и организацию фактов внутри по-другому, чтобы создать новую работу. Вы пытались получить телефонную книгу Сиэтла, когда находитесь в Чикаго? Вы обнаружите, что телефонная компания, вероятно, будет взимать с вас удивительную плату за это. Однако, если вы являетесь абонентом телефонной связи в Сиэтле и запрашиваете телефонную книгу в Сиэтле, плата будет намного меньше или даже бесплатна. Я должен был сделать это много раз. Есть люди, которые работают только для того, чтобы лично получить телефонные книги у телекомпаний и, если потребуется, оплатить плату.

Постановление приведено в деле Feist Publications v. Rural Telephoneв приведенной выше ссылке (в этом ответе) используются два факта: один из них заключается в том, что данные оператора сельской кооперации как местной монополии должны были быть общедоступными в рамках оперативного соглашения; и во-вторых, что представление работы было защищено авторским правом, а не фактами, содержащимися в связи с фактом № 1. Следовательно, только в пределах узких параметров этот случай может рассматриваться как прецедент и должен быть отброшен. Обычно данные подписчиков частной компании по соглашению не требуются для обнародования. Вы должны помнить, что сельские кооперативы создаются как общественные трасты / организации для общественного блага и принадлежат обществу и / или членам кооператива и, следовательно, действуют в соответствии с правовыми ограничениями, позволяющими утверждать их деятельность или существование. Каждый случай индивидуален.

В первые дни существования компании Bell Telephone компания была монополистической, чтобы обнародовать данные о телефонии, если это не ограничено абонентом. Когда компания «Белл» была разделена на детские «Беллз», «Белл Атлантик», «Белл Юг» и т. Д., Эти компании все еще были обязаны в качестве монополий обнародовать телефонные данные, как это было определено ранее. Но с дерегулированием и, действительно, с VoIP, сотовой связью и другими вариантами, монополии редки. Только в сценариях монополии можно привести приведенный выше аргумент.

Продолжая цитировать ссылку выше (в этом ответе):

Тот факт, что данные не защищены авторским правом, не означает, что нет других юридических соображений, которые могут вступить в действие, если вы хотите использовать чужой набор данных.

Имейте это в виду.

Любой данный набор данных и его представление, независимо от источника данных, является работой для самого себя. Публичное изложение фактов, независимо от средств, само по себе является работой.

Учитывая, что вы не получаете данные обычными способами, даже если данные обнародованы, и независимо от исходного происхождения данных, их использование не является бесплатным, как вы описали, и вы можете быть привлечены к уголовной ответственности и привлечены к гражданской ответственности за потенциальное нарушение авторских прав, а также за преступное посягательство и незаконное использование компьютера и другого коммуникационного оборудования, которое обычно не разрешено и может подпадать под действие законов RICO.

Законно ли использовать? Нет! Точно нет! Он не был получен обычными способами, и, скорее всего, оператор веб-сайта не намерен раскрывать конфиденциальные данные. Любое отсутствие AUP (политика допустимого использования) не поможет вам. В соответствии с законом существуют предположения относительно «разумного человека», «разумного стандарта» и «разумного предположения», которые защищают владельца веб-сайта в этом случае. Не разумно, чтобы умный человек использовал «уязвимость в дизайне / создании» веб-сайта для получения данных для другого использования. Кроме того, если сайт получает прибыль от своей деятельности, в игру вступают дополнительные средства защиты.

Одна вещь, которая не кажется очень ясной в других ответах здесь ...

«Законно» это или нет, в первую очередь зависит от страны. Если мы говорим, например, о Соединенных Штатах, то использование самих данных не является незаконным. Тем не менее, я бы посоветовал вам использовать реальные данные переписи населения США. Они предлагают тонны данных через то, что они называют продуктами TIGER. Этот набор данных является тем же набором данных, который профессионалы ГИС используют для заполнения карт Bing, карт Google и т. Д.

Однако, хотя данные могут быть в свободном доступе, это не обязательно означает, что данные из этого открытого API доступны по закону. Вы говорите, что это в форме JSON, что говорит о том, что он был «преобразован» из исходного формата в этот формат - и этот пользовательский формат может подпадать под интеллектуальную собственность. ЧтоЯ считаю, что было бы незаконно использовать, если у вас нет лицензии на его использование. Как и другие здесь, я не юрист, но компании даже не нужно показывать пальцем на вас и называть вас хакером. Собственные данные являются собственными данными, даже если они раздаются непреднамеренно. Вам следует связаться с компанией и сообщить им, что все эти данные доступны для внешнего мира, и попросить разрешения на их использование. Без этого и имея этот вопрос об обмене стека в качестве доказательства, было бы легко построить дело против вас. По сути, вы сказали: «Это не выглядит законно, но мне все равно это нравится, и я хочу на этом заработать». Опять же, я не юрист, но это не похоже на отличный способ начать судебный процесс.

Дело в том, что если вам интересны названия городов и другие географические данные, почти все они доступны бесплатно, независимо от страны. Последнее, что я знал, США публикует большинство данных, но есть данные практически по каждой стране. Я не решаюсь говорить все только потому, что я программист, и доказать утверждение «для всех» сложно, если вы выберете произвольную страну, шансы на получение данных выше, чем хорошие. Если вы имеете в виду конкретную страну, отправляйтесь на GIS Stack Exchange . Главное, что вы ищете, называется «шейп-файлы», поэтому задайте вопрос типа «Где я могу получить шейп-файлы для __________?» Там также OpenStreetMapкоторая является картой с открытым исходным кодом. Я не уверен, насколько легко получить данные их шейп-файлов, но если вы можете получить их от них (и я не понимаю, почему вы не сможете, вы можете запускать автономные карты на основе локально сохраненной информации), тогда у вас есть все необходимые данные, и вы на законных основаниях. Вам придется тратить время на массирование огромных объемов данных до того, что вы хотите, но шейп-файлы всегда очень хорошо определены и их легко анализировать.

Хотя closetnoc обсуждал вопрос о самих данных, существует более серьезная юридическая проблема: у вас нет прав доступа к API, предоставляющему данные.

В основе большинства законов о компьютерных преступлениях лежит понятие «несанкционированный доступ к компьютерной системе». Вы не должны путать эту ссылку на авторизацию в юридическом смысле с концепцией авторизации, когда речь идет об управлении доступом. Владелец системы не обязан защищать свою систему, чтобы доступ к ней был незаконным, так же, как вы все еще нарушаете правила, когда входите в дом с незапертой дверью.

В этом случае очевидное отсутствие безопасности не означает разрешения на его использование. Понятие интернета пока мало прецедентно в прецедентном праве, но вы можете представить себе использование протокола HTTP 80 для публичной авторизации на просмотр веб-сайта. Напротив, фоновые протоколы RPC (даже если они могут выполняться по HTTP-запросам) обычно не считаются общедоступными, если оператор не публикует службу как таковую, предоставляя разрешение на использование третьим сторонам.

Поэтому постоянное использование API для извлечения данных будет незаконным. Получение данных из API для создания собственного набора данных также будет незаконным. Является ли использование данных после этого незаконным, это гигантская серая область, но шкаф покрыл большинство проблем.

Конечно, если вы измените дамп данных после того, как этот факт станет неузнаваемым, почти невозможно доказать, что вы совершили преступление. Но если вы столкнетесь с такими большими проблемами, почему бы не получить данные из легального источника?

Это, вероятно, зависит от характера данных. Чистые данные (например, телефонный справочник) не могут быть защищены авторским правом . Поэтому список городов из API должен быть честной игрой для копирования и показа пользователям. Однако, если в этом API есть описания города, эти описания подпадают под действие закона об авторских правах, и вы не сможете использовать их без нарушения авторских прав.

Если вы можете легально скопировать данные, я бы порекомендовал скопировать их на свой сайт, чтобы предотвратить преждевременное отключение использования API.

(IANAL, а законы и нормы широко варьируются во всем мире, но некоторые вещи, как правило, остаются согласованными в связи с договорами в области ИС. Если у вас возникли профессиональные проблемы за пределами вашей специальности, проконсультируйтесь с профессионалом.)

Как правило, юридически API не считается «предназначенным для общественного потребления», если он не задокументирован как публичный API с указанными условиями обслуживания. Тот факт, что публика может получить доступ к API, не делает его публичным.

В тех случаях, когда статус самих данных не является общедоступным, и в некоторых случаях, когда они явно являются общественным достоянием, значение сущности, предоставляющей API, имеет большое значение. Если оператор веб-сайта намеревался использовать API для подачи на динамическую веб-страницу или мобильное приложение (чтобы назвать два распространенных примера), любое другое использование является «неавторизованным», если специально не разрешено где-либо. Если предполагаемый потребитель представлял собой фрагмент динамического кода на определенной веб-странице, то для размещения понятных человеку пикселей на дисплее определенным, (надеюсь) приятным и полезным способом любое другое использование является несанкционированным.

Техническая возможность войти в здание через открытое окно, не открывая и не разбивая ничего, не защитит вас от ареста за преступное преступление ...

Кроме того, почти никогда не стоит играть в «технические способности» против «оригинальных намерений» с юристом по интеллектуальной собственности. Если не что иное, помните, что адвокаты, которые последовательно проигрывают эти дела, не получают за них плату.

То, о чем вы говорите, вероятно, хорошо. Вы делаете гиперссылку на информацию, а затем трансформируете ее.

В деле Perfect 10, Inc. против Amazon.com, Inc. [19] Девятый округ вновь рассмотрел вопрос о том, является ли использование в поисковой системе изображений миниатюрных изображений добросовестным использованием. Хотя факты были несколько ближе, чем в деле Arriba Soft, суд, тем не менее, счел использование обвиняемого нарушителем справедливым, поскольку оно было «крайне преобразующим». Суд объяснил:

Мы пришли к выводу, что существенно преобразующий характер поисковой системы Google, особенно в свете ее общественной пользы, перевешивает превосходное и коммерческое использование Google миниатюр в этом случае. … Мы также помним о том, что Верховный суд постановил, что «чем больше преобразует новая работа, тем меньше будет значимость других факторов, таких как коммерциализация, которые могут повлиять на правильное использование».

Кроме того, суд специально рассмотрел статус авторского права на ссылки, в первом апелляционном решении США сделать это:

Google не… отображает копию полноразмерных фотографий с нарушением авторских прав для целей Закона об авторском праве, когда Google создает встроенные связанные изображения, появляющиеся на экране компьютера пользователя. Поскольку компьютеры Google не хранят фотографические изображения, у Google нет копии изображений для целей Закона об авторском праве. Другими словами, Google не имеет каких-либо «материальных объектов ..., в которых произведение зафиксировано ... и из которых произведение может быть воспринято, воспроизведено или иным образом передано» и, следовательно, не может передать копию.Вместо передачи копии изображения Google предоставляет инструкции HTML, которые направляют браузер пользователя на компьютер издателя веб-сайта, на котором хранится полноразмерное фотографическое изображение. Предоставление этих инструкций HTML не эквивалентно показу копии. Во-первых, инструкции HTML - это строки текста, а не фотографическое изображение. Во-вторых, инструкции HTML сами по себе не приводят к появлению изображений с нарушением прав на экране компьютера пользователя. HTML просто дает адрес изображения браузеру пользователя. Затем браузер взаимодействует с компьютером, на котором хранится изображение, нарушающее авторские права. Именно это взаимодействие приводит к появлению нарушающего изображения на экране компьютера пользователя. Google может облегчить пользователю доступ к изображениям, нарушающим авторские права. Тем не мение, такая помощь затрагивала только вопросы ответственности по взносам и не является прямым нарушением прав владельца авторских прав на отображение. … Хотя встроенные ссылки и кадрирование могут заставить некоторых пользователей компьютера полагать, что они просматривают одну веб-страницу Google, Закон об авторском праве, в отличие от Закона о товарных знаках, не защищает владельца авторских прав от действий, вызывающих путаницу среди потребителей.

Закон штата США после Arriba Soft and Perfect 10

Дело «Арриба Софт» отстаивало положение о том, что глубокое связывание и фактическое воспроизведение в уменьшенных копиях (или подготовка производных произведений в уменьшенном размере) были оправданы как добросовестное использование, поскольку использование произведением ответчиком фактически или потенциально не отвлекало торговлю торговая площадка с первой работы; кроме того, он предоставил общественности ранее недоступную, очень полезную функцию, подобную той, которую существует закон об авторском праве (поиск необходимой информации в Интернете). В случае с «Идеальной десяткой» были схожие соображения, но в большей степени учитывался баланс интересов. Поведение было оправдано, потому что ценность для публики недоступной, полезной функции перевешивала влияние на Perfect 10 возможного вытеснения Google.

Более того, в Perfect 10 суд установил далеко идущий прецедент в пользу компоновки и фрейминга, который суд дал полный проход по авторскому праву. Он пришел к выводу, что «встроенные ссылки и кадрирование могут заставить некоторых пользователей компьютера полагать, что они просматривают одну веб-страницу Google, [но] Закон об авторском праве ... не защищает владельца авторских прав от действий, которые вызывают путаницу у потребителей».

Акцент мой. Linky

Вы просто используете гиперссылку, вы не делаете копию, вы не показываете копию, вы не наносите вред бизнес-интересам, и вы сильно трансформируете ее. Я бы сказал, что с каждым элементом все должно быть в порядке. Но, IANAL.

Это законно до тех пор, пока вам не нужно вводить пароль, чтобы его получить, но некоторые менее изощренные компании могут в любом случае требовать взлома и обмана на вас адвоката. Вы должны быть готовы защищать себя. Вы будете признаны невиновными, так как они публикуют свои данные для общественности, но это может стоить защиты. Прокуроры и полицейские подчиняются корпорациям. Это часто случается в уведомлениях о безопасности, когда кто-то уведомляет компанию о дыре в безопасности, а затем компания обвиняет их во взломе. Компания также может изменить API без предварительного уведомления, что может привести к поломке вашего приложения.

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

Остановите меня, если вы слышали об этом раньше: энтузиаст технологии слегка переусердствовал в поиске дыр в безопасности, обнаружил значительную уязвимость, выдвинул информацию, а затем были сделаны юридические и личные угрозы.

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

Злоумышленник скрывался где-то в кампусе Массачусетского технологического института, загружая статьи из научных журналов сотнями тысяч.