non gsa что это
GSA: Препарируем Google Search Appliance в виртуальной машине
Последние годы, с интересом почитывая о персональных поисковых системах в веселых желтых коробках имени Google, я периодически гуглил по словам GSA, Google Search Appliance, reverse engineering и, чего греха таить, hack, DIY, disk dump и т.п. Но ничего, кроме официальных пресс-релизов и переписки счастливых (?) обладателей с группой поддержки, я не встречал.
Иногда звучали на форумах робкие вопросы вроде «а как бы рута мне получить» или «попасть в GSA по ssh», но на все подобные вопросы ответ был один — только группа поддержки Google знает пароли. И никому не скажет. Удивительно, но я не встречал в интернете никаких попыток собрать «хакинтош» на движке Гугла, или по живому коду разобраться в алгоритме ранжирования страниц.
Ситуация слегка изменилась в 2008 году, когда на волне эйфории от виртуализации, Google выкатил VGSA – бесплатную виртуальную машину для Vmware с ограниченной до 50 тысяч документов лицензией. Впрочем, особого энтузиазма это в интернете не вызвало, в 2009 году проект был свернут и большинство ссылок в Гугле на VGSA стали возвращать 404 (заметьте – самим же Гуглом). Ссылку на релиз от 2008 года можно найти довольно легко. Ссылка на версию 2009 сохранилась лишь на паре китайских сайтов.
О том, как я поставил vgsa_20090210 на ESX 5.1 и увидел много чего интересного, можно прочитать ниже.
Пара слов о Google Search Appliance
GSA – это карманная поисковая система, способная индексировать сайты, любые документы и базы данных. Позиционируется как локальный Google для крупных компаний, которые хотят иметь свой локальный специфический поиск, но никому его не показывать (или показывать). Сама коробка – это молотилка, которая индексирует не только указанные в настройках URL-ы (http://, smb://), но и любые данные (Oracle, MySQL, etc), которыми ее можно накормить через API. Набивание GSA данными, помимо собственного http/smb паука, производится через так называемые коннекторы с открытым кодом, написанные под различные базы данных и файловые системы. Они свободно доступны через Google Code и управляются посредством Connector manager.
Установка
VGSA виртуальная машина собрана на базе CentOS 5 Final. После распаковки архива мы получаем стандартный набор vmx/vmdk файлов для Vmware Player. Так как версия уже устарела, поставить ее на ESXi 5.1, через Vmware Converter, не получилось. Была создана новая VM с базовыми настройками для Redhat 5 32b, 2 Gb памяти и мелким диском, который был тут же удален и подменен vmdk из VGSA (подключен как SCSI parallel BusLogic). Update: в комментариях пишут, что прекрасно запускается в VmWare Workstation 8.
После стандартного LILO пошла загрузка и появилась первая настораживающая надпись про шифрование:
Далее VGSA получила адреса по DHCP и появился ее стандартный экран:
По предложенному URL обнаружился нормально работающий гугловский движок, готовый к настройкам (с лицензией на 50 тыс. документов):
Для проверки проиндексировал первые 100 страниц хабра, со стандартной гугловской тактикой — 4 процесса на один домен/сайт. Краулер обходит все внутренние ссылки, а механизм индексации параллельно сортирует мусор и дубликаты. Одновременно это все ранжируется, считаются ссылки на страницу и из нее, каждой странице присваивается свой PR относительно корня (корень сайта всегда PR10) и тп.
Создав коллекцию интересных для меня сайтов (влкючить индексирование картинок пока не решился), быстро понимаю, что лимит в 50 тыс. страниц — это очень мало. Пора заглянуть под капот…
Под капотом
Пойманный на shift LILO, при любой попытке задать параметр просит пароль:
Еще раз беру дистрибутивный образ диска и смотрю его структуру. Fdisk ругается на незнакомый GPT, пробую parted:
Первый раздел стартует с 17408. Монтируем его:
и получаем корень VGSA — пока без главного раздела /dev/hda3.
Смотрим lilo.conf на предмет пароля:
Вкратце об интересных местах, на которые пока не хватает времени:
/export/hda3/5.2.0/local/google3/quality/, а именно rankboost/indexing/rankboost_cdoc_attachment_pb.py:
Там есть очень интересный момент:
— много известных факторов ранжирования, но кое-что новенькое все же есть. Я подозревал, что рекламная PPC кампания может принести как пользу, так и вред в органической выдаче. В приведенном фрагменте видно, что Гугл учитывает поведение PPC кампаний. Пока остается только гадать, что такое PPC spam.
Много интересного в /export/hda3/5.2.0/spelling/. С форматом пока не разобрался, но навскидку – там базы Гугла по синонимам и спряжениям на разных языках. Там же коллекция стоп-слов и масса весьма забавных фильтров, иногда отдающих маразмом:
Вместо эпилога
Общее впечатление от внутренностей — не однозначное. Сделано на питоне, судя по всему часть обычный скрипт, часть скомпилированный код. Система все же больше похожа на набор костылей скриптов, чем на законченный солидный продукт. Тем не менее, это все довольно шустро работает и, наблюдая за загрузкой процессора во время активной индексации большого сайта — достаточно эффективно.
Теперь, когда система из черного ящика превратилась в по-настоящему желтый — несколько мыслей о возможном ее применении:
С удовольствием выслушаю ваши мысли по этому поводу.
Non gsa что это
Смотреть что такое «GSA» в других словарях:
GSA — UK US noun [S] GOVERNMENT ► ABBREVIATION for General Service Administration: an independent organization that manages buildings, products, transport, equipment, and other important services for the US government: »Agencies can either choose the… … Financial and business terms
GSA — may stand for:* GameSpy Arcade, a utility for use with network computer games * Gas Sales Agreement, a term used by gas suppliers * Gay straight alliance, a type of student organization, found primarily in American high schools and universities,… … Wikipedia
GSA — (General Services Administration) independent United States government agency established in 1949 (manages federal property, records, construction, etc.) GSA (Girl Scouts of America) organization of girls in the United States … English contemporary dictionary
GSA — steht für: Gel Shift Assay, ein Verfahren zum Nachweis von DNA oder RNA bindenden Proteinen, siehe Electrophoretic Mobility Shift Assay General Services Administration, eine unabhängige Agentur der US Regierung für amerikanische Bundesbehörden… … Deutsch Wikipedia
GSA — Abreviatura de gases en sangre arterial. Abreviatura de la Gerontologic Society of America. Diccionario Mosby Medicina, Enfermería y Ciencias de la Salud, Ediciones Hancourt, S.A. 1999 … Diccionario médico
GSA — General Services Administration Short Dictionary of (mostly American) Legal Terms and Abbreviations … Law dictionary
GSA — (General Security Agreement) A contract under which all the personal property of a debtor is pledged as security to a lender. (Dictionary of Canadian Bankruptcy Terms) United Glossary of Bankruptcy Terms 2012 … Glossary of Bankruptcy
GSA — abbrev. 1. General Services Administration 2. Girl Scouts of America … English World dictionary
GSA — Sigles d’une seule lettre Sigles de deux lettres > Sigles de trois lettres Sigles de quatre lettres Sigles de cinq lettres Sigles de six lettres Sigles de sept… … Wikipédia en Français
GSA — noun a central management agency that sets Federal policy for Federal procurement and real property management and information resources management • Syn: ↑General Services Administration • Hypernyms: ↑independent agency • Part Meronyms: ↑Federal … Useful english dictionary
GSA — Схема показывает структуру типичного спинального нерва. 1. Somatic efferent. 2. Somatic afferent. 3,4,5. Sympathetic efferent. 6,7. Sympathetic afferent. GSA (general somatic afferent) Функциональный компонент спинального нерва, который пол … Википедия
Non gsa что это
Всемирная ассоциация поставщиков средств мобильной связи
См. www.asacom.com.
[Л.М. Невдяев. Телекоммуникационные технологии. Англо-русский толковый словарь-справочник. Под редакцией Ю.М. Горностаева. Москва, 2002]
Тематики
генеральный агент по продаже
—
[[Англо-русский словарь сокращений транспортно-экспедиторских и коммерческих терминов и выражений ФИАТА]]
Тематики
глобальная программа кибербезопасности
МСЭ
Глобальная программа кибербезопасности МСЭ (GCA) — это основные принципы МСЭ, касающиеся международного сотрудничества для правительств, международных органов правопорядка, частного сектора, международных организаций и гражданского общества с целью сделать киберпространство более безопасным в информационном обществе, которое все теснее объединяется сетями.
Международные усилия концентрируются на укреплении пяти областей:
(1) правовая база;
(2) технические меры;
(3) организационные структуры;
(4) создание потенциала;
(5) международное сотрудничество.
[[http://www.rfcmd.ru/glossword/1.8/index.php?a=index&d=23]]
Тематики
Синонимы
контракт на поставку газа
—
[А.С.Гольдберг. Англо-русский энергетический словарь. 2006 г.]
Тематики
Управление общих служб
(Министерства энергетики США)
[А.С.Гольдберг. Англо-русский энергетический словарь. 2006 г.]
Тематики
Полезное
Смотреть что такое «GSA» в других словарях:
GSA — UK US noun [S] GOVERNMENT ► ABBREVIATION for General Service Administration: an independent organization that manages buildings, products, transport, equipment, and other important services for the US government: »Agencies can either choose the… … Financial and business terms
GSA — may stand for:* GameSpy Arcade, a utility for use with network computer games * Gas Sales Agreement, a term used by gas suppliers * Gay straight alliance, a type of student organization, found primarily in American high schools and universities,… … Wikipedia
GSA — (General Services Administration) independent United States government agency established in 1949 (manages federal property, records, construction, etc.) GSA (Girl Scouts of America) organization of girls in the United States … English contemporary dictionary
GSA — steht für: Gel Shift Assay, ein Verfahren zum Nachweis von DNA oder RNA bindenden Proteinen, siehe Electrophoretic Mobility Shift Assay General Services Administration, eine unabhängige Agentur der US Regierung für amerikanische Bundesbehörden… … Deutsch Wikipedia
GSA — Abreviatura de gases en sangre arterial. Abreviatura de la Gerontologic Society of America. Diccionario Mosby Medicina, Enfermería y Ciencias de la Salud, Ediciones Hancourt, S.A. 1999 … Diccionario médico
GSA — General Services Administration Short Dictionary of (mostly American) Legal Terms and Abbreviations … Law dictionary
GSA — (General Security Agreement) A contract under which all the personal property of a debtor is pledged as security to a lender. (Dictionary of Canadian Bankruptcy Terms) United Glossary of Bankruptcy Terms 2012 … Glossary of Bankruptcy
GSA — abbrev. 1. General Services Administration 2. Girl Scouts of America … English World dictionary
GSA — Sigles d’une seule lettre Sigles de deux lettres > Sigles de trois lettres Sigles de quatre lettres Sigles de cinq lettres Sigles de six lettres Sigles de sept… … Wikipédia en Français
GSA — noun a central management agency that sets Federal policy for Federal procurement and real property management and information resources management • Syn: ↑General Services Administration • Hypernyms: ↑independent agency • Part Meronyms: ↑Federal … Useful english dictionary
GSA — Схема показывает структуру типичного спинального нерва. 1. Somatic efferent. 2. Somatic afferent. 3,4,5. Sympathetic efferent. 6,7. Sympathetic afferent. GSA (general somatic afferent) Функциональный компонент спинального нерва, который пол … Википедия
Non gsa что это
Администрация общих служб США«Герлскауты Америки»
• (missing clue) • Agcy. created by Truman • Agcy. overseeing fed. property • Agcy. overseeing Fed. records • Agcy. overseeing federal records • Agcy. смотреть
GSA: translation GSA UK US noun [S] GOVERNMENT ► ABBREVIATION for General Service Administration: an independent organization that manages buildin. смотреть
GSA: translation GSA (General Security Agreement) A contract under which all the personal property of a debtor is pledged as security to a lender. (D. смотреть
орг.гос. упр., амер. сокр. от General Services Administration* * *Управление служб общего назначения
сокр. от guinea-pig serum albumin сывороточный альбумин морской свинки
I сокр. от General Services Administration Администрация общих служб (правительства США) II сокр. от Girl Scouts of America «Герлскауты Америки» (женская молодежная организация). смотреть
GSA I General Services Administration noun Администрация общих служб (США)II Girl Scouts of America noun «Герлскауты Америки» (женская молодежная орга-низация)
. смотреть
GSA: translationGeneral Services Administration; general support artillery
(General Services Administration) Управление общих служб в федеральном правительстве США
сокр. от General Services Administration Управление общих служб (в правительстве США )
General Services Administration Lправление общих служб ( в правительстве США )
GSA Platform: «Газпром» забронировал 6% мощности трубопровода «Ямал — Европа» на 18 декабря
Транзит через магистраль «Ямал — Европа» по польскому участку трубы был забронирован отечественным газовым холдингом всего на 6% его пропускной способности, указывают данные площадки GSA Platform. Об этом пишет «Интерфакс».
Всего на аукционе по маршруту «Ямал — Европа» на субботу было предложено к прокачке 89,1 млн кубических метров энергоносителя, но «Газпром» решил зарезервировать только 6%, или 5,2 млн кубов.
Отмечается, что компания уже второй день подряд не прибегает к бронированию во время стандартной сессии, вместо этого используя для резервирования мощностей дополнительную ночную сессию.
Магистраль «Ямал — Европа» обладает протяженностью в 2 тыс. километров, а ее пропускная способность достигает 33 млрд кубометров газа в год. Участок на территории Польши в 683 км находится во владении EuRoPol Gaz. Управление на маршруте осуществляет польский национальный оператор Gaz-System.
Долгосрочное соглашение с «Газпромом» на поставки энергоресурса через Польшу истекло в 2020 году. После этого все мощности данного участка регулярно распределяются в рамках аукционов. В этом месяце «Газпром» отказался от месячного бронирования мощностей и пользуется ежедневным бронированием.
Трубопроводный газ из России будет востребован на европейском рынке в среднесрочной перспективе, заявил накануне глава управления долгосрочных программ развития «Газпрома» Кирилл Полоус.