Кузнецов С.В.

Структура и элементы технологии производства публичной базы знаний

Public knowledge base structure & production technology basics

1. Оформление / проектирование базы знаний.

1.1. Общие требования к оформлению базы знаний

1.2. Структура онлайновой базы знаний / обучающей энциклопедии

1.2.1. Тезаурус

1.2.2. Многомерные тематические классификаторы

1.2.3. Индекс "Предприятия"

1.2.4. Индекс "Персоны"

1.2.5. Индекс территорий

1.2.6. Хронологический индекс

1.2.7. Иные поисковые индексы

1.3. Варианты интерфейсов доступа

1.3.1. Диалог на естественном языке

1.3.2. Запрос на естественном языке

1.3.3. Доступ через классификаторы и реестры

1.3.4. Полнотекстовый поиск

1.3.5. Расширенный поиск

1.3.6. Пользовательский интерфейс доступа / поиска

1.3.7. Поисковый сторож

1.4. Особенности генератора отчетов базы знаний

1.4.1. Структура отчета о поиске в базе знаний

1.4.2. Стандартные (неспецифичные) элементы страницы

1.5. Карта сайта (базы знаний)

2. Язык интерфейса и текстов базы знаний

3. Соблюдение авторских прав третьих лиц

4. Отдельные авторские материалы по теме

1. Оформление / проектирование базы знаний.

1.1. Общие требования к оформлению базы знаний

1. Соответствие промышленным стандартам, в частности,
   • выбранной версии и расширения языка гипертекстовой разметки, http://validator.w3.org/
   • доступности сайта и страниц для лиц с ограничениями (accessibility), http://www.w3.org/WAI/
   • удобства использования сайта и страниц (юзабилити / usability), http://www.usability.gov/, http://usability.ru/sources.htm

1.2. Структура онлайновой базы знаний / обучающей энциклопедии (система навигации конкретного интернет-сайта)

1.2.1. Тезаурус (расширенный словарь опорных понятий базы знаний) в форме алфавитного реестра терминов.

Приблизительная структура публичной части отдельной тезаурусной статьи:

• Дескриптор (название понятия)
• Эквиваленты на всех рабочих языках базы знаний
• Рабочее определение термина на всех рабочих языках базы знаний, используемое в базе знаний
• Ссылки на другие тезаурусы (включая многоязычные), в которых дескриптор или его эквиваленты на иностранных языках используются в заголовках статей
• Близкие понятия, синонимы и сильно связанные термины (горизонтальные связи и ассоциации)
• Обобщенные (родовые) понятия (связи снизу-вверх)
• Подчиненные (видовые) понятия (связи сверху-вниз)
• Ортогональные (противоположные) понятия (связи отрицания)
• Обновляемый блок с определениями термина из открытых источников на русском, английском и иных рабочих языках проекта
• Иные стандартные элементы страницы

Закрытая технологическая часть отдельной статьи тезауруса:

• Реестр базы данных определений терминов и соответствующих метапоисковых серверов
• Реестр адресов страниц результатов поиска и поисковые запросы для обновления блока "Новости о понятии".
• Реестр адресов страниц результатов поиска и поисковые запросы для обновления блока "Аналитика о понятии".
• Реестр терминов и фразеологических оборотов, являющихся полными синонимами дескриптора
• Реестр терминов и фразеологических оборотов, являющихся полными антонимами дескриптора
• Все подходящие фрагменты текста (в учетом словоизменений), требующие навешивания ссылок на тезаурусную статью (для разметки текстов базы знаний) + шаблоны прикладной программы поиска-замены для пакетного (автоматизированного) навешивания ссылок на тезаурусную статью во всех фрагментах текстов, помещаемых в базу знаний.
• Средства автоматического построения полного перечня статей, из которых есть ссылки на тезаурусную статью.

1.2.2. Многомерные тематические классификаторы. Система фасетно-иерархических классификаторов, отражающих интересы целевых групп потребителей.

Классификатор имеет смысл только тогда, когда он в той или иной степени удовлетворяет целевые группы потребителей, иными словами, предоставляет им уникальные и эффективные средства навигации (решение любых проблем в 2-3 касания). Классификатор можно считать минимально удовлетворительным, если при каждом сеансе работы с базой знаний его используют более половины пользователей. Пример целевой группы:

• владельцы бизнеса
• первые руководители
• директора по развитию (стратегии)
• директора по персоналу
• директора корпоративных университетов
• директора по управлению знаниями
• директора по экономической безопасности
• аналитики и референты руководителей

Приблизительная структура публичной части отдельной рубрики (статьи) отдельного тематического классификатора:

• Классификационный код: код классификатора + код рубрики этого классификатора (десятичный, типа УДК)
• Дескриптор (название понятия) со ссылкой на тезаурус базы знаний или заголовок темы
• Ссылки на близкие рубрики иных классификаторовв (горизонтальные связи) и их коды
• Обобщенные (родовые) ситуации (связи вверх) и их коды   
• Подчиненные  (видовые) ситуации (связи вниз) и их коды
• Иные стандартные элементы страницы

Закрытая технологическая часть отдельной рубрики (статьи) тематического классификатора:

• Реестр адресов страниц результатов поиска по заданной рубрике классификатора + поисковые запросы для автоматического обновления блока "Аналитика".
• Реестр адресов страниц результатов поиска по заданной рубрике классификатора + поисковые запросы для автоматического обновления блока "Новости".
• Все подходящие фрагменты текста (в учетом словоизменений), требующие навешивания ссылок на статью тематического классификатора (метаданные) + шаблоны программы поиска-замены для пакетного навешивания ссылок на статью тематического классификатора во всех фрагментах текстов, помещаемых в базу знаний.
• Средства автоматического построения полного перечня статей, из которых есть ссылки на статью тематического классификатора.

1.2.3. Индекс "Предприятия" в форме алфавитного реестра наименований конкретных компаний, упоминающихся на сайте.

Возможная структура публичной части статьи о компании:

• Название и иные установочные данные компании
• Элементы досье на предприятие
• Иные стандартные элементы страницы

Закрытая технологическая часть статьи о компании

• Реестр баз данных с регистрационной и иной официальной информацией о предприятии.
• Реестр адресов страниц результатов поиска по предприятию + поисковые запросы для автоматического обновления блока "Аналитика о предприятии".
• Реестр адресов страниц результатов поиска новостей по предприятию + поисковые запросы для автоматического обновления блока "Новости предприятия".
• Все подходящие фрагменты текста (в учетом словоизменений), требующие навешивания ссылок на статью о предприятии (метаданные) + шаблоны программы поиска-замены для пакетного навешивания ссылок на статью о предприятии во всех фрагментах текстов, помещаемых в базу знаний.
• Средства автоматического построения полного перечня статей, из которых есть ссылки на статью о предприятии.

1.2.4. Индекс "Персоны" в форме алфавитного реестра инициалов конкретных людей, сгруппированного по первым буквам фамилий.

Возможная структура публичной части статьи о персоне:

• Инициалы и иные установочные персоны.
• Элементы досье на персону
• Иные стандартные элементы страницы

Закрытая технологическая часть статьи о персоне

• Реестр баз данных с информацией о персоне.
• Реестр адресов страниц результатов поиска по персоне + поисковые запросы для автоматического обновления блока "Аналитика о персоне".
• Реестр адресов страниц результатов поиска новостей о персоне + поисковые запросы для автоматического обновления блока "Новости о персоне".
• Все подходящие фрагменты текста (в учетом словоизменений), требующие навешивания ссылок на статью о персоне (метаданные) + шаблоны программы поиска-замены для пакетного навешивания ссылок на статью о персоне во всех фрагментах текстов, помещаемых в базу знаний.
• Средства автоматического построения полного перечня статей, из которых есть ссылки на статью о персоне.

1.2.5. Индекс территорий (континенты, страны, регионы, столицы...) - фасетно-иерархический классификатор географических мест, политического и административного-территориального деления мира и отдельных стран мира.

1.2.6. Хронологический индекс - реестр дат (опубликования автором, опубликования в базе знаний) с разбивкой по годам и по месяцам.

1.2.7. Иные поисковые индексы (товары, услуги, базы данных, сайты, методы и т.п. интересные посетителям основания деления материалов базы знаний)

1.3. Варианты интерфейсов доступа / поиска.

Любой поиск (кроме полнотекстового) в базе знаний по определению результативен за счет выдачи аналитических материалов в случае избытка информации, и автоматического выполнения логического обобщения при ее отсутствии.

1.3.1. Диалог на естественном языке.

Вопрос-ответный интерфейс доступа к базе знаний (через обозреватель Интернет, голосовую линию, wap-терминал...) использует все возможности доступа, кроме полнотекстового поиска, в частности, классификаторы и реестры базы знаний. Диалог на естественном языке не требует компьютера или иного устройства доступа в Интернет и доступен пользователям без компьютерной подготовки.

1.3.2. Запрос на естественном языке

Интерпретатор запросов на естественном языке выполняет автоматическую привязку к имеющимся метаданным (реестры и классификаторы), после чего при необходимости уточняет проблему потребителя в диалоге (вопрос-ответ), и только затем выполняется поиск.

1.3.3. Доступ через классификаторы и реестры

Меню-ориентированный пользовательский интерфейс доступа через классификаторы и реестры позволяет получать  выборки из базы данных, вводя одновременные ограничения по доступным тематическим классификаторам и реестрам.

Диалог на естественном языке, запросы на естественном языке и доступ через классификаторы (метаданные) обеспечивается системой классификаторов базы знаний. Поскольку классификаторы и реестры базы знаний поддерживаются системой полнотекстовых запросов на иностранных языках, появляется возможность предложить пользователю расширить поле поиска за счет

• текстов на иностранных языках (с переводом "на лету" на язык пользователя)
• параллельного опроса внешних открытых источников, в том числе на иностранных языках (функция "метапоиск по открытым источникам")

1.3.4. Полнотекстовый поиск

Полнотекстовый поиск использует командный язык запросов и позволяет искать в текстах практически любые текстовые фрагменты.Возможные требования к полнотекстовой поисковой систем см. в спецификации "Технологическая основа базы знаний".

1.3.5. Расширенный поиск

Полнотекстовый поиск с командным языком запросов может быть дополнен возможностью одновременного использования любых перечисленных выше классификаторов и реестров.

1.3.6. Пользовательский интерфейс доступа / поиска

Зарегистрированный потребитель через форму проектирования интерфейсов доступа может скомбинировать описанные выше интерфейсы доступа и/или добавить описание собственного варианта интерфейса (возможно с собственным алгоритмом выборки, обработки и визуализации результатов поиска).

1.3.7. Поисковый сторож

Поисковый сторож (search alert) предназначен для автоматического регулярного исполнения сохраненных заданий зарегистрированных потребителей на формирование выборки новой информации из базы знаний (через любой из перечисленных выше интерфейсов доступа / поиска) с последующей ее обработкой и визуализацией / отправкой потребителю.

1.4. Особенности генератора отчетов базы знаний

1.4.1. Структура отчета о поиске в базе знаний

Возможная структура страницы результатов поиска:

• реестр материалов, полностью удовлетворяющих запросу (с разбивкой: аналитика, новости и прочее...);
• при избыточности материалов по проблеме потребителя в первую очередь выдается аналитика  (продуктивность даже бесплатного поиска гарантирована!);
• при отсутствии материалов о проблеме потребителя автоматически проводится логическое обобщение (вариант безуспешного поиска исключен!), а также предлагается воспользоваться сервисом "корпоративный метапоиск";
• при избытке материалов по проблеме потребителя (более 30) автоматически проводится выдача только аналитических материалов (вариант безбрежности моря результатов поиска исключен!);
• реестр терминов тезауруса, чаще всего встречающихся в найденных материалах (с возможность уточнения результатов поиска по любому термину или их совокупности);
• реестр метаданных из материалов, удовлетворяющих запросу (по всем реестрам и классификаторам, с возможность уточнения результатов поиска по любому метаданному или их комбинации);
• реестр материалов, имеющих сходную совокупность метаданных (тематически близкие материалы);
• реестр связанных популярных материалов, которые чаще всего посещали другие пользователи в других аналогичных сеансах работы с базой знаний;
• реестр материалов, которые чаще всего искал авторизованный пользователь в прошлых сеансах работы с базой знаний (режим взаимного обучения).

1.4.2. Стандартные (неспецифичные) элементы страницы базы знаний или страницы результатов поиска в базе знаний

1. Панель навигации по конкретному проекту (полное оглавление, карта проекта)
2. Панель навигации по другим проектам группы авторов
3. Авторский материал - содержательная часть конкретной страницы, например, статьи тезауруса
4. Автоматически обновляемый блок с аннотациями аналитических статей (обзоров), непосредственно связанной с темой конкретной страницы. Сюда же включаются энциклопедические статьи.
5. Автоматически обновляемый блок аннотаций захватывающих новостей, непосредственно связанных с темой конкретной страницы.
6. Хроника экономических катастроф, непосредственно связанных с темой конкретной страницы.
7. Микрокаталог ресурсов Интернет по теме конкретной страницы - Ссылки на иные полезные открытые источники (справочники, энциклопедии, порталы...) или web-сервис по подбору необходимых материалов или открытых источников.
8. Курс для ситуационного самообучения в виде каталога учебных курсов и подборки авторских учебных проблемных материалов - кейсов нарастающей сложности с подробно разобранными решениями. Сюда же можно и нужно включать готовые учебные кейсы (в публичную часть базы знаний - только их начало и конец, или выводы).
9. Ссылки на доступный вариант страницы на всех рабочих языках базы знаний. Если таковых нет, приводятся ссылки на подстрочный перевод страницы с языка оригинала на все рабочие языки базы знаний.
10. Книжные новинки, непосредственно связанные с темой конкретной страницы.
11. Опцион. Мероприятия и предложения авторов базы знаний, связанные с темой конкретной страницы (обучение, консультирование, успешно завершенные проекты, старые и новые услуги...).
12. Подписка на обновления конкретной страницы и/или близкую к теме рассылку группы авторов.
13. Ссылки на автоматический перевод страницы (как минимум на 14 европейских языков, арабский, бенгальский, китайский, корейский, хинди и японский).
14. Средства защиты от копирования (как ручного, так и автоматического), просмотра и копирования HTML-кода и автоматического мониторинга изменений (кроме роботов поисковых систем).
15. Копирайт, дата последнего редактирования.

1.5. Карта сайта (базы знаний)

Карта сайта полностью включает в себя именованные ссылки на все пользовательские интерфейсы доступа и статические страницы сайта. Карта сайта готовится на всех языках базы знаний.

2. Язык интерфейса и текстов базы знаний

1. Если не указано иное, основная документация (в частности, система навигации) первоначально готовится на русском языке. Это не исключает включение в тело статей материалов на английском и других языках потенциальных пользователей.
2. Если удается привлечь финансирование для производства варианта базы знаний на конкретном иностранном языке или их группе или найти добровольцев - носителей конкретного иностранного языка, проводится найм и обучение персонала. По результату сертификации компетентным специалистам даются полномочия для подготовки и редактирования материалов на конкретном языке в соответствующей папке типа http://www.knowbase.ru/en/
3. Как вариант, можно рассматривать создание зеркала базы знаний на транслите с русского языка в соответствующей папке типа http://www.knowbase.ru/translit/.
4. Можно пытаться договориться с производителями систем подстрочного перевода о сотрудничестве при производстве корпоративных баз знаний. В таком случае появляется возможность, с одной стороны, помещать, например, в библиотеке, полные подстрочные переводы материалов, с другой стороны, заказывать официальный и/или литературный перевод.
5. Внизу каждой страницы базы знаний вешаются ссылки на автоматический перевод страниц базы знаний с языка оригинала на язык потенциальных пользователей базы знаний (как минимум 14 европейских языков + арабский, китайский, корейский и японский).

3. Соблюдение авторских прав третьих лиц

1. Создание представительной базы знаний только на основе авторских материалов в большинстве случаев невозможно. Например, можно и очень полезно для самообучения вместо или вместе с интересным авторским текстом помещать его реферат или конспект. Хотя, автор плохо себе представляет качество реферата с работ великих мыслителей или допустим, реферат российской конституции..
2. Многие ценные для конкретной базы знаний публикации в Сети или в традиционных библиотеках могут быть временно или постоянно недоступны по самым разнообразным причинам: от законодательных ограничений и невозможности получить книгу из отдаленной или зарубежной библиотеке по межбиблиотечному абонементу до технических проблем серверов.
3. Имея ввиду Хартию о сохранении цифрового наследия http://www.ifap.ru/ofdocs/digit.htm и уважая авторские права, ставится проблема легального сохранения ценных материалов в конкретной публичной базе знаний.
4. Авторские материалы третьих лиц из открытых источников вне раздела "Библиотека" приводятся только в форме автоматически сформированных аннотаций, авторских рефератов, конспектов или фрагментов текста из листингов поисковых машин и баз данных Интернет.
5. Любая аннотация, реферат, конспект или фрагмент текста вне раздела "Библиотека" сопровождается ссылкой на место первичного (авторского) размещения материалов, по возможности удовлетворяющей стандартам цитирования web-ресурсов..
6. Полные тексты авторских материалов третьих лиц из открытых источников приемлемого качества, полностью удовлетворяющие стандартам цитирования, сохраняются (резервируются) в общедоступном разделе "Библиотека" на соответствующем домене третьего уровня, например, http://library.5186364.ru. Предпочтительный формат резервирования - Portable Document Format (PDF) компании Adobe. Инструмент резервирования - любая программа конвертирования файлов или потока печати в нередактируемый формат, например, Cute PDF Writer (http://www.cutepdf.com/Products/CutePDF/writer.asp).
7. Дается ссылка на метапоисковые системы по книжным магазинам (новинки и бывшие в употреблении) для облегчения заказа бумажной копии книги или публикации.
8. Правила использования общедоступного раздела "Библиотека" детально прописаны с учетом законодательства РФ о библиотечном деле по аналогии с другими онлайновыми библиотекамии.
9. Резервные копии полных текстов авторских материалов третьих лиц из открытых источников доступны из других разделов базы знаний по ссылкам типа "Если материал недоступен у автора и его хранение явно не запрещено, его библиотечный экземпляр (резервную копию) можно найти в нашей библиотеке".
10. Любые письменные требования авторов об удалении резервных копий из библиотеки безусловно удовлетворяются.

4. Отдельные авторские материалы по теме:

Опубликовано по адресу: http://www.knowbase.ru/public-knowledge-base-structure.htm
Дата последнего редактирования 30.11.2010
© Кузнецов Сергей Валентинович