Общие вопросы / бюро ГИПов / Тестируем ИПС СТРОЙДОК с доступом ко всем ТНПА и поиском.  

Cтройтехнорм запустил открытое тестирование ИПС «СТРОЙДОК» — информационно-поисковой системы, созданной для оперативного доступа к ТНПА стройотрасли РБ.

Официально: Новая интеллектуальная версия информационной системы «СТРОЙДОК» с контекстным поиском по 9 тыс. документов, форумом и базой вопросов-ответов.

На данный момент СТН открыли доступ ко всей нормативной базе для тестирования полнотекстового поиска. Подчеркну: теперь доступен полнотекстовый онлайн-поиск по всем ~9 тыс. документов ТНПА.

‼️Предлагаю каждому из вас протестировать поисковую систему для своих поисковых запросов, которые связаны с вашей профессиональной деятельностью.

Ссылка для тестирования полнотекстового поиска по ТНПА >>

а как и куда баг репорты писать?

Можно сюда.

Полнойценный багрепорт достаточно детальным должен быть....
Из того что бросается в глаза:
- текст открывается не встроенным просмотрщиком, а скачивается... при попытке увеличить/уменьщить документ во встроенном просмотрщике - опять идет загрузка файла
- есть левые документы - мертвые - не кликаются - вместо названия - ерунда некая (т.е. общее количество документов меньше чем указанных 8 728
- для чего в базе размещены отмененные документы? при этом ни в карточке ни в тексте - нет упоминания о том на что и чем заменен или просто отменен

дальше надо качать документы и искать по содержимому конкретных файлов - чтобы видеть находит ли опреденные файлы.

К примеру, при поиске "ГОСТ 20800-75" выдает что угодно (3 документа выдал) но ГОСТ 20800-75 нет в списке (хотя ГОСТ 20800-75 это текст из списка просто скопировал и вставил

Интересно как проводилась и на сколько тщательно оцифровывалось напечатанные старые нормы....

Баг репорт должен включать кроме всяких штук типа что где когда (порядок неправильный) надо указывать среду тестирования (браузер / версия / ОС итп), шаги для воспроизведения, фото и видео....

Это ... не знаю, поддержит ли сообщество, но лично я всегда считал, что в базе нормативных документов должны выкладываться не столько текст изменения, сколько текст нормативного документа с уже внесенными изменениями (ну или по крайней мере и то и то). Предположим, поиск выдает мне текст документа, а потом окажется, что именно та часть, что искалась и была найдена - уже заменена (есть изменение, лежит в базе отдельным файлом). Я еще не на 100% уверен, что в данной базе так реализовано - посмотрим...

Т.е. pdf-ку просит скачать? У меня  встроенным просмотрщиком показывает. И я наверное понимаю в чем проблема сам сталкивался с такой проблемой - у них пдф читалка встроенная не работает на всех платформах. И там, где не работает - предлагает скачать.

Им нужно внедрить вот эту читалку, например как в этой теме:
https://proekt.by/obshie_voprosi_byuro_gipov-b58.0/utverzhden_sostav_proekta_na_pereustroiystvo_i_ili_pereplanirovku-t73477.0.html

Здесь у вас виден встроенный просмотр?

Официально, чтобы старые проекты достраивать.

Да, история документа напрашивается в туду.

видимо ошибочно, в тестируемой системе помещен заголовок "Национальный комплекс ТНПА" , который случайным образом совпадает с термином из Кодекса и ПСМ1476. Однако, по набору включенных документов совершенно не соответствует структуре в ст.29 Кодекса.

Можно было и другое название подобрать: "перечень попавшихся под руку ТНПА", или "отдельные ТНПА из законодательства" и тд.

Это очень полезная вещь.
1. Очень часто в отмененных документах содержаться термины, которых нет в новых ТНПА.
Например, термин "Непроходной подвесной потолок" есть только в отмененном П1-01 к СНиП 2.08.02-89, хотя сам термин упоминается в действующих СН 4.04.01-2019, СП 4.04.04-2023, СП 4.04.06-2024 и т.д.
2. Можно найти первоисточник каких-то конкретных норм, почитать первоначальную формулировку и, может быть, станет понятнее, что имеется в виду.

Доброе утро, уважаемые коллеги. Эта версия ИПС "СТРОЙДОК" является тестовой. База ТНПА размещена не на последнюю дату. Будут удовлетворены все ваши пожелания. Поэтапно. В частности:
1.   Нормативный след – ТНПА будут открываться на определенную дату (на заданную).
2.   Будет реализована версия сравнения двух версий документов.
3.   Форум.
4.   Чат-бот.
5.   Калькуляторы для проектировщиков
6.   Взаимосвязь с базой нормативных правовых актов из системы "ЭТАЛОН" по ссылкам в текстах
7.   Электронный журнал с архивом
8.   Поиск коллизий
9.   Письма-разъяснения Минстройархитектуры
10.   Взаимосвязи в карточках ТНПА
11.   Ссылки в ТНПА на другой ТНПА
12.   Oфлайн-версия
13.   Реестры ТУ, специальных ТУ
14.   Реестры ТТК
15.   План разработки СП и СН
16.   Контроль документов (изменений)
17.   Календарь с выходом ТНПА (со вступлением их в силу)
18. Конечно, все тексты документов будут содержать все изменения к нему
Просим писать все ваши замечания. Мы их обязательно рассмотрим и примем. Платформа "СТРОЙДОК" планируется как цифровая экосистема для всех заинтересованных, она будет удовлетворять всем потребностям пользователей

Видел запись про письма-разъяснения. Какие у вас планы по ним?

Как технически поиск организован полнотекстовый? Есть ли планы мысли реализовать ИИ поиск на основе RAG

Каков статус ответов в Вопросы-ответы и кто автор этих ответов? Как их задавать и время ответа?

Решил подключить ИИ для тестирования (в силу своего понимания процесса). Пока есть вот такой баг репорт (двуязычный. Я по привычке делаю на английском, за русский перевод не ручаюсь, но может разрабам поможет) - 4 бага разной степени важности пока отловлено (в поиске)

Разъяснения министерства будут размещены в отдельном разделе. Ответы на вопросы будут давать специалисты - разработчики ТНПА.

а есть возможность разрабам напрямую скинуть? а то тут аи агент нарыл несколько уязвимостей, которые не хотелось бы в общий доступ вешать

Модуль "вопросы-ответы" - это база наиболее часто задаваемых вопросов в организацию. Ответы - мнение разработчиков. База будет постоянно пополняться.
Вопросы можно будет задавать в онлайн, но чуть позже (такой функционал тоже планируется).

[2005/8533] 123 123  ✗ (no PDF)
[2005/8533] eqw 1e  ✗ (no PDF)
[2005/8533] Журнал «Стандартизация № 5-2023» Стандартизация. Научно-практический ж...  ✗ (no PDF)
[2005/8533] Постановление Минстройархитектуры № 24 от 16.03.2023 Об изменении прик...  ✗ (no PDF)
[2005/8533] Постановление Минстройархитектуры № 130 от 13.12.2024 Об изменении пос...  ✗ (no PDF)
[2005/8533] Постановление Минстройархитектуры №102 от 08.12.2022 г. Об утверждении...  ✗ (no PDF)

Пробывал поиск "Постановление Минстройархитектуры № 24" - ничего не нашло (наверное потом, что pdf файла самого нет

спасибо, пишите мне fedorenkota@stn.by

12.   Oфлайн-версия?

Тут крайне важно проработать статус этих ответов. Т.е. есть мнение разработчика. Приносишь его в экспертизу, а там его отвергают, т.к. им это мнение не указ. Такая же ситуация с письмами разъяснениями. Это задача для вашего руководства.

Ситуация понятная))) спасибо

ищу .например, сп 4.02.01. Выдается куча результатов полнотекстового поиска, но сам СП где? не логично, чтобы он первым находился?

Ррррелевантность)

Что касается разъяснений

статус определен ст 69-1. Разъяснения применения нормативных правовых актов закона от 17.07.2018 № 130-З: "3. Разъяснения носят рекомендательный характер и применяются к правоотношениям, имевшим место в момент действия нормативного правового акта (его структурного элемента), в целях разъяснения которого они даны. Правовые последствия несоблюдения законодательства, допущенного вследствие применения разъяснений, данных государственными органами (организациями), указанными в пункте 1 настоящей статьи, могут устанавливаться законодательными актами."
но при этом по п. 2 этой статьи "Подготовка разъяснений осуществляется с соблюдением требований, предусмотренных пунктами 2 и 4 статьи 69 настоящего Закона. Руководители государственных органов (организаций) несут персональную ответственность за соответствие законодательству разъяснений, данных этими государственными органами (организациями)."

Ниче непонятно если честно)))

Но последние мои разбирательства по этому вопросу уткнулись в мнение конституционного суда по Письмам-разъяснениям:
Согласно решению Конституционного Суда Республики Беларусь от 3 октября 2019 г. № Р-1190/2019 «О правовом регулировании письменных разъяснений применения нормативных правовых актов», в отличие от строительных норм/строительных правил и иных НПА и ТНПА, письменные разъяснения применения нормативных правовых актов уполномоченных государственных органов (организаций) имеют особую правовую природу и не относятся к нормативным правовым актам, не уточняют и не дополняют правовое регулирование, а содержат рекомендации, направленные на формирование единообразной практики применения действующих правовых норм.»

Также, относительно недавно в новостях было, что этот вопрос хотят наконец-то решить окончательно.

Из практики - эти письма где-то принимают, а где-то нет, что для меня немысленно.

Кстати, мнение конституционного суда мне лично показал Лишай на встрече в ваших стенах. Он рассказал, что когда-то СТН выпускали компакт-диски с этими разъяснениями.

Вот нашел:
Рекомендательный характер разъяснений и развитие института официального толкования НПА.

Ваш нынешний предварительный просмотр пдф документов не работает на андроид подозреваю и на эплях.

Движок просмотра pdf, как в этой теме работает на всех системах:
https://proekt.by/obshie_voprosi_byuro_gipov-b58.0/utverzhden_sostav_proekta_na_pereustroiystvo_i_ili_pereplanirovku-t73477.0.html

Он бесплатный и простой. Вам не сложно будет заменить одно на другое.

Для строительных норм и правил RAG - это очень рискованная замена полнотекстовому поиску. Полнотекстовый поиск находит точную цитату из документов, а RAG пересказывает своими словами, собирая информацию из разных мест, и может что-то перепутать или ошибиться, что недопустимо. Даже с качественными документами RAG требует сложной настройки: подбор правильной нарезки текста, настройку гибридного поиска. Затраты на разработку и поддержку такой системы многократно превышают пользу, особенно если учесть, что часто ответы RAG содержат фактические ошибки, которые может выявить только профильный специалист. Проще и дешевле оставить проверенный полнотекстовый поиск, который дает детерминированный и юридически правильный результат.

Ну где-то согласен. Нужно от простого к сложному - сделать сначала добротную полнотекстовую поисковую систему. 

Какая поисковая машина используется для поиска? Может что-то самописное или готовое вяли решение? Почему спрашиваю. Сам аж с 2003 года занимался поисковыми технологиями. Тогда только начинался поиск с морфологией, стемминг и т.д.

Поиск не работает нормально. Выдаёт кучу ненужной информации, причем в большинстве своём абсолютно не относящуюся к вбитому поисковому запросу. Если написать цифровой «шифр» ТНПА, включающий в себя и год, то в результатах поиска высвечивается тьма того, что тем или иным образом включает в себя  несколько последовательных цифр, как и в запросе на поиск. И может быть такое, что необходимого документа, в составе найденного, не будет. Некоторые ТНПА, которые есть в ИПС (знаю точно) почему-то не находит. Вчерашняя попытка затестить работу сопровождалась нервотрепкой... Наиболее простым вариантом стало зайти под логином, и просмотреть документ.

Я на вкладку "Фильтр" переходил, вводил в строке "Обозначение" нужный СН и в поиске выдавало сугубо этот документ, если его текст есть в базе.
По этому СП, например, в выдаче остаются сам СП и изменение №1 к нему, если искать через Обозначение.

Editor_stn, фоново целый день сегодня думал про ваш ответ про поиск с помощью ИИ. Параллельно умирая на стройке от жары)))

Без ИИ действительно удобный поиск по текстам вы не сможете сделать. Я пообщался с теми, кто уже несколько лет активно и ежедневно используют такой поиск внутри компании. То есть при грамотном подходе практика показывает, что всё же можно сделать ИИ поиск по ТНПА. И он действительно будет удобен.

Поэтому если действительно на совесть делать — нужно с ИИ. Да, сложно, но и интересно. Более того, есть те, кто уже это сделал и делятся решением:
https://youtube.com/watch?t=7959&v=T9z7k-zHcAg&feature=youtu.be

PS: Если переживаете, что ИИ может сгаллюцинировать при поиске, — можно предупреждать пользователя: мол, необходимо информацию проверить на таких-то страницах. Всё равно же в итоге пойдут смотреть в норматив, уточнять нюансы.

Спасибо!!! обязательно посмотрю!
с наступающим праздником нас, строителей! профессионалов!
и всем неравнодушным спасибо за советы.

Не, не смогу опять 2 часа в предпраздничный день посвятить втыканию. Поэтому, опять прибегну к трем смс от gemini:

Q: "ссылка на видео" изложи фрагмент, в котором описывается технология умного поиска по корпоративным документам
A:В предоставленном фрагменте видео (с отметки 02:12:33) технологию умного поиска по архиву корпоративных документов описывает руководитель отдела искусственного интеллекта компании «ЭНЭКА» Павел ([2:05:58]).
Ниже представлены ключевые тезисы об этой технологии:
* Масштаб архива: за 20 лет работы компании накопился огромный массив проектной документации ([2:12:42]). Зачастую сотрудники даже не знают, какие именно решения создавались прошлыми командами ([2:12:50]).
* Суть технологии: специалисты проанализировали все ранее выпущенные комплекты документов и загрузили их в единую текстовую базу данных ([2:12:57]).
* Как работает поиск: инструмент позволяет осуществлять быстрый сквозной поиск по текстам и чертежам ([2:13:05]). Это дает возможность оперативно находить нужную информацию и повторно использовать уже готовые и проверенные технические решения в текущей работе ([2:13:05]).
* Интерфейс и доступ: для удобства сотрудников инструмент реализован в виде корпоративного чат-бота, интегрированного в рабочую среду Microsoft Teams ([2:13:13]).
* Формат выдачи: пользователь вводит текстовый запрос в чат-боте, а искусственный интеллект анализирует базу и мгновенно формирует итоговый структурированный отчет в формате Excel со всеми найденными совпадениями ([2:13:22]).

Q:дай подробности как именно организована такая текстовая база знаний
A:На основе доклада руководителя ИИ-направления компании «ЭНЭКА» Павла, организация такой текстовой базы знаний и архитектура извлечения данных строятся по следующим принципам ([2:06:12]):
## 1. Формат и источники исходных данных
* Извлечение из PDF: Первоначально весь массив документов компании за 20 лет хранился в формате PDF ([2:12:42]). Для создания базы данных текстовая информация вычленялась именно из этих проектных комплектов и чертежей ([2:12:57]).
* Переход на BIM-модели: На текущем этапе концепция масштабируется на извлечение информации не только из плоских документов, но и напрямую из базы данных BIM-моделей ([2:14:59]). ИИ забирает данные об объектах, параметрах и связях через программный интерфейс (API) ([2:08:41]).
## 2. Структура и типы данных в базе
Вся накопленная информация агрегируется и хранится в единой базе в нескольких взаимосвязанных видах ([2:13:05]):
* Табличные данные: точные числовые и текстовые параметры элементов, спецификации и характеристики оборудования ([2:15:35]).
* Граф связей (Реляционные данные): база фиксирует логические цепочки — например, к какому конкретно помещению принадлежит элемент, с какими объектами или инженерными сетями он связан ([2:15:43]).
* Геометрические данные (3D): в базу закладывается не просто текст, но и пространственное представление геометрических и технических решений ([2:15:43]).
## 3. Очистка данных и лингвистическая обработка
Чтобы поиск работал корректно и понимал специфику документов, разработчики провели предобработку текстов:
* Кастомный словарь терминов: Классические ИИ-модели и стандартные редакторы (вроде Microsoft Word) часто распознают профессиональный строительный сленг и сокращения как ошибки ([2:12:05]). Для текстовой базы был создан специализированный расширенный словарь строительных терминов ([2:12:05]).
* Группировка навыков и сущностей: Технология обучена сопоставлять синонимы. ИИ анализирует тексты, извлекает суть (сущности) и группирует их, даже если разные инженеры или авторы проектов описывали одно и то же техническое решение разными словами ([2:14:20]).
## 4. Поисковый индекс и интерфейс
* База работает в фоновом режиме на Client-Server архитектуре, избавляя инженера от необходимости открывать «тяжелые» файлы чертежей ([35:27]).
* Вся текстовая база проиндексирована и подключена к API корпоративного мессенджера (Teams) через чат-бота, который выступает единым окном для отправки поисковых запросов ([2:13:13]).

Q: перечисли конкретные технологии и библиотеки, которые используются в такой базе знаний и поиске по ней
A: В самом докладе Павла конкретные названия библиотек программирования и стек технологий для этого кейса прямо не перечисляются ([2:12:42]). Спикер описывает систему на уровне архитектурных концепций ([2:12:57]) и упоминает лишь интеграцию с Microsoft Teams для интерфейса бота ([2:13:13]), PDF-формат на входе ([2:11:22]) и Excel (.xlsx) на выходе ([2:13:22]).
Однако, исходя из описанной им логики работы (парсинг PDF ([2:11:22]), извлечение параметров из BIM ([2:08:54]), поиск сущностей, группировка синонимов ([2:14:30]) и выдача отчетов ([2:13:22])), в современной разработке и практике ИИ-отделов инженерных компаний для реализации такой базы знаний стандартно используется следующий стек технологий:
## 1. Извлечение данных (Парсинг и OCR)
Чтобы перевести чертежи и PDF-комплекты в машиночитаемый текст:
* PyMuPDF / PDFPlumber — Python-библиотеки для быстрого извлечения текста, таблиц и координат объектов из цифровых PDF-файлов.
* Tesseract OCR / EasyOCR — библиотеки оптического распознавания текста (если часть архива состоит из отсканированных бумажных чертежей).
* Autodesk Revit API / Autodesk Data Exchange — программные интерфейсы для выгрузки метаданных, геометрии и параметров напрямую из BIM-моделей в JSON/базу данных ([2:08:54]).
## 2. Лингвистическая обработка и ИИ (NLP / LLM)
Для работы со специализированным словарем, группировки синонимов и извлечения сути ([2:12:15]):
* LangChain / LlamaIndex — фреймворки для создания ИИ-приложений, которые связывают базу документов с языковыми моделями.
* Spacy / NLTK — классические NLP-библиотеки для токенизации, лемматизации и очистки текста от «мусора».
* Hugging Face Transformers — для подключения эмбеддинг-моделей (например, семейства BERT или ruBERT), которые переводят строительные термины и описания в числовые векторы. Именно они позволяют ИИ понимать, что разные фразы инженеров означают одно и то же техническое решение ([2:14:30]).
## 3. Хранение данных и Поисковый движок
Поскольку Павел упомянул поиск как по текстовым параметрам, так и по связям элементов (графам) ([2:15:28]):
* Vector Databases (ChromaDB / Qdrant / PGVector) — специализированные базы данных для хранения векторных эмбеддингов, обеспечивающие семантический поиск по «смыслу», а не просто по ключевым словам.
* Elasticsearch / Opensearch — классические поисковые движки для мгновенного полнотекстового поиска по огромным архивам документов.
* Graph Databases (Neo4j) — могут использоваться для реализации «графа связей», о котором говорил спикер (какой элемент в каком помещении находится и с какими сетями связан) ([2:15:43]).
## 4. Интеграция, интерфейс и отчеты
* Код бота — обычно пишется на Python (библиотеки Bot Framework / Microsoft Graph API) для бесшовной интеграции чат-бота в корпоративный Microsoft Teams ([2:13:13])).
* Генерация отчетов — библиотеки OpenPyXL / XlsxWriter на Python для автоматической сборки найденных данных в структурированные таблицы Excel ([2:13:22]).

Поэтому, да, такие возможности поиска "интересны", но потребуют недетских ресурсиков

Полнотекстовый поиск очень хорошее подспорье в поиске информации. Но я бы сказал что это хороший движок, без умной фильтрации. То есть он находит много совпадений слов, но часто эта информация нам не редевантра.
Условно для простых запросов в иде одного или нескольких слов он подходит отлично, когда нужно найти аббревиатуру, термин, пункт о конкретном предмете.
Но когда запрос сложнее, например какой-то вопрос, чтобы ответить на который нужно извлечь информацию не только из текста пункта, но и из таблицы, других пунктов, формулы и т.п., то тут нужна более прокаченная система.
RAG это просто название процесса, например как бетонирование. Технология этого процесса может быть разная. Да, базовая это побить текст на куски, сделать им семантические вектора и искать по ним. Это как будто привезти бетон на участок, свалить в кучу и лопатами устраивать в конструкцию без вибро уплотнения.
Технологий RAG множество и они сейчас активно развиваются и совершенствуются. В своем выступлении на Стройфоруме и ТИБО я рассказывал как можно организовать умный поиск по нормам и ответы на вопросы с очень большой точностью.
https://youtu.be/dy_TtbeirQM?t=3650. (видео с таймкодом, можно послушать только пару минут по данной теме)
Конечно при таком подходе затраты сильно выше, но и качество совсем другое.
Польза может быть сейчас недооценена. Я бы сравнил это с поисковиком Google, только по нормам, надеюсь нет сомнений что он полезен каждому)
Можно также посмотреть на опыт коллег из Казахстана, где даже есть Министерство ИИ, а сама страна ведет бурный процесс цифровой трансформации и плотно внедряет ИИ в строительство.
Например тут в экспертизу https://dknews.kz/ru/ekonomika/383824-ii-vnedryat-v-stroitelnuyu-ekspertizu-kazahstana
И тут много интересного https://inbusiness.kz/ru/last/ii-nachal-proveryat-stroitelnye-proekty-v-kazahstane

Мне вот еще бы хотелось чтобы при нажатии на документ сразу открывало его на странице где есть совпадение и текст подсвечивало как на странице поиска. Потому что иначе вручную нужно листать и искать где-же он нашел упоминание.
Elasticsearch выдает же и id элемента, думаю по нему можно легко найти страницу. Тут зависит от того как детально вы делили тексты норм.
Например мы делали это по пунктам.

Там видео с таймкодом, стоило посмотреть всего пару минут на тему полнотекстового поиска по архиву проектов в PDF, это то что относиться к данной теме и не так сложно в реализации. Gemini же захватил и другую тему, которая раскрывалась дальше, она не относиться к полнотекстовому поиску. И да, она сильно сложнее. Но не стоит путать, это разное)

Павел, вот действительно просится такой вариант. С pdf документами это реализуемо? Ну чтобы вот прямо и подсветилось в документе и сразу окрылись нужные страницы?

ChatGPT говорит что с PDF.js это можно реализовать)

‼️Правила оформления антикоррозионной защиты и огнезащиты в проектах.
С 1 декабря 2025 года вводится в действие ГОСТ 21.513-2024 «Система проектной документации для строительства. Правила выполнения рабочей документации антикоррозионной защиты и огнезащиты конструкций зданий и сооружений», утверждённый постановлением Госстандарта от 30.05.2025 № 65.