Хранение текстовых аннотаций NLP и доступ к ним

Вы можете посмотреть на UIMA. Хотя это не механизм хранения, он предоставляет платформу для преобразования ваших неструктурированных текстовых данных в более структурированный формат путем применения различных аннотаторов (которые могут быть токенизаторами, разделителями предложений, POS-теггерами) в конвейере. Вывод содержит аннотации с начальным и конечным индексами в документе (вы можете преобразовать вывод в формат xml). Таким образом, вы можете разделить свой корпус на несколько документов, передать их через конвейеры UIMA и сохранить вывод в хранилище на основе документов, таком как MongoDB. Я думаю, что доступ к этим аннотациям на уровне документа имеет больше смысла, потому что контекст аннотаций имеет значение. Таким образом, вы можете получить эти аннотированные документы из хранилища MongoDB и получить доступ к аннотациям, используя начальный и конечный индексы или тип аннотации (токен, предложение и т. д.).