ИСПОЛЬЗОВАНИЕ ЛИНГВИСТИЧЕСКИ ОРИЕНТИРОВАННЫХ МОДУЛЕЙ НА ЯЗЫКЕ PYTHON ДЛЯ ОБРАБОТКИ БОЛЬШИХ ТЕКСТОВЫХ МАССИВОВ НА ВОСТОЧНЫХ ЯЗЫКАХ В ЦЕЛЯХ ЭФФЕКТИВНОГО СБОРА И ОБРАБОТКИ ДАННЫХ ПО ОТРАСЛЯМ ВОСТОКОВЕДЧЕСКОЙ ТЕМАТИКИ (НА ПРИМЕРЕ NLTK)

Авторы

  • Булат Гилимдарович Фаткулин Автор

Аннотация

Проведен анализ современного лингвистически ориентированного программного обеспе-
чения, созданного в рамках языка программирования Python. В качестве примера выбран
комплекс программных модулей Natural Language Toolkit (NLTK). В статье также рассматри-
ваются не только общие принципы работы NLTK, но и их особенности в применении к вос-
точным языкам: фарси, арабскому и китайскому. Показано решение для работы с текстами на
восточных языках в кодировке utf-8.

Биография автора

  • Булат Гилимдарович Фаткулин

    кандидат филологических наук, доцент кафедры общей лингвистики, Южно-Уральский государственный университет (Челябинск), bfatkulin@gmail.com

Выпуск

Том 12 № 1 (2015)

Раздел

Статьи