Digital Reasoning построила самую крупную нейронную сеть

Компания Digital Reasoning, специализирующаяся на когнитивных компьютерных технологиях, заявила о построении самой крупной в мире нейронной сети со 160 миллиардами параметров.

Интересно отметить, что предыдущий рекорд Google был представлен сетью с 11,2 млрд параметров, а Ливерморская национальная лаборатория Лоренса сумела организовать нейронную сеть с 15 млрд параметров.

Результаты достижений Digital Reasoning в глубинном обучении и нейронных сетях опубликованы в авторитетном издании Journal of Machine Learning. Также она представит свои разработки в ходе тридцать второй Международной конференции по машинному обучению в Лилле, которая проходит с 6 по 11 июля.

Как отмечает технический руководитель компании Мэтью Русел (Matthew Russell), созданная нейронная сеть генерирует вектор чисел для каждого слова в словаре. Это позволило Digital Reasoning организовать так называемую «словесную математику».

Например, «король» минус «мужчина» плюс «женщина» даёт результат «королева». Есть стандартный набор из около 20 тысяч аналогий слов, на который ориентируются разработчики при тестировании своих систем.

Компания Google сумела добиться точности 76,2 %. Результат Стэнфордского университета составил 75 %. А Digital Reasoning обошла всех с результатом 85,8 %. Это существенное достижение в отрасли, утверждают исследователи.