Mar. 27th, 2017

errorrishe: (Default)
по работе из интереса потыкал палкой pandas
ощущения странные - вроде как тьма возможностей но я постоянно натыкаюсь на какие то не совсем гладкие углы. Но инструмент похоже зачетный

вообще есть некоторая зависть нынешнему поколению - уж очень много хороших бесплатных инструментов появилось
раньше надо было воровать matlab если хотелось чего то такого
теперь от количества всего всего для математики ML и AI глаза разбегаются

вторая возникшая мысль - не попробовать ли вместо сооружения залипухи на пандах и чьей то матери притянуть к этому делу spark - но пока есть ощущение что это некий оверкил
хотя данных не то что бы мало ( ну сотни гиг, кусками по 2-4 гига в батче который надо обрабатывать) но и не много что бы ебаться с кластерами. Плюс растет это хозяйство очень медленно. Пока не решил( тк кажется мне что learning curve у Spark по круче)

Profile

errorrishe: (Default)
errorrishe

June 2017

S M T W T F S
    123
456 78910
11 12 1314151617
1819202122 2324
252627282930 

Page Summary

Style Credit

Expand Cut Tags

No cut tags
Page generated Jun. 23rd, 2017 03:40 pm
Powered by Dreamwidth Studios