(no subject)
Mar. 27th, 2017 08:35 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
errorrisheпо работе из интереса потыкал палкой pandas
ощущения странные - вроде как тьма возможностей но я постоянно натыкаюсь на какие то не совсем гладкие углы. Но инструмент похоже зачетный
вообще есть некоторая зависть нынешнему поколению - уж очень много хороших бесплатных инструментов появилось
раньше надо было воровать matlab если хотелось чего то такого
теперь от количества всего всего для математики ML и AI глаза разбегаются
вторая возникшая мысль - не попробовать ли вместо сооружения залипухи на пандах и чьей то матери притянуть к этому делу spark - но пока есть ощущение что это некий оверкил
хотя данных не то что бы мало ( ну сотни гиг, кусками по 2-4 гига в батче который надо обрабатывать) но и не много что бы ебаться с кластерами. Плюс растет это хозяйство очень медленно. Пока не решил( тк кажется мне что learning curve у Spark по круче)
ощущения странные - вроде как тьма возможностей но я постоянно натыкаюсь на какие то не совсем гладкие углы. Но инструмент похоже зачетный
вообще есть некоторая зависть нынешнему поколению - уж очень много хороших бесплатных инструментов появилось
раньше надо было воровать matlab если хотелось чего то такого
теперь от количества всего всего для математики ML и AI глаза разбегаются
вторая возникшая мысль - не попробовать ли вместо сооружения залипухи на пандах и чьей то матери притянуть к этому делу spark - но пока есть ощущение что это некий оверкил
хотя данных не то что бы мало ( ну сотни гиг, кусками по 2-4 гига в батче который надо обрабатывать) но и не много что бы ебаться с кластерами. Плюс растет это хозяйство очень медленно. Пока не решил( тк кажется мне что learning curve у Spark по круче)
no subject
Date: 2017-03-27 10:49 pm (UTC)всякие геморои были когда пытался начать а теперь сроки просраны смысла нет. Можно конечно лекции посмотреть составить впечатление получше ( я на edx.org пол курса уже как то проходил маленького)
там у них было все через databriks аккаунт но тоже было впечатление не очень гладкого повествования и лаб.