Поделился радостью
- Автор темы Nao
- Дата начала
- 138
- 3
Oldeskon, я и сам из мухосрани, но из-за учёбы живу в областном центре хотя бы. На 4ый курс уже перешёл.
Я пробовал устроиться на стажировку ещё год назад в другую фирму, тогда меня не взяли, из-за того, что по расписанию занятий (нафиг я его только брал) у меня не выходило 24 свободных часа рабочего времени в неделю. Устраивался тогда на разраба C# в Интерфакс.
Я пробовал устроиться на стажировку ещё год назад в другую фирму, тогда меня не взяли, из-за того, что по расписанию занятий (нафиг я его только брал) у меня не выходило 24 свободных часа рабочего времени в неделю. Устраивался тогда на разраба C# в Интерфакс.
- 351
- 0
Ура! Поздравляю!
- 2,955
- 12
Ну что сказать, удачи и хороших денюжек.
- 351
- 0
- 138
- 3
Чтож. Отработал я первую неделю. Пора рассказать чем мне предстоит заниматься после окончания стажеровки (через ещё одну неделю).
Заниматься мне предстоит большими данными (BigData) используя hadoop. Вкрадце: эта технология имеет схожее назначение с SQL (а с использованием некоторых финтов, в ней можно использовать SQL синтаксис). Но кардинальным отличием является то, что hadoop позволяет оперировать данными, практически неограниченного размера. В то время, как на обслуживание огромной базы данных SQL вам понадобится супернавороченный сервер с огромным дисковым пространством (а если данные продолжают поступать, то даже самый крутой сервер не спасет), то для работы hadoop требуется кластер из самых простых машинок, и не важно, какой объем памяти будет у каждой из них. Даже 100Тб таблицу можно будет обработать, если она помещается в суммарную память кластера (+ минимум ещё столько же, для хранения резервной копии, и ещё немного для хранения данных узлов имён). Файл просто разбивается на блоки (вот и весь секрет).
Но как же передавать такие файлы из кластера для обработки? А ни как. Их не надо передавать. Когда вы пишите программу с использованием Hadoop, то её код отправляется на каждый из узлов кластера для параллельного выполнения. И сама итоговая выборка сохраняется в общую файловую систему кластера (или куда вы её попросите).
Подобная технология появилась неспроста. Первыми нужду в подобном ощутили поисковые гиганты. И в данное время её пользуется практически все, от Google и Microsoft, до операторов мобильной связи и банков.
Вот такой интересной штукой мне предстоит заниматься :3
Заниматься мне предстоит большими данными (BigData) используя hadoop. Вкрадце: эта технология имеет схожее назначение с SQL (а с использованием некоторых финтов, в ней можно использовать SQL синтаксис). Но кардинальным отличием является то, что hadoop позволяет оперировать данными, практически неограниченного размера. В то время, как на обслуживание огромной базы данных SQL вам понадобится супернавороченный сервер с огромным дисковым пространством (а если данные продолжают поступать, то даже самый крутой сервер не спасет), то для работы hadoop требуется кластер из самых простых машинок, и не важно, какой объем памяти будет у каждой из них. Даже 100Тб таблицу можно будет обработать, если она помещается в суммарную память кластера (+ минимум ещё столько же, для хранения резервной копии, и ещё немного для хранения данных узлов имён). Файл просто разбивается на блоки (вот и весь секрет).
Но как же передавать такие файлы из кластера для обработки? А ни как. Их не надо передавать. Когда вы пишите программу с использованием Hadoop, то её код отправляется на каждый из узлов кластера для параллельного выполнения. И сама итоговая выборка сохраняется в общую файловую систему кластера (или куда вы её попросите).
Подобная технология появилась неспроста. Первыми нужду в подобном ощутили поисковые гиганты. И в данное время её пользуется практически все, от Google и Microsoft, до операторов мобильной связи и банков.
Вот такой интересной штукой мне предстоит заниматься :3