[빅데이터] 오픈 소스 데이터 사이언스 툴 분야별 BEST TOP

데이터 마이닝 및 변환

엄밀히 말하면 데이터 마이닝은 대규모 데이터 세트에서 패턴을 식별하는 것입니다. 그러나 실제로는 정보의 추출, 수집, 저장 및 분석을 포함하게 되었습니다. 이러한 작업 중 하나 이상을 수행할 수 있는 도구가 있습니다. 상위 3개는 다음과 같습니다.

1. Weka 는 데이터 마이닝 , 데이터 전처리 및 분류에 사용되는 인기 있는 도구 입니다. Weka의 GUI는 분류, 연관, 회귀 및 클러스터링을 단순화하여 통계적으로 강력한 결과를 제공합니다. 
2. Scrapy 는 웹사이트를 크롤링하고 데이터를 추출하는 웹 스파이더를 작성하는 데 가장 적합합니다. Python으로 작성된 Scrapy는 빠르고 강력합니다. CareerBuilder 는 Scrapy를 사용하여 여러 사이트에서 구인 정보에 대한 데이터를 수집합니다.
3. Pandas 는 Python으로 작성된 인기 있는 데이터 랭글링 소프트웨어입니다. 숫자 테이블 및 시계열 데이터 작업에 적합합니다. 데이터를 쉽게 조작할 수 있는 유연한 데이터 구조를 제공합니다. Netflix 및 Spotify의 추천 엔진의 중추입니다. 

 

데이터 분석 및 빅 데이터 도구

데이터가 수집되고 처리되면 분석할 차례입니다. 여기에서 모델 훈련 및 예측 구체화를 위해 데이터를 준비하는 도구가 필요합니다. 가장 좋은 것은 다음과 같습니다. 

 

1. KNIME 또는 Konstanz Information Miner는 전체적으로 종단 간 데이터 분석, 통합 및 보고 기능을 제공합니다. GUI를 통해 사용자는 최소한의 프로그래밍으로 사전 처리, 분석, 모델 구축 및 시각화를 수행할 수 있습니다.
2. Hadoop 은 주로 분산 모델에서 빅 데이터를 저장하고 처리하는 데 사용되는 소프트웨어 프레임워크입니다. 이를 통해 데이터를 더 빠르게 처리하고 하드웨어 오류를 더 잘 처리할 수 있습니다. 
3. Apache의 Spark 는 빅 데이터용 분석 엔진입니다. Spark를 사용하면 페타바이트 데이터의 대규모 워크로드를 실행하고 애플리케이션을 더 빠르게 구축하고 가상 머신, 컨테이너, 온프레미스 또는 클라우드에 편안하게 배포할 수 있습니다. 
4. Neo4J 는 그래프 데이터베이스 관리 플랫폼으로 그 중 가장 인기 있는 플랫폼입니다. 관계형 데이터베이스와 달리 그래프 데이터베이스는 데이터와 함께 연결을 저장하고 Neo4J는 사용자가 이러한 데이터에서 찾기 어려운 패턴을 감지하도록 도와줍니다. 

 

모델 배포

데이터 과학의 주요 목적 중 하나는 데이터에 대한 기계 학습 모델을 개발하는 것입니다. 이러한 모델은 논리적, 기하학적 또는 확률적 모델일 수 있습니다. 다음은 모델 구축에 사용할 수 있는 몇 가지 도구입니다. 

1. TensorFlow.js 는 인기 있는 기계 학습 프레임워크인 TensorFlow의 JavaScript 버전입니다. JavaScript 또는 Node.js로 모델을 개발하고 TensorFlow.js를 사용하여 클라이언트 브라우저에서 웹을 통해 배포할 수 있습니다.
2. MLFlow 는 모델 구축 및 패키징에서 배포에 이르기까지 기계 학습 수명 주기 관리 플랫폼입니다. 여러 도구를 실험하거나 여러 모델을 구축하는 경우 MLFlow를 사용하여 한 곳에서 모든 것을 관리할 수 있습니다. 라이브러리, 언어 또는 알고리즘을 제품과 통합할 수 있습니다.  

 

데이터 시각화

데이터 시각화는 단순히 데이터를 시각적으로 표현하는 것 이상이어야 합니다. 오늘날에는 과학적이고 시각적이며 더 중요하게는 통찰력이 필요합니다. 그런 점에서 보고를 넘어서야 합니다. 대화형 시각적 인터페이스를 통해 분석적 추론을 제시해야 합니다. 다음은 데이터 과학 프로젝트를 시각화하는 데 도움이 되는 몇 가지 도구입니다.

1. Orange 는 대형 툴킷이 포함된 사용하기 쉬운 데이터 시각화 도구입니다. GUI 기반의 초보자 친화적인 도구임에도 불구하고 경량 도구로 착각해서는 안 됩니다. 통계적 분포와 상자 그림은 물론 의사 결정 트리, 계층적 클러스터링 및 선형 예측을 수행할 수 있습니다. 
2. 함께 D3.js 또는 데이터 기반 문서 (D3), 당신은 HTML, SVG 및 CSS를 사용하여 웹 브라우저에서 데이터를 시각화 할 수 있습니다. 애니메이션 및 대화형 영상 기능으로 데이터 과학자들에게 인기가 있습니다. 
3. Ggplot2는 데이터 과학자가 R을 사용하여 미학적으로 즐겁고 우아한 시각화를 만드는 데 도움이 됩니다. 따라서 다음에 청중을 정말로 놀라게 하고 싶을 때 시각적 개체 를 만들기 위해 어떤 라이브러리를 선택해야 하는지 알 수 있습니다!

 

개발 환경

대부분의 프로그래밍과 마찬가지로 데이터 과학 코드를 작성하고 배포하는 작업도 통합 개발 환경에서 보다 효율적으로 수행할 수 있습니다. IDE는 코드 통찰력을 제공하고, 코드를 테스트하고, 오류를 쉽게 식별하도록 돕고, 플러그인을 사용하여 직접 코드를 실행할 수도 있습니다. 다음은 특히 데이터 과학 관련 코드를 위한 몇 가지 IDE입니다. 

1. Jupyter Notebooks 는 코드, 데이터, 메모, 방정식 등을 호스팅할 수 있는 웹 애플리케이션입니다. 즉, 대화형 온라인 문서입니다. 다른 데이터 과학자와 프로젝트를 진행 중이라면 Jupyter Notebook이 완벽한 협업 도구입니다!
2. Zeppelin Notebooks 는 Python, SQL, Scala 등과 같은 다양한 언어를 사용하여 데이터 분석을 수행할 수 있는 웹 기반 환경입니다. Zeppelin Notebooks로 데이터를 탐색, 공유, 분석 및 시각화할 수 있습니다. 
3. R Studio의 가장 큰 매력은 R 기반 도구를 단일 환경에 통합한다는 것입니다. 깨끗한 코드를 작성하고, 실행하고, 워크플로를 관리하고, R Studio로 디버그할 수도 있습니다.