array1 [개발] Spark SQL DataFrame Vector to Array LogisticRegression으로 모델 학습한 결과 테이블 중에서 rawprediction, probability 값이 vector 형태로 나오는데 spark sql에서 인덱스 1 값을 가지고 오고 싶어서 방법 찾던 중 해결한 방법. 추후에 spark를 더 공부한 후 다른 방법을 찾으면 글 업데이트할 예정. 현재 사용하고 있는 Spark 버전은 Spark 2.3.1 spark 3.0.0 버전 부터는 vector_to_array 함수 제공 Spark DataFrame 스키마에 column dataType이 vector인 경우가 있을 때 Spark Sql에서 데이터를 꺼내오기 위해 아래와 같이 처리함. vector 가 포함되어 있는 데이터 프레임 스키마 withColumn : 데이터 프레임에 새로운 컬럼.. 2021. 10. 21. 이전 1 다음
