Estoy tratando de importar datos de mongodb a Hive.
Las versiones de jar que he usado son
ADD JAR /root/HDL/mongo-java-driver-3.4.2.jar;
ADD JAR /root/HDL/mongo-hadoop-hive-2.0.2.jar;
ADD JAR /root/HDL/mongo-hadoop-core-2.0.2.jar;
Y mis versiones de clúster son
Ambari - Versión 2.6.0.0, HDFS 2.7.3, Hive 1.2.1000, HBase 1.1.2, Tez 0.7.0 Versión del servidor MongoDB: - 3.6.5
Guión de colmena: -
CREATE TABLE sampletable
( ID STRING,
EmpID STRING,
BeginDate DATE,
EndDate DATE,
Time TIMESTAMP,
Type STRING,
Location STRING,
Terminal STRING)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"ID":"_id","EmpID":"emp_id","BeginDate":"begin_date","EndDate":"end_date","Time":"time","Type":"time_event_type","Location":"location","Terminal":"terminal"}')
TBLPROPERTIES('mongo.uri'='mongodb://username:password@10.10.170.43:27017/testdb.testtable');
Producción:-
colmena> seleccione * de la tabla de muestra;
DE ACUERDO
Error con excepción java.io.IOException:java.io.IOException: Error al agregar documentos de muestra. Tenga en cuenta que esta implementación de Splitter es incompatible con las versiones de MongoDB anteriores a la 3.2.
Por favor sugiérame cómo puedo resolver esto.
Gracias,
Mohan V
Solución del problema
set mongo.input.split_size=50;
No hay comentarios:
Publicar un comentario