GOOGLE ADS

jueves, 28 de abril de 2022

Importar datos de MongoDB en Hive Error: la implementación del divisor es incompatible

Estoy tratando de importar datos de mongodb a Hive.

Las versiones de jar que he usado son

ADD JAR /root/HDL/mongo-java-driver-3.4.2.jar;
ADD JAR /root/HDL/mongo-hadoop-hive-2.0.2.jar;
ADD JAR /root/HDL/mongo-hadoop-core-2.0.2.jar;

Y mis versiones de clúster son

Ambari - Versión 2.6.0.0, HDFS 2.7.3, Hive 1.2.1000, HBase 1.1.2, Tez 0.7.0 Versión del servidor MongoDB: - 3.6.5

Guión de colmena: -

CREATE TABLE sampletable
( ID STRING,
EmpID STRING,
BeginDate DATE,
EndDate DATE,
Time TIMESTAMP,
Type STRING,
Location STRING,
Terminal STRING)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"ID":"_id","EmpID":"emp_id","BeginDate":"begin_date","EndDate":"end_date","Time":"time","Type":"time_event_type","Location":"location","Terminal":"terminal"}')
TBLPROPERTIES('mongo.uri'='mongodb://username:password@10.10.170.43:27017/testdb.testtable');

Producción:-

colmena> seleccione * de la tabla de muestra;

DE ACUERDO

Error con excepción java.io.IOException:java.io.IOException: Error al agregar documentos de muestra. Tenga en cuenta que esta implementación de Splitter es incompatible con las versiones de MongoDB anteriores a la 3.2.

Por favor sugiérame cómo puedo resolver esto.

Gracias,

Mohan V


Solución del problema

set mongo.input.split_size=50;

No hay comentarios:

Publicar un comentario

Regla de Firestore para acceder a la generación de subcolección Permisos faltantes o insuficientes

Tengo problemas con las reglas de Firestore para permitir el acceso a algunos recursos en una subcolección. Tengo algunos requests document...