PXF 常见问题

本文档介绍 PXF 相关的常见问题。

1 remote component error,Failed connect to localhost:5888; Connection refused (libchurl.c:950)


PXF 部署后,访问 HDFS 报错:

remote component error,Failed connect to localhost:5888; Connection refused (libchurl.c:950)

解决方案

  1. PXF 访问文件的方式需要在 Master 节点开启 PXF server,但是数据文件需要在 Segment PXF 上。
  2. pxf/servers/core-site.xml和hdfs-site.xml 一定要和 Hadoop 配置文件相同。
  3. pxf/servers/core-site.xml 配置用户访问权限。
  4. Hadoop 上文件的用户名和组需要和 pxf/core-site.xml 指定的一致。

2 文件入库时,某一个字段包含换行符,将一行数据切分成两行,再以分隔符切分,就会导致数据与字段数不一致,也就是说一行数据里有两个 \n 一个在中间一个在尾部 但是中间那个不能被当做换行符处理


解决方案

  1. 在选项里加入escaple 'off'。
  2. 使用 format 'text:multi'。