博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
nutch2.1 关于batchId的个人看法
阅读量:5879 次
发布时间:2019-06-19

本文共 457 字,大约阅读时间需要 1 分钟。

   batchId的设置目前我只在generate过程中发现并将其设置到了conf之中,这里是没有疑问的。

  但是在fetch过程之中,fetch首先获得的是根据String batchId = (String)args.get(Nutch.ARG_BATCH);

  然后在之下直接

   if (batchId == null) {

        batchId = Nutch.ALL_BATCH_ID_STR;

    }

  那么,我个人就觉得这样做,要batchid何用呢?在代码里没有发现有args.set(Nutch.ARG_BATCH)的地方(可能是没细看),由此,batchid永远的是-all,在这个方法里,应该改为:

  if (batchId == null) {

        batchId = getConf().get(GeneratorJob.BATCH_ID);
        
        if(batchId==null) batchId = Nutch.ALL_BATCH_ID_STR;
    }

一家之言,总之我在程序运行过程中发现的这样设置之后是达到效果的!

 

转载地址:http://zrdix.baihongyu.com/

你可能感兴趣的文章
《JAVA与模式》之简单工厂模式
查看>>
Alpha线性混合实现半透明效果
查看>>
chkconfig 系统服务管理
查看>>
一个简单的运算表达式解释器例子
查看>>
ORACLE---Unit04: SQL(高级查询)
查看>>
Entity Framework Code First 模式-建立多对多联系
查看>>
[LeetCode] Reverse Lists
查看>>
前台页面之<base>标签
查看>>
angular分页插件tm.pagination 解决触发二次请求的问题
查看>>
day08-文件操作
查看>>
教学-45 对象的相等
查看>>
贪食蛇
查看>>
关于Spring 中的事务
查看>>
为什么现在都用面向对象开发,为什么现在都用分层开发结构?
查看>>
【离散数学】 SDUT OJ 偏序关系
查看>>
写给学弟学妹的产品入门建议(持续更新)
查看>>
view视图总结
查看>>
oracle11g 数据库导出报“ EXP-00003:
查看>>
201521123009 《Java程序设计》第11周学习总结
查看>>
可解释的机器学习
查看>>