Scrapy源码学习-ItemLoader

item

在scrapy项目结构中，有一个items.py的文件，在里面是专门存放和定义抓取数据字段的。这当然不是强制性要求的。但这种数据字段的定义能够更好地约束未来抓取字段，并且开发者可以一目了然的知道抓了哪些数据。
比如我们需要抓取影视网站，可以这样定义：

class MovieItem(scrapy.Item):    title = scrapy.Field()    url = scrapy.Field()    cover = scrapy.Field()    actors = scrapy.Field()    column = scrapy.Field()    ……

继承的父类scrapy.Item有一个metaclass元类，元类的讲解会在以后的文章中展开[挖坑]。

class Item(DictItem, metaclass=ItemMeta):    ……

它所做的，就是将继承scrapy.Item的类中所有属性类型为Field的加载到fields字典中。
摘选scrapy/item.py

class ItemMeta(_BaseItemMeta):    def __new__(mcs, class_name, bases, attrs): …… for n in dir(_class):     v = getattr(_class, n)     # 当属性类型为Field时候，加入fields字段     if isinstance(v, Field):  fields[n] = v     elif n in attrs:  new_attrs[n] = attrs[n] new_attrs['fields'] = fields …… return super().__new__(mcs, class_name, bases, new_attrs)

一旦爬虫数据字段出现非MovieItem类定义的属性时，比如由于拼写失误，导致title字段写成了tilte，则会产生KeyError: 'tilte'的报错。
相较于Python内置的字典，更加提升了程序的健壮性。

ItemLoader

讲完了item的作用和应用场景，接下来就谈谈ItemLoader。这是一个即使做了一些scrapy项目也不一定使用的组件。在scrapy数据流转的过程中，最终数据会到达pipeline，自定义的pipeline管道接收到item数据。但是如果item数据是杂乱的，我们可能就需要在pipeline中做一些数据后处理，这活显然不应该是pipeline该干的。(当然你也可以不管不顾一股脑塞进持久化存储中，如MongoDB)。但是最终你该清洗还得清洗，如果这活不太麻烦，那就可以交给ItemLoader。未来项目的维护也变得清晰明朗。

换句话说，item提供了抓取数据的容器，而itemloader提供了填充该容器的机制。

在项目中，你可以这样去定义：

class MovieItemLoader(ItemLoader):     ……

在spider文件中这样去使用：

    def parse(self, response, kwargs): topics = response.xpath("//div[@class='panel-max']/ul/li") for topic in topics:     item = MovieItemLoader(item=MovieItem(), response=response, selector=topic)     item.add_xpath('title', "./div[@class='video-info']/h5/a/@title")     item.add_xpath('url', "./div[@class='video-info']/h5/a/@href")     item.add_xpath('actors', "./div[@class='video-info']/p/text()")     item.add_xpath('cover', './a/img/@src')     item.add_value('column', self.column)     yield item.load_item()

ItemLoader提供了多种添加数据的方式:

• add_xpath：通过xpath语法添加字段值
• add_css：通过css语法添加字段值
• add_value：直接添加字段值

难道做这些仅仅是为了字段属性与值的绑定吗？
那item[‘title’] = response.xpath("./div[@class=‘video-info’]/h5/a/@title")不也可以？
这时候就需要看看ItemLoader提供添加数据的API到底有什么不同了。

    def add_xpath(self, field_name, xpath, *processors, kw): values = self._get_xpathvalues(xpath, kw) self.add_value(field_name, values, *processors, kw)    def add_css(self, field_name, xpath, *processors, kw): values = self._get_cssvalues(css, kw) self.add_value(field_name, values, *processors, kw)

可以发现其实这三个API最终都是去操作add_value，只是它们先各自使用xpath和css规则去拿到value值。而add_value又去调用了_add_value

    def _add_value(self, field_name, value): value = arg_to_iter(value) processed_value = self._process_input_value(field_name, value) if processed_value:     self._values.setdefault(field_name, [])     self._values[field_name] += arg_to_iter(processed_value)

它就做了件有意思的事情，它会先去查一下咱们定义的MovieItemLoader类中有没有带字段名_in(如title_in)的属性，如果有，那就把属性的值交给该process来执行，要是没有，就看看这个属性的Field中有没有input_processor属性，如果有，那就一样交给process来执行。还没有的话就交给默认的default_input_processor。这里可以看出：
优先级：字段_in > input_processor属性 > default_input_processor

    def _process_input_value(self, field_name, value): proc = self.get_input_processor(field_name) # 把value值丢给指定的process来处理，返回给_add_value调用方 return proc(value)    def get_input_processor(self, field_name): # 优先找字段名_in的process proc = getattr(self, '%s_in' % field_name, None) if not proc:     # 没找到，再找属性为input_processor的process     proc = self._get_item_field_attr(  field_name,  'input_processor',  self.default_input_processor     ) return unbound_method(proc)

有了如上的经验，我们就可以丰富一下MovieItemLoader类

class AddFlag:    def __call__(self, values): return ['米乐推荐-' + value for value in values]class MovieItemLoader(ItemLoader):    title_in = AddFlag()

运行爬虫后得到这样的数据：

{'actors': ['\r\n'     '    '     '肖战,吴宣仪,辰亦儒,邱心志,钟镇涛,朱珠,高泰宇,黄灿灿,刘美彤,刘润南,丁笑滢,敖子逸\r\n'     '   '], 'column': ['国产剧'], 'cover': ['/static/picture/ss.png'], 'title': ['米乐推荐-斗罗大陆'], 'url': ['/detail/?74625.html']}

通过_in当数据进来的时候处理，自然就有_out当数据输出的时候。
而_out并不是在add_value的时候触发的，而是当我们load_item的时候。

    def load_item(self): adapter = ItemAdapter(self.item) for field_name in tuple(self._values):     value = self.get_output_value(field_name)     if value is not None:  adapter[field_name] = value return adapter.item

其get_output_value和get_input_value一样，只是取属性的时候变成了字段_out
同样的，再丰富一下MovieItemLoader，上文输出的数据都是列表，我们只取列表第一个值。

class AddFlag:    def __call__(self, values): return ['米乐推荐-' + value for value in values]class First:    def __call__(self, values): for value in values:     if value is not None and value != '':  return valueclass MovieItemLoader(ItemLoader):    title_in = AddFlag()    title_out = First()

{'actors': ['\r\n'     '    '     '肖战,吴宣仪,辰亦儒,邱心志,钟镇涛,朱珠,高泰宇,黄灿灿,刘美彤,刘润南,丁笑滢,敖子逸\r\n'     '   '], 'column': ['国产剧'], 'cover': ['/static/picture/ss.png'], 'title': '米乐推荐-斗罗大陆', 'url': ['/detail/?74625.html']}

还有，actors数据是个数组，而我们要的数据在第三个，我们可以把它合并为一个字符串，并且删除首尾空。

class Join:    def __call__(self, values): return ''.join(values).strip()class MovieItemLoader(ItemLoader):    ……    actors_out = Join()

{'actors': '肖战,吴宣仪,辰亦儒,邱心志,钟镇涛,朱珠,高泰宇,黄灿灿,刘美彤,刘润南,丁笑滢,敖子逸', 'column': ['国产剧'], 'cover': ['/static/picture/ss.png'], 'title': '米乐推荐-斗罗大陆', 'url': ['/detail/?74625.html']}

当然了，大部分时候我们不需要傻傻的自己写处理器。在ItemLoader中内置了多个处理器在itemloaders.processors文件中供你选择。

总结

简易ItemLoader