Python中的可迭代对象和迭代器详解

在 Python 中，这两个概念很容易混淆。第一个是可迭代对象（Iterable），第二个是迭代器（Iterator），第三个是生成器（Generator）。我们这里不讨论生成器。

可迭代对象

列表、元组、字符串、字典等都是可迭代对象，所有可以使用for循环遍历的元素都可以称为可迭代对象（Iterable）。 Iterable 类是在 Python 的内置数据结构中定义的。在 collections.abc 模块中，我们可以使用它来检测它是否是一个可迭代对象。

>>> from collections import Iterable
>>> a = [1,2,3]
>>> isinstance(a, Iterable)
>>> True
>>> b = 'abcd'
>>> isinstance(b, Iterable)
>>> True

这些数据结构之所以可以称为Iterable，是因为它们内部实现了__iter__()方法，所以可以迭代。当我们使用 for 循环时，解释器会调用内置的 iter() 函数。在调用之前，它会先检查对象是否实现了__iter__()方法，如果是，则调用它得到一个迭代器（我们接下来会讲到）。如果没有 __iter__() 方法，但是实现了 __getitem__() 方法，解释器将创建一个迭代器并按顺序获取元素。如果两个方法都找不到，将抛出 TypeError 异常。接下来我们自定义对象，分别实现这两个方法（getitem(),iter()）

class MyObj:
    def __init__(self, iterable):
        self._iterable = list(iterable)
    def __getitem__(self, item):
        return self._iterable[item]
obj = MyObj([1,2,3])
for i in obj:
    print(i)

如上图，这里没有实现__iter__方法，只实现了__getitem__方法，这也让Myobj成为了一个可迭代对象。

接下来我们实现__iter__方法，这里使用yield语法来产生值（这里需要生成器的知识）

class MyObj:
    def __init__(self, iterable):
        self._iterable = list(iterable)
    def __iter__(self):
        index = 0
        while True:
            try:
                yield self._iterable[index]
            except IndexError:
                break
            index += 1
obj = MyObj([1,2,3])
for i in obj:
    print(i)

这里同样让对象称为可迭代对象。

迭代器

迭代器是一个可以记住遍历的位置的对象。

迭代器对象从集合的第一个元素开始访问，直到访问完所有元素。迭代器只能前进不能后退。

如上图所示，迭代器（Iterator）继承可迭代器（Iterable），迭代器必须实现__iter__方法和__next__方法。 __next__ 方法用于输出下一个元素。

从继承图中可以看出，迭代器一定是可迭代对象，可迭代对象不一定是迭代器。

迭代器有两个基本的方法：iter() 和 next()。

我们使用iter(iterable)即可把可迭代对象转换成迭代器。

使用next(iterator)来获取迭代器的下一个值。

>>> a = [3,4,5]
>>> a
>>> [3, 4, 5]
>>> iter(a)
>>> <list_iterator object at 0x10b130ba8>
>>> iterator = iter(a)
>>> next(iterator)
>>> 3
>>> next(iterator)
>>> 4
>>> next(iterator)
>>> 5
>>> next(iterator)
Traceback (most recent call last):
  File "<input>", line 1, in <module>
StopIteration

如上所示，由于对象实现了__next__方法，我们可以使用next(iterator)获取迭代器的下一个值，直到没有值，抛出StopIteration异常。

迭代器的背后

迭代器Iterator是一个抽象基类，它定义在_collections_abc.py中

Iterator源码如下

class Iterator(Iterable):
    __slots__ = ()
    @abstractmethod
    def __next__(self):
        'Return the next item from the iterator. When exhausted, raise StopIteration'
        raise StopIteration
    def __iter__(self):
        return self
    @classmethod
    def __subclasshook__(cls, C):
        if cls is Iterator:
            return _check_methods(C, '__iter__', '__next__')
        return NotImplemented

可以看出它实现了__subclasshook__方法，即不需要显式继承Iterator，只需要实现__iter__和__next__方法就可以称为Iterator的虚子类。这突出了 Python 的鸭子类型，它实现了特定的“协议”以具有某种行为。

此外，它还定义了 __iter__ 方法，当我们使用 iter(Iterator) 时直接返回自身，不做任何处理。

iter（）函数的两个用法

官方文档中给出了说明：

    iter(iterable) -> iterator
    iter(callable, sentinel) -> iterator
    
    Get an iterator from an object.  In the first form, the argument must
    supply its own iterator, or be a sequence.
    In the second form, the callable is called until it returns the sentinel.

第一个用法：iter(iterable) -> iterator (把可迭代对象转换为迭代器)

第二种用法：iter(callable, sentinel) -> iterator（第一个参数：任意可调用对象，可以是函数，第二个是标记值，当可调用对象返回这个值时，iterator抛出StopIteration异常，不产生标记值）

>>> from random import choice
>>> values = [1,2,3,4,5,6,7]
>>> def test_iter():
>>>     return choice(values)
>>> it = iter(test_iter, 2)
>>> it
>>> <callable_iterator object at 0x10b130b00>
>>> for i in it:
>>>     print(i)
>>> 7
>>> 1
>>> 7
>>> 3
>>> 1

上面代码的流程：test_iter函数从values列表中随机选择一个值返回，调用iter(callable,sentinel)函数，设置sentinel标志值为2，返回一个callable_iterator实例，遍历这个特殊的iterator，如果函数返回Flag值为2，则直接抛出异常退出程序。这是 iter 函数的另一个鲜为人知的用法。