话说你们写爬虫看robots?
我没咋看过，因为不让爬的照样爬。