本项目架构的表现形式为爬虫系统网站+前后分离的视频网站+视频管理端。从整体上来说，通过爬虫系统进行数据的爬虫，进行入库操作，进入MySQL爬虫数据库中，视频网站和视频网站管理端都依赖于爬虫数据库的视频数据，他们也有独立MySQL数据库。如下列出本项目三个系统的主要功能爬虫系统、视频网站、视频网站管理系统。

1.分布式爬虫系统，前后端分离，实现分布式搭建。基于WebMagic框架二次开发制定，通过可视化界面实现爬取操作。

2.数据库根据规则动态建立，避免了不同视频网站数据库表结构不同的弊端。

3.使用redis做缓存和并发处理，数据存取效率较高。

在项目进行中，培养了团队意识，提高了独立思考和解决问题的能力。本项目实现主要依托于在企业实习工作，学习了相关技术，并将其用于独立项目研发，提高了动手实践能力，真切感受到了学以致用的成就感。