摘 要在信息爆炸的时代背景下用户面临着海量的新闻信息如何从中获取到个性化、精准的信息成为了亟待解决的问题。为了解决这一问题开发了基于协同过滤算法的京津冀地区新闻推荐系统。该系统通过爬取今日头条等新闻平台的数据利用协同过滤算法为用户提供个性化的新闻推荐服务以此满足用户多样化的阅读需求。技术实现方面前端采用Vue.js框架进行开发利用Echarts实现了可视化展示包括关键词词云、分类统计和高频词汇统计等功能从而让用户能够直观地了解新闻数据。后端采用Spark和Hadoop进行数据处理与分析MySQL数据库存储爬取到的新闻内容。爬取新闻数据的部分使用Scrapy框架实现通过Xpath完成数据的提取协同过滤算法则是系统的核心推荐算法通过分析新闻的相似性为用户提供个性化的新闻推荐服务。综合利用这些技术构建了一个功能完善、性能稳定的新闻推荐系统为用户和新闻平台提供了一种全新的交互模式具有较高的实用价值和推广意义。根据以上的功能需求情况整体的功能模块包括有前台vue项目模块后台django后台项目和爬虫项目。前台vue的页面主要页面包括注册与登录页面首页公告详情页数据分析可视化页数据管理页等爬虫模块主要用来爬取今日头条网站相关数据信息的网页然后提取需要的数据最后通过hadoop保存到mysql中数据可视化界面通过scrapy爬虫爬取今天头条的新闻内容包括有新闻的标题时间关键词内容等数据通过Echarts展示可视化数据包括有关键词词云分类统计和高频词汇统计