一、项目简介
近十年来计算机科学与大数据的结合与发展，将计算机图形学从传统的统计学方法升华到基于深度学习、人工智能的大数据分析方法。大数据技术是以数据为本质的新一代革命性的信息技术，在数据挖潜过程中，能够带动理念、模式、技术及应用实践的创新。互联网中存在大量的数据，不仅数据量巨大而且形态也具有多样性（比如互联网的数据形态包括：文本、图像、视频等）。如何在互联网中的多模态数据中挖掘有用的信息，为互联网衍生产品（诸如：微信、淘宝、抖音等）做支撑和后盾，提升产品的推荐能力，吸引更多的用户消费，成为关键。
本项目着重研究互联网中的大数据，通过深度学习方法在多模态数据上学习并提取有用的图文信息。对不同模态的数据（包括：图像和文本的数据）进行整合，使用统一的深层网络对数据进行学习，将图像和文本数据转化到同一语义空间中的点，通过计算点点之间的距离来衡量不同模态数据的相似性。结合互联网通用的搜索引擎技术，对多模态数据集构建倒排索引。
本项目为计划申请计算机、人工智能、深度学习、图像学、图形学、自然语言理解、搜索引擎、软件工程等专业的学生所设计。通过本课程深入浅出的指导，同学们不仅可以掌握前沿的图像领域相关的深度学习知识，同时可以掌握互联网中搜索引擎的相关知识，最后通过完成一次以文搜图的大作业，让学生们亲自搭建一个基于深度学习框架的多模态搜索引擎。实习结束后，导师会根据学生表现出具推荐信。
二、项目内容
本项目属于互联网多模态大数据分析课题，主要研究在互联网大数据中提取多模态数据的有用特征，基于特征网络构建以文搜图的能力，能够实现自动配图。这些能力经过国内大型的互联网公司（比如：腾讯、阿里、百度、今日头条等）的研究和发展，已经相当成熟，为公司提供了信息流、提升了用户消费量、增加了公司的收益。
指导老师将面对面悉心指导，深入浅出地介绍复杂的深度学习知识、图像学、自然语言处理知识、搜索引擎技术，结合这些知识搭建一个以文搜图及自动配图的服务平台。手把手地指导学生进行代码实现，带领学生通过对问题本质的分析、再到方法的实现，最后到完成代码的展示。实现科研过程指导，并在此过程中学习科研写作的基本方法与技巧。
三、招生对象及要求
面向大二以上，计划申请人工智能、移动互联网、计算技术、信息处理等相关专业的本科生。为了让学生可以更好的完成科研项目，项目组会以笔试和面试的形式对学生进行筛选。
项目难度：★★★
报名建议：对人工智能感兴趣，具备一定编程能力的同学，建议掌握一种及以上高级编程语言（C、Python、Matlab），本项目将采用ython 语言完成项目。
预习资料： The Python Tutorial 、Python 学习笔记、Efficient Estimation of Word Representations in Vector Space 、Very Deep Convolutional Networks for Large-Scale Image Recognition 等。
五、行程安排
Step1：远程项目指导：项目开始前2 周—1 个月组成学习讨论群，项目导师及助教为同学们答疑解惑，介绍项目背景，发放预习资料（包括相关文献及需要掌握的软件技能等），有问题可以请教导师，行程安排请教贴身助教；
Step2：项目集中进行时：导师面对面授课指导，研讨国际当下热点问题及领域发展方向，引领同学们完成定值科研项目，发挥同学的科研精神和探索能力，爱上科研不是梦；
Step3：远程项目指导：项目结束后2 周—1 个月，延展性问题请教导师，完成项目总结，撰写详细的总结报告，梳理项目内容，思考后续发展方向。
