首屆CJE前沿學(xué)術(shù)沙龍?jiān)谏钲诔晒εe辦

2025年2月22日，中國電子學(xué)會旗艦英文期刊Chinese Journal of Electronics品牌學(xué)術(shù)活動“CJE前沿學(xué)術(shù)沙龍”（以下簡稱“沙龍”）在深圳理工大學(xué)成功舉辦。本次沙龍以“DeepSeek視角下的多模態(tài)大模型前瞻”為主題，由CJE“多媒體、計(jì)算機(jī)視覺、圖形學(xué)和人工智能”領(lǐng)域編委、北京大學(xué)彭宇新教授擔(dān)任主席，邀請人工智能領(lǐng)域多位專家對DeepSeek的核心創(chuàng)新和多模態(tài)大模型的前沿進(jìn)展進(jìn)行研討，聚合學(xué)術(shù)界和產(chǎn)業(yè)界觀點(diǎn)，以開放的態(tài)度、開源的路線，促進(jìn)人工智能領(lǐng)域前沿學(xué)術(shù)交流。沙龍由彭宇新教授和深圳理工大學(xué)唐繼軍教授共同主持，CJE副主編、深圳理工大學(xué)潘毅教授出席會議。深圳理工大學(xué)黨委書記朱迪儉致辭，并介紹了深圳理工大學(xué)在培養(yǎng)計(jì)算機(jī)科學(xué)技術(shù)創(chuàng)新人才方面的辦學(xué)特色。沙龍吸引了來自學(xué)術(shù)界與產(chǎn)業(yè)界的150余名專家、學(xué)者及行業(yè)人士參與。

特邀報(bào)告

CJE領(lǐng)域編委、北京大學(xué)彭宇新教授分享了題為“細(xì)粒度多模態(tài)大模型”的報(bào)告，首先介紹了真實(shí)世界的細(xì)粒度、多模態(tài)兩大特性，然后系統(tǒng)介紹了DeepSeek系列大模型的核心技術(shù)，并指出DeepSeek模型仍然缺乏細(xì)粒度感知能力、歷史記憶能力和跨模態(tài)生成能力。針對上述局限性，彭宇新教授重點(diǎn)介紹了團(tuán)隊(duì)在細(xì)粒度多模態(tài)大模型方向的最新研究進(jìn)展，包括團(tuán)隊(duì)最新研發(fā)并開源的細(xì)粒度多模態(tài)大模型Finedefics、細(xì)粒度多模態(tài)多輪交互檢索的目標(biāo)商品推薦以及文本引導(dǎo)的可控視覺內(nèi)容生成。最后，彭宇新教授介紹了團(tuán)隊(duì)研究成果在多家頭部企業(yè)的應(yīng)用情況，包括文生視頻、廣告海報(bào)自動生成、自動駕駛、商品推薦等，并對細(xì)粒度多模態(tài)大模型的未來研究進(jìn)行展望，推動其在更多場景中的創(chuàng)新應(yīng)用。

清華大學(xué)魯繼文教授在“可通用全模態(tài)大模型”為題的報(bào)告中強(qiáng)調(diào)智能時代的重要標(biāo)志是大模型技術(shù)。大模型在內(nèi)容生成、內(nèi)容分析、內(nèi)容推理等應(yīng)用廣泛，以此為代表的人工智能新型基礎(chǔ)性技術(shù)，代表著社會生產(chǎn)方式的重大轉(zhuǎn)變，引發(fā)工作模式和諸多領(lǐng)域的變革。語言大模型、視覺大模型、全模態(tài)大模型是魯教授分析的重點(diǎn)。受語言大模型取得成功應(yīng)用的啟發(fā)，研制視覺大模型可進(jìn)一步拓展大模型技術(shù)的應(yīng)用邊界。多模態(tài)基座大模型是眾多研究機(jī)構(gòu)和各大公司的熱點(diǎn)。全模態(tài)視覺模型通過建模外部世界的演化規(guī)律，未來將在自動駕駛、具身智能等場景中發(fā)揮更大的作用。

哈爾濱工業(yè)大學(xué)（深圳）教授、鵬城實(shí)驗(yàn)室智能部視覺所王耀威所長在“資源受限下的模型創(chuàng)新之路：DeepSeek的啟示和鵬城系列基礎(chǔ)模型應(yīng)用實(shí)踐”為題的報(bào)告中指出大模型的開源可以快速催生出上下游生態(tài)，極大促進(jìn)產(chǎn)業(yè)發(fā)展，影響整體社會對未來的預(yù)期。目前全球已有超過百家平臺接入DeepSeek，覆蓋云服務(wù)、網(wǎng)絡(luò)安全、金融、汽車、高校科研等多個領(lǐng)域，引發(fā)了部署適配熱潮。DeepSeek-R1創(chuàng)新采用基于大規(guī)模強(qiáng)化學(xué)習(xí)的推理技術(shù)路線，從開源角度破局，盤活了國內(nèi)的人工智能生態(tài)。依托鵬城系列基礎(chǔ)模型，研發(fā)的產(chǎn)業(yè)賦能平臺，首次實(shí)現(xiàn)了基于國產(chǎn)平臺的全流程模型自動化生產(chǎn)與跨平臺部署，解決了人工智能規(guī)?；a(chǎn)業(yè)應(yīng)用工程技術(shù)難題，未來將在資源受限條件下，堅(jiān)定不移走系統(tǒng)創(chuàng)新、持續(xù)創(chuàng)新之路。

南開大學(xué)程明明教授在“高效能個性化圖像生成”為題的報(bào)告中，從當(dāng)前多個重要開源趨勢的話題切入，對定制化文生圖做了詳細(xì)介紹。算法流程引發(fā)了在場科研人員的很大興趣。以老照片乃至藝術(shù)作品中的人物帶入現(xiàn)實(shí)生活為例，程教授認(rèn)為圖像生成方式將有可能通過文化行業(yè)和產(chǎn)業(yè)，令算法的生成技術(shù)走進(jìn)廣大用戶。應(yīng)用的廣闊性，建立在圖像生成的兩大核心，算法高效能和個性化信息表征。程教授介紹，基于一致圖像生成連接視頻，難點(diǎn)在于建模和預(yù)測大幅度的動作。人工智能生成內(nèi)容（AIGC）有望極大地解放生產(chǎn)力，會給社會治理帶來更多值得進(jìn)一步深入研究的課題。

復(fù)旦大學(xué)邱錫鵬教授在“大模型深度推理技術(shù)”的報(bào)告中強(qiáng)調(diào)“有限算力+算法創(chuàng)新”發(fā)展模式是突破算力限制的關(guān)鍵，未來應(yīng)聚焦高效模式，圍繞新型高效模型架構(gòu)、高效強(qiáng)化學(xué)習(xí)、高效算力利用開展研究，進(jìn)一步提升模型推理能力和推廣以通用大模型為中心的智能體是未來通用人工智能通用性的發(fā)展方向。邱教授介紹了以強(qiáng)化學(xué)習(xí)為核心的推理模型，指出Deepseek-R1大幅優(yōu)化模型效率，降低訓(xùn)練和推理成本，是目前唯一同時具有強(qiáng)推理能力和聯(lián)網(wǎng)搜索的產(chǎn)品，已經(jīng)初步具備調(diào)研較復(fù)雜信息并進(jìn)行回答的能力。

圓桌討論

在圓桌討論環(huán)節(jié)，CJE領(lǐng)域編委、北京大學(xué)彭宇新教授與清華大學(xué)魯繼文教授、哈爾濱工業(yè)大學(xué)（深圳）教授、鵬城實(shí)驗(yàn)室智能部視覺所王耀威所長、南開大學(xué)程明明教授、中山大學(xué)操曉春教授、復(fù)旦大學(xué)邱錫鵬教授就與會者關(guān)心的科研問題進(jìn)行了深入回應(yīng)，并圍繞以下三個方面展開了熱烈討論。

1、高成本的多模態(tài)大模型如何在保持性能的情況下降低開銷。專家們分享了增強(qiáng)算力和降低成本的科研思路。

2、人工智能領(lǐng)域的理論創(chuàng)新與工程創(chuàng)新并重。與會專家一致認(rèn)為，學(xué)術(shù)理論與工程實(shí)踐要雙軌并進(jìn)，尤其是在底層優(yōu)化設(shè)計(jì)方面，工程實(shí)踐能力對于即將進(jìn)入科研領(lǐng)域的青年學(xué)者至關(guān)重要，是推動技術(shù)落地和實(shí)際應(yīng)用的關(guān)鍵環(huán)節(jié)。

3、大模型的研究范式尚未達(dá)成統(tǒng)一共識，未來前景廣闊。專家們指出，盡管大模型的研究仍面臨許多待解決的問題，但其發(fā)展?jié)摿薮?。與此同時，生物層級中人類推理的能量消耗較低，為我們在推理智慧上的進(jìn)一步思考提供了借鑒。

圓桌討論環(huán)節(jié)的提問氣氛異常熱烈，參與者們紛紛踴躍提問，專家們也耐心地逐一回應(yīng)。在討論過程中，盡管時間已多次延長，提問的熱情依舊高漲，充分展示了與會者對相關(guān)議題的濃厚興趣。這些討論不僅展現(xiàn)了當(dāng)前科研的熱點(diǎn)問題，也為未來的研究方向和學(xué)術(shù)創(chuàng)新提供了寶貴的啟示。

未來展望

本次沙龍是CJE前沿學(xué)術(shù)沙龍系列學(xué)術(shù)活動的首場活動。未來，沙龍將繼續(xù)聚焦學(xué)科前沿，秉承交流最新科研成果的宗旨，致力于在交流中匯聚創(chuàng)新、凝聚共識、集聚思考。在此過程中，我們將搭建更高水平的學(xué)術(shù)交流平臺，助力攻克技術(shù)難題，集聚專家學(xué)者智慧。

讓我們共同期待下一次的精彩活動！