隨著人工智能技術(shù)的快速發(fā)展，AI寫真生成工具成為了近年來備受關(guān)注的熱門話題之一。在GitHub上，一款名為InstantID的開源AI寫真生成工具近期引起了廣泛的關(guān)注和討論。開源一周這款工具已經(jīng)獲得了5.4千顆星星，表明了開發(fā)者和社區(qū)的高度認(rèn)可。
InstantID是什么？
InstantID 是一種新的、最先進(jìn)的、免調(diào)整的方法，只需一張圖像即可生成 ID 保留的生成。身份保留生成是指生成的圖像和數(shù)據(jù)保留原始人或主體的身份（ID）。簡單來說，例如在生成人臉時，它是一種確保生成的人臉看起來與原始人相同的技術(shù)。這使得可以在不丟失人的特征和個性的情況下生成新的圖像和數(shù)據(jù)。所有這一切只需一張圖像即可實(shí)現(xiàn)
InstantID的設(shè)計(jì)旨在解決現(xiàn)有個性化圖像合成方法在實(shí)際應(yīng)用中的一些限制，例如高存儲需求、漫長的微調(diào)過程以及需要多張參考圖像。InstantID不需要訓(xùn)練任何額外的模型，也不需要測試時的微調(diào)，只需要一次前向推理，就能與社區(qū)中的流行的預(yù)訓(xùn)練文本到圖像的擴(kuò)散模型無縫集成，作為一個靈活的插件。
InstantID是一個來自中國的開源項(xiàng)目，由InstantX團(tuán)隊(duì)開發(fā)。主要的成員是小紅書的員工。
InstantID是如何做到的？
InstantID 僅提供一張參考 ID 圖像，旨在從單個參考 ID 圖像生成具有各種姿勢或樣式的自定義圖像，同時確保高保真度。 它包含三個關(guān)鍵組件：
- 捕獲強(qiáng)大的語義人臉信息的ID嵌入;
- 具有解耦交叉注意力的輕量級適配模塊，便于使用圖像作為視覺提示;
- 一個 IdentityNet，它通過額外的空間控制對參考面部圖像中的詳細(xì)特征進(jìn)行編碼。
幾個方面與以往不同：
- 不訓(xùn)練UNet，因此可以保留原始文本到圖像模型的生成能力，并與社區(qū)中現(xiàn)有的預(yù)訓(xùn)練模型和ControlNets兼容;
- 不需要測試時調(diào)優(yōu)，所以對于一個特定的角色，不需要收集多張圖片進(jìn)行微調(diào)，只需要對一張圖片進(jìn)行一次推斷;
- 實(shí)現(xiàn)了更好的人臉保真度，并保留了文本的可編輯性。
InstantID的效果非常驚艷，它能夠在各種風(fēng)格中生成高保真的個性化圖像，例如卡通、油畫、素描、動漫、游戲等。用戶只需要輸入一張面部圖像和一段文本描述，就能得到滿意的結(jié)果。InstantID不僅能夠生成各種風(fēng)格的個性化圖像，還能夠保持文本的可編輯性，即用戶可以隨時修改文本描述，來改變圖像的生成效果。
InstantID 的創(chuàng)新之處
- 人臉特征提?。?/b>InstantID 利用預(yù)訓(xùn)練的人臉編碼器，比如 InsightFace 的 antelopev 模型，來提取強(qiáng)語義的人臉特征，以增強(qiáng)圖像生成的語義準(zhǔn)確性。這樣，擴(kuò)散模型就能更好地識別和保留人臉的細(xì)節(jié)，比如眼睛、鼻子、嘴巴等。
- Cross-Attention 機(jī)制：InstantID 通過解耦的交叉注意力機(jī)制，將人臉特征作為 Image Prompt 嵌入，增強(qiáng)文本提示的效果，同時保持對生成圖像的精細(xì)控制。這樣，擴(kuò)散模型就能更好地根據(jù)文本的要求，來調(diào)整圖像的風(fēng)格，比如顏色、光照、背景等。
- IdentityNet：InstantID 引入 IdentityNet 對人臉圖像進(jìn)行編碼，通過強(qiáng)語義和弱空間的條件控制，進(jìn)一步提升 ID 的保真度。IdentityNet 是一個可插拔的模塊，它可以和任何預(yù)訓(xùn)練的文本到圖像擴(kuò)散模型兼容，而無需重新訓(xùn)練。
