fbpx
维基百科

反向图像搜索

十月 19, 2023

反向圖像搜索（以图搜图）是一種基於圖像檢索(CBIR)的查詢技術，它涉及為 CBIR 系統提供樣本圖像，然後系統將基於該樣本圖像進行搜索；在信息檢索方面，樣本圖像在其方式上非常有用。特別是，反向圖像搜索的特點是缺少搜索詞。這有效地消除了用戶猜測可能會或可能不會返回正確結果的關鍵字或術語的需要。反向圖像搜索還允許用戶發現與特定樣本圖像相關的內容，圖像的流行度，並發現操縱版本和衍生作品。

在熱門搜索系統中的應用 编辑

Google圖片搜尋 编辑

 
Google圖片搜索的圖片搜索功能

Google圖片搜尋的Search by Image是一種使用反向圖像搜索的功能，允許用戶通過上傳圖像或複製圖像 URL 來搜索相關圖像。谷歌通過分析提交的圖片並為其構建數學模型來實現這一點。然後將其與穀歌數據庫中的其他圖像進行比較，然後返回匹配和相似的結果。如果可用，Google 還會使用有關圖像的元數據，例如描述。2022 年，該功能被Google Lens取代，成為 Google 的默認視覺搜索方法。

TinEye 编辑

TinEye是專門用於反向圖像搜索的搜索引擎。提交圖像後，TinEye 會為該圖像創建一個“獨特且緊湊的數字簽名或指紋”，並將其與其他索引圖像進行匹配。這個過程甚至能夠匹配提交圖像的非常編輯版本，但通常不會在結果中返回相似的圖像。

eBay 编辑

eBay ShopBot 使用反向圖像搜索通過用戶上傳的照片查找產品。eBay 使用 ResNet-50 網絡進行類別識別，圖像哈希存儲在Google Bigtable中；Apache Spark作業由Google Cloud Dataproc運營，用於圖像哈希提取；圖像排名服務由Kubernetes部署。[1]

SK Planet 编辑

SK Planet使用反向圖像搜索在其電子商務網站上查找相關時尚商品。它基於TensorFlow inception-v3開發了視覺編碼器網絡，具有生產使用的收斂速度和泛化能力。循環神經網絡用於多類分類，時尚產品感興趣區域檢測基於Faster R-CNN。SK Planet 的反向圖像搜索系統是在不到 100月的工時內建成的。[2]

阿里巴巴 编辑

阿里巴巴於 2014 年發布了拍立淘應用程序。拍立淘允許用戶通過拍攝查詢對象的照片來搜索阿里巴巴電子商務平台上的商品。Pailitao 應用程序使用帶有分支的深度 CNN 模型進行聯合檢測和特徵學習，以在沒有背景干擾的情況下發現檢測掩碼和準確的判別特徵。GoogLeNet V1 被用作類別預測和特徵學習的基礎模型。[3][4]

Pinterest 编辑

Pinterest於 2014 年收購了初創公司VisualGraph，並在其平台上引入了視覺搜索。[5] 2015年，Pinterest在ACM Conference on Knowledge Discovery and Data Mining大會上發表論文，公開了系統的架構。該管道使用Apache Hadoop、開源Caffe 卷積神經網絡框架、用於批處理的Cascading 、用於消息傳遞的PinLater和用於存儲的Apache HBase 。提取圖像特徵，包括局部特徵、深度特徵、顯著顏色特徵和顯著像素來自用戶上傳。該系統由Amazon EC2運行，只需要一個由 5 個 GPU 實例組成的集群來處理每天上傳到 Pinterest 的圖像。通過使用反向圖像搜索，Pinterest 能夠從時尚物品（例如鞋子、裙子、眼鏡、包、手錶、褲子、短褲、比基尼、耳環）中提取視覺特徵，並提供看起來相似的產品推薦。[6][7]

京東 编辑

京東在Middleware '18大會上公開了其實時視覺搜索系統的設計與實現。同行評議的論文重點介紹了京東的分佈式分層圖像特徵提取、索引和檢索系統所使用的算法，該系統擁有 3 億日活躍用戶。該系統在 2018 年部署到生產環境時，每小時能夠維持 8000 萬次數據庫更新。[8]

微軟Bing 编辑

微軟Bing在KDD'18大會上公佈了他們的反向圖片搜索系統架構。該論文指出，用戶提交的查詢圖像的各種特徵用於描述其內容，包括使用深度神經網絡編碼器、類別識別特徵、人臉識別特徵、顏色特徵和重複檢測特徵。[9]

亞馬遜的Amazon Shop the Look 编辑

亞馬遜公司在 KDD'22 大會上發表一篇描述 Amazon Shop the Look 的時尚和家居產品視覺搜索引擎架構的論文。 該論文還描述亞馬遜在生產環境中部署時的經驗教訓，包括基於圖像合成的數據增強以優化檢索性能和提高準確性。[10]

開源實現 编辑

2007 年，Puzzle 庫以ISC許可證發布。Puzzle 旨在提供視覺上相似圖像的反向圖像搜索，即使圖像已調整大小、重新壓縮、重新著色和/或稍作修改。[11]

image-match 開源項目於 2016 年發布。該項目在 Apache 許可證下獲得許可，實現了一個用Python編寫的反向圖像搜索引擎。[12]

Puzzle 庫和image-match項目都使用在 2002 年 IEEE ICIP 會議上發布的算法。[13]

2019 年，歐萊禮媒體出版的一本書描述如何在幾個小時內構建一個簡單的反向圖像搜索系統。這本書涵蓋了圖像特徵提取和相似性搜索，以及更進階的主題，包括使用 GPU 加速和搜索準確性改進調整。[14] 該系統的代碼在GitHub上開源發放。[15]

參見 编辑

參考文獻 编辑

  1. ^ Yang, Fan; Kale, Ajinkya; Bubnov, Yury; Stein, Leon; Wang, Qiaosong; Kiapour, Hadi; Piramuthu, Robinson. Visual Search at eBay. acm.org. 2017: 2101–2110 [2023-02-05]. ISBN 9781450348874. S2CID 22367645. arXiv:1706.03154  . doi:10.1145/3097983.3098162. （原始内容于2019-03-10）. 
  2. ^ Visual Fashion-Product Search at SK Planet. [2023-02-05]. （原始内容于2023-02-05）. 
  3. ^ Zhang, Yanhao; Pan, Pan; Zheng, Yun; Zhao, Kang; Zhang, Yingya; Ren, Xiaofeng; Jin, Rong. Visual Search at Alibaba. acm.org. 2018: 993–1001 [2023-02-05]. ISBN 9781450355520. S2CID 50776405. arXiv:2102.04674  . doi:10.1145/3219819.3219820. （原始内容于2019-03-10）. 
  4. ^ Shopping With Your Camera: Visual Image Search Meets E-Commerce at Alibaba. Alibaba Tech. September 2020 [2023-02-05]. （原始内容于2023-02-05）. 
  5. ^ Josh Constine. Pinterest Acquires Image Recognition And Visual Search Startup VisualGraph. TechCrunch. AOL. 6 January 2014 [2023-02-05]. （原始内容于2023-02-05）. 
  6. ^ Jing, Yushi; Liu, David; Kislyuk, Dmitry; Zhai, Andrew; Xu, Jiajing; Donahue, Jeff; Tavel, Sarah. Visual Search at Pinterest. acm.org. 2015: 1889–1898 [2023-02-05]. ISBN 9781450336642. S2CID 1153609. doi:10.1145/2783258.2788621. （原始内容于2019-03-10）. 
  7. ^ . Pinterest Engineering. （原始内容存档于2015-09-06）. 
  8. ^ Li, Jie; Liu, Haifeng; Gui, Chuanghua; Chen, Jianyu; Ni, Zhenyuan; Wang, Ning; Chen, Yuan. The Design and Implementation of a Real Time Visual Search System on JD E-commerce Platform. acm.org. 2018: 9–16. ISBN 9781450360166. S2CID 53713854. arXiv:1908.07389  . doi:10.1145/3284028.3284030. 
  9. ^ Hu, Houdong; Wang, Yan; Yang, Linjun; Komlev, Pavel; Huang, Li; Chen, Xi (Stephen); Huang, Jiapei; Wu, Ye; Merchant, Meenaz; Sacheti, Arun. Web-Scale Responsive Visual Search at Bing. acm.org. 2018: 359–367 [2023-02-05]. ISBN 9781450355520. S2CID 3427399. doi:10.1145/3219819.3219843. （原始内容于2023-02-05）. 
  10. ^ Amazon Shop the Look: A Visual Search System for Fashion and Home. [2023-06-18]. （原始内容于2023-06-06）. 
  11. ^ The Puzzle library. [2023-02-05]. （原始内容于2023-02-05）. 
  12. ^ ProvenanceLabs / image-match. [2023-02-05]. （原始内容于2022-08-14）. 
  13. ^ An image signature for any kind of image. [2023-02-05]. （原始内容于2022-10-07）. 
  14. ^ Koul, Anirudh. Chapter 4. Building a Reverse Image Search Engine: Understanding Embeddings. Practical Deep Learning for Cloud, Mobile, and Edge. O'Reilly Media. October 2019 [2023-02-05]. ISBN 9781492034865. （原始内容于2023-01-29）. 
  15. ^ Practical-Deep-Learning-Book source repository. [2023-02-05]. （原始内容于2023-02-09）. 

外部連結 编辑

维基共享资源中相关的多媒体资源：反向图像搜索

十月 19, 2023
反向图像搜索, 反向圖像搜索, 以图搜图, 是一種基於圖像檢索, cbir, 的查詢技術, 它涉及為, cbir, 系統提供樣本圖像, 然後系統將基於該樣本圖像進行搜索, 在信息檢索方面, 樣本圖像在其方式上非常有用, 特別是, 反向圖像搜索的特點是缺少搜索詞, 這有效地消除了用戶猜測可能會或可能不會返回正確結果的關鍵字或術語的需要, 反向圖像搜索還允許用戶發現與特定樣本圖像相關的內容, 圖像的流行度, 並發現操縱版本和衍生作品, 目录, 在熱門搜索系統中的應用, google圖片搜尋, tineye, ebay,. 反向圖像搜索 以图搜图 是一種基於圖像檢索 CBIR 的查詢技術 它涉及為 CBIR 系統提供樣本圖像 然後系統將基於該樣本圖像進行搜索 在信息檢索方面 樣本圖像在其方式上非常有用 特別是 反向圖像搜索的特點是缺少搜索詞 這有效地消除了用戶猜測可能會或可能不會返回正確結果的關鍵字或術語的需要 反向圖像搜索還允許用戶發現與特定樣本圖像相關的內容 圖像的流行度 並發現操縱版本和衍生作品 目录 1 在熱門搜索系統中的應用 1 1 Google圖片搜尋 1 2 TinEye 1 3 eBay 1 4 SK Planet 1 5 阿里巴巴 1 6 Pinterest 1 7 京東 1 8 微軟Bing 1 9 亞馬遜的Amazon Shop the Look 2 開源實現 3 參見 4 參考文獻 5 外部連結在熱門搜索系統中的應用 编辑Google圖片搜尋 编辑 nbsp Google圖片搜索的圖片搜索功能Google圖片搜尋的Search by Image是一種使用反向圖像搜索的功能 允許用戶通過上傳圖像或複製圖像 URL 來搜索相關圖像 谷歌通過分析提交的圖片並為其構建數學模型來實現這一點 然後將其與穀歌數據庫中的其他圖像進行比較 然後返回匹配和相似的結果 如果可用 Google 還會使用有關圖像的元數據 例如描述 2022 年 該功能被Google Lens取代 成為 Google 的默認視覺搜索方法 TinEye 编辑 TinEye是專門用於反向圖像搜索的搜索引擎 提交圖像後 TinEye 會為該圖像創建一個 獨特且緊湊的數字簽名或指紋 並將其與其他索引圖像進行匹配 這個過程甚至能夠匹配提交圖像的非常編輯版本 但通常不會在結果中返回相似的圖像 eBay 编辑 eBay ShopBot 使用反向圖像搜索通過用戶上傳的照片查找產品 eBay 使用 ResNet 50 網絡進行類別識別 圖像哈希存儲在Google Bigtable中 Apache Spark作業由Google Cloud Dataproc運營 用於圖像哈希提取 圖像排名服務由Kubernetes部署 1 SK Planet 编辑 SK Planet使用反向圖像搜索在其電子商務網站上查找相關時尚商品 它基於TensorFlow inception v3開發了視覺編碼器網絡 具有生產使用的收斂速度和泛化能力 循環神經網絡用於多類分類 時尚產品感興趣區域檢測基於Faster R CNN SK Planet 的反向圖像搜索系統是在不到 100月的工時內建成的 2 阿里巴巴 编辑 阿里巴巴於 2014 年發布了拍立淘應用程序 拍立淘允許用戶通過拍攝查詢對象的照片來搜索阿里巴巴電子商務平台上的商品 Pailitao 應用程序使用帶有分支的深度 CNN 模型進行聯合檢測和特徵學習 以在沒有背景干擾的情況下發現檢測掩碼和準確的判別特徵 GoogLeNet V1 被用作類別預測和特徵學習的基礎模型 3 4 Pinterest 编辑 Pinterest於 2014 年收購了初創公司VisualGraph 並在其平台上引入了視覺搜索 5 2015年 Pinterest在ACM Conference on Knowledge Discovery and Data Mining大會上發表論文 公開了系統的架構 該管道使用Apache Hadoop 開源Caffe 卷積神經網絡框架 用於批處理的Cascading 用於消息傳遞的PinLater和用於存儲的Apache HBase 提取圖像特徵 包括局部特徵 深度特徵 顯著顏色特徵和顯著像素來自用戶上傳 該系統由Amazon EC2運行 只需要一個由 5 個 GPU 實例組成的集群來處理每天上傳到 Pinterest 的圖像 通過使用反向圖像搜索 Pinterest 能夠從時尚物品 例如鞋子 裙子 眼鏡 包 手錶 褲子 短褲 比基尼 耳環 中提取視覺特徵 並提供看起來相似的產品推薦 6 7 京東 编辑 京東在Middleware 18大會上公開了其實時視覺搜索系統的設計與實現 同行評議的論文重點介紹了京東的分佈式分層圖像特徵提取 索引和檢索系統所使用的算法 該系統擁有 3 億日活躍用戶 該系統在 2018 年部署到生產環境時 每小時能夠維持 8000 萬次數據庫更新 8 微軟Bing 编辑 微軟Bing在KDD 18大會上公佈了他們的反向圖片搜索系統架構 該論文指出 用戶提交的查詢圖像的各種特徵用於描述其內容 包括使用深度神經網絡編碼器 類別識別特徵 人臉識別特徵 顏色特徵和重複檢測特徵 9 亞馬遜的Amazon Shop the Look 编辑 亞馬遜公司在 KDD 22 大會上發表一篇描述 Amazon Shop the Look 的時尚和家居產品視覺搜索引擎架構的論文 該論文還描述亞馬遜在生產環境中部署時的經驗教訓 包括基於圖像合成的數據增強以優化檢索性能和提高準確性 10 開源實現 编辑2007 年 Puzzle 庫以ISC許可證發布 Puzzle 旨在提供視覺上相似圖像的反向圖像搜索 即使圖像已調整大小 重新壓縮 重新著色和 或稍作修改 11 image match 開源項目於 2016 年發布 該項目在 Apache 許可證下獲得許可 實現了一個用Python編寫的反向圖像搜索引擎 12 Puzzle 庫和image match項目都使用在 2002 年 IEEE ICIP 會議上發布的算法 13 2019 年 歐萊禮媒體出版的一本書描述如何在幾個小時內構建一個簡單的反向圖像搜索系統 這本書涵蓋了圖像特徵提取和相似性搜索 以及更進階的主題 包括使用 GPU 加速和搜索準確性改進調整 14 該系統的代碼在GitHub上開源發放 15 參見 编辑 nbsp 计算机科学主题 nbsp 信息技术主题 圖像檢索 電腦視覺參考文獻 编辑 Yang Fan Kale Ajinkya Bubnov Yury Stein Leon Wang Qiaosong Kiapour Hadi Piramuthu Robinson Visual Search at eBay acm org 2017 2101 2110 2023 02 05 ISBN 9781450348874 S2CID 22367645 arXiv 1706 03154 nbsp doi 10 1145 3097983 3098162 原始内容存档于2019 03 10 Visual Fashion Product Search at SK Planet 2023 02 05 原始内容存档于2023 02 05 Zhang Yanhao Pan Pan Zheng Yun Zhao Kang Zhang Yingya Ren Xiaofeng Jin Rong Visual Search at Alibaba acm org 2018 993 1001 2023 02 05 ISBN 9781450355520 S2CID 50776405 arXiv 2102 04674 nbsp doi 10 1145 3219819 3219820 原始内容存档于2019 03 10 Shopping With Your Camera Visual Image Search Meets E Commerce at Alibaba Alibaba Tech September 2020 2023 02 05 原始内容存档于2023 02 05 Josh Constine Pinterest Acquires Image Recognition And Visual Search Startup VisualGraph TechCrunch AOL 6 January 2014 2023 02 05 原始内容存档于2023 02 05 Jing Yushi Liu David Kislyuk Dmitry Zhai Andrew Xu Jiajing Donahue Jeff Tavel Sarah Visual Search at Pinterest acm org 2015 1889 1898 2023 02 05 ISBN 9781450336642 S2CID 1153609 doi 10 1145 2783258 2788621 原始内容存档于2019 03 10 Building a scalable machine vision pipeline Pinterest Engineering 原始内容存档于2015 09 06 Li Jie Liu Haifeng Gui Chuanghua Chen Jianyu Ni Zhenyuan Wang Ning Chen Yuan The Design and Implementation of a Real Time Visual Search System on JD E commerce Platform acm org 2018 9 16 ISBN 9781450360166 S2CID 53713854 arXiv 1908 07389 nbsp doi 10 1145 3284028 3284030 Hu Houdong Wang Yan Yang Linjun Komlev Pavel Huang Li Chen Xi Stephen Huang Jiapei Wu Ye Merchant Meenaz Sacheti Arun Web Scale Responsive Visual Search at Bing acm org 2018 359 367 2023 02 05 ISBN 9781450355520 S2CID 3427399 doi 10 1145 3219819 3219843 原始内容存档于2023 02 05 Amazon Shop the Look A Visual Search System for Fashion and Home 2023 06 18 原始内容存档于2023 06 06 The Puzzle library 2023 02 05 原始内容存档于2023 02 05 ProvenanceLabs image match 2023 02 05 原始内容存档于2022 08 14 An image signature for any kind of image 2023 02 05 原始内容存档于2022 10 07 Koul Anirudh Chapter 4 Building a Reverse Image Search Engine Understanding Embeddings Practical Deep Learning for Cloud Mobile and Edge O Reilly Media October 2019 2023 02 05 ISBN 9781492034865 原始内容存档于2023 01 29 Practical Deep Learning Book source repository 2023 02 05 原始内容存档于2023 02 09 外部連結 编辑维基共享资源中相关的多媒体资源 反向图像搜索 取自 https zh wikipedia org w index php title 反向图像搜索 amp oldid 78018654, 维基百科，wiki，书籍，书籍，图书馆，

文章

，阅读，下载，免费，免费下载，mp3，视频，mp4，3gp， jpg，jpeg，gif，png，图片，音乐，歌曲，电影，书籍，游戏，游戏。