谷歌的人工智能應用程序可用性測試有望提升人類的準確性

智能手機用戶會進行大量的點擊 - 這是他們啟動應用程序，輸入文本，多任務等的方式。問題是，可點擊按鈕并不總是很容易區分不可點擊的元素，雖然可用性研究在一定程度上防止了令人困惑的UI元素進入開放狀態，但測試的結果必然僅限于特定的應用程序和設計。

谷歌人工智能研究部門的研究人員在一篇新論文(“ 使用眾包和深度學習建模移動界面可用性 ”)和隨附的博客文章中提出了一個替代方案- 一個眾包任務，調查各種應用程序中的元素，以衡量他們的“感知的適應性” “他們說，在實驗中，AI模型的預測與90%%水平的基線一致，他們認為這表明它可以避免手動測試的需要。

本文的作者首先分析潛在的視覺屬性或能指，影響應用程序中的可應用性(如元素類型，位置，大小，顏色和單詞)，然后眾包志愿者標記大約20,000個獨特元素的“可點擊性”，大約3,500個應用。他們使用這些樣本來訓練神經網絡 - 以生物神經元為模型的數學函數層 - 考慮到包括位置，單詞，類型和大小在內的特征，以及從原始像素中提取特征并利用學習嵌入的卷積神經網絡(實數的向量)來表示文本內容和元素屬性。饋入完全連接的網絡層的特征以二進制形式輸出給定元素的可讀性。

為了驗證該模型，研究團隊編制了一份來自290名志愿者的數據集，這些志愿者的任務是在其感知的適應性方面標記2,000個元素中的每一個，每個元素由五個不同的用戶獨立標記。他們發現，樣本中超過40%%的元素被志愿者標記為不一致，這與人工智能系統相當。此外，他們報告說，他們的方法得出了更明確的答案(tappable接近“1”的概率和“tappable”接近“0”的概率)，平均精度達到90.2%%，召回率達到87%%，與人類感知相匹配。

“攻擊是移動界面上最常用的手勢，用于觸發各種動作，從啟動應用程序到輸入文本...... [但]預測可執行性只是我們可以用機器學習來解決可用性的一個例子用戶界面問題，“谷歌人工智能研究科學家楊力寫道。“在交互設計和用戶體驗研究方面還有許多其他挑戰，深度學習模型可以提供一個工具來提煉大型，多樣化的用戶體驗數據集，并促進對交互行為的科學理解。